Количество информации в случае неравновероятных событий вычисляется с использованием формулы Шеннона. Количество информации I, получаемое из события с вероятностью p, определяется как:
I = -log2(p).
Здесь p — вероятность наступления события. Чем меньше вероятность события, тем больше информация, которую оно несет.
Для набора вероятностных событий можно рассчитать среднее количество информации (энтропию) H, используя следующую формулу:
H = -Σ (p(i) * log2(p(i))),
где p(i) — вероятность i-го события, а Σ — сумма по всем возможным событиям. Это значение отражает общую неопределенность и средний объем информации, который можно получить при наблюдении за данными событиями.