Дано:
В корзине лежат 8192 клубка шерсти, из них 128 синих.
Найти:
Сколько бит информации несет сообщение о том, что достали клубок синей шерсти.
Решение с расчетом:
Энтропия для данной информации определяется по формуле:
H = -log2(p)
Где p - вероятность наступления события. В данном случае, вероятность вытащить клубок синей шерсти равна 128/8192 = 1/64.
H = -log2(1/64) = -log2(2^(-6)) = 6
Ответ:
Сообщение о том, что достали клубок синей шерсти, несет 6 бит информации.