Условная энтропия и информация

Пусть осуществляется два опыта a и β, характеризующиеся следующими вероятностями исходов (табл. 2 и 3).

Таблица 2

Вероятности исходов опытаa

Таблица 3

Вероятности исходов опытаβ

Сложный опыт γ заключается в одновременной реализации опытов a и β. Если опыты независимы, можно использовать правила сложения энтропий:

Н(γ) = Н(a) + Н(β).

Сложнее определить энтропию, когда события зависимы:

Н(γ)=Н(a)+Н(β /a)=Н(β)+Н(a/β),

где Н(β /a) – так называемая средняя условная энтропия опыта β при условии выполнения опыта a.

В любом случае имеет место соблюдение следующих неравенств:

0 £ Н(β /a) £ Н(β);

0 £ Н(a/β) £ Н(a),

т.е. условная энтропия заключается между 0 и безусловной энтропией.

Предварительное выполнение одного из опытов может уменьшить неопределенность другого опыта или свести ее совсем к нулю.

Вывод:

Н(γ) ³ Н(a); Н(γ) ³ Н(β);

Н(γ) £ Н(a) + Н(β).

Перейдем к понятию количества информации.

Как было показано выше, для двух зависимых опытов a и β средняя энтропия опыта β при условии осуществления опыта a, как правило, меньше безусловной энтропии опыта β, т.е. Н(β) ³ Н(β /a).

Причем разность Н(β) - Н(β /a) убывает по мере ослабления связи между этими опытами и в пределе становится равной нулю (т.е. Н(β) = Н(β /a)), когда опыты становятся независимыми.

Таким образом, разность Н(β) - Н(β /a) количественно выражает уменьшение энтропии, или неопределенности, опыта β после осуществления опыта a, или, можно сказать, увеличивает наши представления, знания о возможном исходе опыта β. Это дало логическое основание для того, чтобы назвать эту разность информацией (или количеством информации I_a,β) об опыте β, содержащемся в опыте a, т.е.

I_a,β = Н(β) - Н(β /a).

Изложенные соображения закладывают основы количественного статистического подхода к измерению количества информации в соответствии с концепцией, предложенной К.Шенноном.

Иллюстрация этой концепции приведена на рис. 2, где наглядно показано, что энтропия Н(β) опыта β после осуществления опыта a уменьшается на величину I_a,β .

I_a,β = Н(β) - Н(β /a)

Н(β)

Н(β /a)

Рис. 2. Изменение энтропии опыта и количества информации

Если бы опыты β и a были независимы, то Н(β) = Н(β /a) и I_a,β= 0, а если результат опыта a полностью снимает неопределенность опыта β, т.е. если Н(β /a) = 0, то I_a,β= Н(β).

Энтропия Н(β) опыта β представляет информацию об этом опыте, которая содержится в самом опыте, так как осуществление опыта полностью определяет его исход и следовательно Н(β / β) = 0, т.е. неопределенность опыта после его исхода равна 0.

Рассматривая сообщение как информацию об исходе некоторого опыта, можно утверждать, что чем более неопределенным было это сообщение до его получения, тем большее количество информации оно содержит.

Количество информации I можно определить и через отношение вероятностей:

I = log P₁/P,

где P₁ — вероятность события после поступления сообщения о нем;

P — вероятность данного события до поступления сообщения о нем.

Так как числитель этой дроби (вероятность события после поступления сообщения о том, что оно произошло) равен единице, то:

I = - log P.

Таким образом, мы определили логическую сущность понятия количество информации.

Однако и статистический метод далеко не исчерпывает всех вопросов измерения количества информации. Являясь мощным средством для формального решения ряда задач прикладного характера, этот метод в то же время обладает существенным недостатком, а именно: он не учитывает ни внутреннего смысла (содержания) сообщений, ни их ценности для получателя.

Общая черта, свойственная структурному и статистическому методам количественного измерения информации, заключается в необходимости отвлечься от ее содержания, смысла, полезности. Эти меры оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.

Поиск по сайту: