АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

КОЛИЧЕСТВО ИНФОРМАЦИИ

Читайте также:
  1. III. ИЗМЕРЕНИЕ ИНФОРМАЦИИ
  2. K – количество единиц однотипного оборудования.
  3. АЛГОРИТМ СБОРА ИНФОРМАЦИИ
  4. Аминокислота глицин — основной ингибирующий нейромедиатор спинного мозга. В тканях мозга его немного, но это небольшое количество совершенно необходимо.
  5. Анализ отечественного рынка средств защиты информации
  6. Архивация информации
  7. Атрибуты невербальной информации
  8. Базы данных как важнейший источник социологической информации
  9. Библиографическое описание как форма свертывания информации
  10. Блок приема, переработки и хранения информации
  11. Бойтесь сокращать количество
  12. Ввод и удаление информации из ячеек

В основе теории информации лежит открытие, что информация допускает количественную оценку. В простейшей формулировке идея эта выдвинута еще в 1928 г. Хартли, но завершенный и общий вид придал ей Шэннон в 1948 г.

 

КОЛИЧЕСТВО ИНФОРМАЦИИ КАК МЕРА СНЯТОЙ НЕОПРЕДЕЛЕННОСТИ

Процесс получения информации можно интерпретировать как изменение неопределенности в результате приема сигнала. Проиллюстрируем эту идею на примере достаточно простого случая, когда передача сигнала происходит при следующих условиях:

1) полезный (отправляемый) сигнал является последовательностью статистически независимых символов с вероятностями р(х;), i = ;

2) принимаемый сигнал является последовательностью символов у того же алфавита;

3) если шумы (искажения) отсутствуют, то принимаемый сигнал совпадает с отправляемым у = х ;

4) если шум имеется, то его действие приводит к тому, что данный символ может быть либо остаться прежним (i-м), либо быть подмененным любым другим (k -м) символом, вероятность этого равна р(у | х );

5) искажение очередного символа является событием, статистически независимым от того, что произошло с предыдущими символами.

Итак, до получения очередного символа ситуация характеризуется неопределенностью того, какой символ будет отправлен, т.е. априорной энтропией Н(Х). После получения символа у неопределенность относительно того, какой символ был отправлен, меняется: в случае отсутствия она вообще исчезает, а при наличии шума мы не можем быть уверены, что полученный нами символ и есть отправленный, и возникает неопределенность, характеризуемая апостериорной энтропией Н(Х| у ) = H() > О. В среднем после получения очередного символа энтропия Н(Х|Y) = M H(X|у )

Определим теперь количество информации как меру снятой неопределенности: числовое значение количества информации о некотором объекте равно разности априорной и апостериорной энтропий этого объекта.

 

 

КОЛИЧЕСТВО ИНФОРМАЦИИ КАК МЕРА СООТВЕТСТВИЯ СЛУЧАЙНЫХ ОБЪЕКТОВ

(1)

Эта формула означает, что количество информации в объекте Х об объекте Y равно количеству информации в объекте Y об объекте Х. Таким образом, количество информации является не характеристикой одного из объектов, а характеристикой их связи, соответствия между их состояниями. Подчеркивая это, можно сформулировать еще одно определение: среднее количество информации, вычисляемое по формуле (1), есть мера соответствия двух случайных объектов.

Это определение позволяет прояснить связь понятий информации и количества информации. Информация есть отражение одного объекта другим, проявляющееся в соответствии их состояний. Один объект может быть отражен с помощью нескольких других, часто какими-то лучше, чем остальными. Среднее количество информации и есть числовая характеристика степени отражения, степени соответствия. Подчеркнем, что при таком описании как отражаемый, так и отражающий объекты выступают совершенно равноправно. С одной стороны, это подчеркивает обоюдность отражения: каждый из них содержит информацию друг о друге. Это представляется естественным, поскольку отражение есть результат взаимодействия, т.е. взаимного, обоюдного изменения состояний. С другой стороны, фактически одно явление (или объект) всегда выступает как причина, другой — как следствие; это никак не учитывается при введенном количественном описании информации.

 

СВОЙСТВА КОЛИЧЕСТВА ИНФОРМАЦИИ

Отметим некоторые важные свойства количества информации.

1 . Количество информации в случайном объекте Х относительно объекта Y равно количеству информации в Y относительно Х:

I(X, Y) =I(Y, Х). (2)

2 . Количество информации неотрицательно:

I(X, Y) О. (3)

3 . Для дискретных Х справедливо равенство I(X,X) = Н(Х).

4 . Преобразование одной случайной величины не может увеличить содержание в ней информации о другой, связанной с ней, величине:

I ( (X),Y) I(X,Y). (4)

5 . Для независимых пар величин количество информации аддитивно:

I () = (5)

 

ЕДИНИЦЫ ИЗМЕРЕНИЯ ЭНТРОПИИ И КОЛИЧЕСТВА ИНФОРМАЦИИ

Рассмотрим теперь вопрос о единицах измерения количества информации и энтропии. Из определений I и Н следует их безразмерность, а из линейности их связи — одинаковость их единиц. Поэтому будем для определенности говорить об энтропии. Начнем с дискретного случая. За единицу энтропии примем неопределенность случайного объекта, такого, что

Н (Х) = - . (6)

Легко установить, что для однозначного определения единицы измерения энтропии необходимо конкретизировать число состояний объекта и основание логарифма. Возьмем для определенности наименьшее число возможных состояний, при котором объект еще остается случайным, т.е. = 2, и в качестве основания логарифма также возьмем число 2. Тогда из равенства вытекает, что р = р = 1/2. Следовательно, единицей неопределенности служит энтропия объекта с двумя равновероятными состояниями. Эта единица получила название "бит". Бросание монеты дает количество информации в один бит. Другая единица ("нит") получается, если использовать натуральные логарифмы, обычно она употребляется для непрерывных величин.

 


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 |

Поиск по сайту:



Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.004 сек.)