Количественное определение информации

Источник сообщений

Задание:

1. Записать фамилию, имя и отчество студента.

2. Найти энтропию полученного сообщения, как среднюю информацию на один символ.

3. Определить избыточность текста полученного сообщения.

4. Вычислить производительность источника, предающего полученное сообщение.

1.

Русский алфавит с указанием вероятности появление букв в тексте.

Записываем фамилию, имя и отчество студента.

Вероятность появление букв (Рисх) берем из таблицы представленной выше.

Чуваев_ Вячеслав_ Валерьевич

Символ	Количество (N)	Вероятность	Код
А		0.062		0.115
В		0.038		0.231
Е		0.072		0.154
И		0.062		0.038
Л		0.035		0.077
Р		0.040		0.038
С		0.045		0.038
У		0.021		0.038
Ч		0,012		0.115
Ь		0.014		0.038
Я		0.018		0.038
«пробел»		0,175		0.077
Общее кол-во буква ∑
Общее кол-во символов

По формуле вычисляем вероятность , записываем полученные данные в таблицу.

; ;

И так проделываем для каждой буквы.

2. Среднее количество информации Н(А), приходящееся на один символ выдаваемых дискретным источником независимых сообщений с объемом алфавита – L, можно найти как математическое ожидание (среднее значение) дискретной случайной величины I(a), определяющей количество информации в одном случайно выбранном символе (знаке, букве) :

Эта величина называется энтропией источника. Нетрудно показать, что максимальной энтропией обладает источник, состоящий из элементов с равными вероятностями, при этом максимальная энтропия определяется как:

Найдем энтропию для нашего случая:

H(А) = -0.062 * 0.062– 0,038 *

3. При создании информационных систем нужно стремиться повышать энтропию источника, тогда будет больше переда­ваться информации меньшим набором символов. Одной из ин­формационных характеристик дискретного источника является избыточность:

Определим избыточность информации, содержащей­ся в фамилии. За максимальное значение энтропии в русской речи примем значение Н1(А), как учитывающее только нерав­номерность распределения вероятностей букв алфавита. Кор­реляционные связи между буквами фамилии не учитывались, поэтому Н2(А) и Н8(А) не рассматриваются. Итак, избыточность определяют из выражения.

Энтропия на одну букву русского алфавита составит:

Формула избыточности для нашего случая:

R=1

Вычислим избыточность:

Избыточность в тексте фамилии – 0,6. Обычно в тексте фа­милии избыточность порядка 0,5÷0,8.

4. Наиболее полную характеристику источника описывают термином — производительность источника (скорость созда­ния сообщений, поток сообщений). Если в единицу времени источник выдает в среднем символов (скорость источника), то среднее количество информации, создаваемой источником в единицу времени: