АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Количественное определение информации

Читайте также:
  1. A. Определение элементов операций в пользу мира
  2. C.) При кодировании текстовой информации в кодах ASCII двоичный код каждого символа в памяти ПК занимает
  3. I. Определение потенциального валового дохода.
  4. II. Определение геометрических размеров двигателя
  5. II.ОПРЕДЕЛЕНИЕ ПРОИЗВОДИТЕЛЬНОСТИ ЛА
  6. P.2.3.2.1(с) Определение удельной теплоемкости твердых тел
  7. А не интенсивность, которая выясняется только спустя некоторое время, после получения информации о последствиях.
  8. Анализ аргументов. Логический анализ информации.
  9. Анализ информации по новостройкам г. Перми
  10. Б) Определение жёсткости
  11. В процессы производства и передачи информации
  12. В) Определение объема движений

Источник сообщений

 

Задание:

1. Записать фамилию, имя и отчество студента.

2. Найти энтропию полученного сообщения, как среднюю информацию на один символ.

3. Определить избыточность текста полученного сообщения.

4. Вычислить производительность источника, предающего полученное сообщение.

 

1.

Русский алфавит с указанием вероятности появление букв в тексте.

 

 

Записываем фамилию, имя и отчество студента.

Вероятность появление букв (Рисх) берем из таблицы представленной выше.

 

Чуваев_ Вячеслав_ Валерьевич

 

Символ Количество (N) Вероятность   Код  
А   0.062   0.115
В   0.038   0.231
Е   0.072   0.154
И   0.062   0.038
Л   0.035   0.077
Р   0.040   0.038
С   0.045   0.038
У   0.021   0.038
Ч   0,012   0.115
Ь   0.014   0.038
Я   0.018   0.038
«пробел»   0,175   0.077
Общее кол-во буква ∑        
Общее кол-во символов        
           

 

По формуле вычисляем вероятность , записываем полученные данные в таблицу.

 

; ;

И так проделываем для каждой буквы.


2. Среднее количество информации Н(А), приходящееся на один символ выдаваемых дискретным источником независимых сообщений с объемом алфавита – L, можно найти как математическое ожидание (среднее значение) дискретной случайной величины I(a), определяющей количество информации в одном случайно выбранном символе (знаке, букве) :

Эта величина называется энтропией источника. Нетрудно показать, что максимальной энтропией обладает источник, состоящий из элементов с равными вероятностями, при этом максимальная энтропия определяется как:

 

Найдем энтропию для нашего случая:

H(А) = -0.062 * 0.062– 0,038 *

 

3. При создании информационных систем нужно стремиться повышать энтропию источника, тогда будет больше переда­ваться информации меньшим набором символов. Одной из ин­формационных характеристик дискретного источника является избыточность:

 

Определим избыточность информации, содержащей­ся в фамилии. За максимальное значение энтропии в русской речи примем значение Н1(А), как учитывающее только нерав­номерность распределения вероятностей букв алфавита. Кор­реляционные связи между буквами фамилии не учитывались, поэтому Н2(А) и Н8(А) не рассматриваются. Итак, избыточность определяют из выражения.

Энтропия на одну букву русского алфавита составит:

Формула избыточности для нашего случая:

R=1

Вычислим избыточность:

Избыточность в тексте фамилии – 0,6. Обычно в тексте фа­милии избыточность порядка 0,5÷0,8.

 

4. Наиболее полную характеристику источника описывают термином — производительность источника (скорость созда­ния сообщений, поток сообщений). Если в единицу времени источник выдает в среднем символов (скорость источника), то среднее количество информации, создаваемой источником в единицу времени:

Где - средняя длительность одного символа (буквы). Если буквы алфавита передаются равномерным пятиэлементным (пятиимпульсным) кодом в соответствии с прил. 1, то длитель­ность одной буквы будет одинакова для всех букв и равна 5τи.

 

Найдем производительность источника для нашего примера.

.

 


Поиск по сайту:



Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.005 сек.)