|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция |
Количественное определение информацииИсточник сообщений
Задание: 1. Записать фамилию, имя и отчество студента. 2. Найти энтропию полученного сообщения, как среднюю информацию на один символ. 3. Определить избыточность текста полученного сообщения. 4. Вычислить производительность источника, предающего полученное сообщение.
1. Русский алфавит с указанием вероятности появление букв в тексте.
Записываем фамилию, имя и отчество студента. Вероятность появление букв (Рисх) берем из таблицы представленной выше.
Чуваев_ Вячеслав_ Валерьевич
По формуле вычисляем вероятность , записываем полученные данные в таблицу.
; ; И так проделываем для каждой буквы.
Эта величина называется энтропией источника. Нетрудно показать, что максимальной энтропией обладает источник, состоящий из элементов с равными вероятностями, при этом максимальная энтропия определяется как:
Найдем энтропию для нашего случая: H(А) = -0.062 * 0.062– 0,038 *
3. При создании информационных систем нужно стремиться повышать энтропию источника, тогда будет больше передаваться информации меньшим набором символов. Одной из информационных характеристик дискретного источника является избыточность:
Определим избыточность информации, содержащейся в фамилии. За максимальное значение энтропии в русской речи примем значение Н1(А), как учитывающее только неравномерность распределения вероятностей букв алфавита. Корреляционные связи между буквами фамилии не учитывались, поэтому Н2(А) и Н8(А) не рассматриваются. Итак, избыточность определяют из выражения. Энтропия на одну букву русского алфавита составит: Формула избыточности для нашего случая: R=1 Вычислим избыточность: Избыточность в тексте фамилии – 0,6. Обычно в тексте фамилии избыточность порядка 0,5÷0,8.
4. Наиболее полную характеристику источника описывают термином — производительность источника (скорость создания сообщений, поток сообщений). Если в единицу времени источник выдает в среднем символов (скорость источника), то среднее количество информации, создаваемой источником в единицу времени:
Где - средняя длительность одного символа (буквы). Если буквы алфавита передаются равномерным пятиэлементным (пятиимпульсным) кодом в соответствии с прил. 1, то длительность одной буквы будет одинакова для всех букв и равна 5τи.
Найдем производительность источника для нашего примера. .
Поиск по сайту: |
Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.005 сек.) |