АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Синтаксические меры информации

Читайте также:
  1. Автоматизированная информационная поисковая система правовой информации
  2. Алфавитный подход к измерению информации.
  3. Алфавитный подход к измерению информации.
  4. Анализ диаграмм внешней передачи информации
  5. Аппаратные средства защиты информации
  6. Аттестация объектов информации
  7. Блок 3. Кодирование информации.
  8. В12. Поиск информации в базе данных по сформулированному условию
  9. В13. Знание о дискретной форме представления числовой, текстовой, графической и звуковой информации.
  10. В15. Умение определять скорость передачи информации
  11. Ввод дискретной информации в групповой поток
  12. Ввод и вывод информации

Объем данных в сообщении измеряется количеством символов (разрядов) принятого алфавита в этом сообщении. Часто информация кодируется числовыми кодами в той или иной системе счисления. Естественно, что одно и то же количество разрядов в разных системах счисления способно передать разное число состояний отображаемого объекта. Действительно, N = mn, где N— число всевозможных отображаемых состояний; m— основание системы счисления (разнообразие символов, применяемых в алфавите); n— число разрядов (символов) в сообщении. В различных системах счисления один разряд имеет различный вес, и соответственно, меняется единица измерения данных. Так, в двоичной системе счисления единицей измерения служит бит (binary digit, двоичный разряд), в десятичной системе счисления — дит (десятичный разряд).

Примечание

Сообщение, представленное в двоичной системе как 10111011, имеет объем данных Vд=8 бит; Сообщение 275903, представленное в десятичной системе имеет объем данных Vд=6 дит. Объем данных в сообщении не зависит от свойств получателя. Для всех получателей он имеет одинаковую величину.

В современных компьютерах наряду с минимальной единицей данных — битом, широко используется укрупненная единица измерения байт, равная 8 бит.

Для определения количества информации Клод Шеннон использовал понятие информационной неопределенности состояния (информационной энтропии) системы. Действительно, получение информации связано с изменением степени неосведомленности получателя о состоянии системы. До получения информации получатель мог иметь некоторые предварительные (априорные) сведения о системе a; мера неосведомленности о системе — Н(a) и является для него мерой неопределенности состояния системы. После получения некоторого сообщения b получатель приобрел дополнительную информацию Ib(a), уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения b) неопределенность состояния системы стала Н(a/b). Тогда, количество информации Ib(a) о системе a, полученное в сообщении b, будет определено как: Ib(a) = Н(a) – Н(a/b).

Количество информации измеряется через изменение (уменьшение) неопределенности состояния системы. Если конечная неопределенность Н(a/b) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации станет равно: Ib(a) = Н(a). Иными словами, энтропия системы Н(a) может рассматриваться как мера недостающей информации. Энтропия системы Н(a), имеющей N возможных состояний, согласно формуле Шеннона равна:

где Pi — вероятность того, что система находится в i-м состоянии.

Для случая, когда все состояния системы равновероятны, то есть
Pi =1/N, энтропия системы:

Рассмотрим пример. По каналу связи передается n-разрядное сообщение, использующее m различных символов. Количество всевозможных кодовых комбинаций будет N = mn. При равновероятном появлении любой кодовой комбинации количество информации в правильном сообщении — формула Хартли:

Если в качестве основания логарифма принять m, то I=n. В данном случае количество информации (при условии полного априорного незнания получателем содержания сообщения) будет равно объему данных I=Vд.

Наиболее часто используются двоичные и десятичные логарифмы. Единицами измерения в этих случаях будут соответственно бит и дит.

Для неравновероятных состояний системы всегда:

I <Vд,

Примечание

Меру Шеннона нельзя считать чисто синтаксической мерой, поскольку эта мера зависит от свойств получателя (от вероятностей Pi, значения которых у разных получателей могут быть различными). Более правильно считать меру Шеннона полусемантической мерой количества информации.

Степень информативности сообщения Y определяется отношением количества информации к объему данных, то есть Y = I/Vд, причем 0<Y<1 (Y характеризует лаконичность сообщения). С увеличением Y уменьшаются объемы работы по преобразованию информации (данных) в системе. Для повышения информативности сообщений разрабатываются специальные методы оптимального кодирования информации.


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 | 56 | 57 | 58 | 59 | 60 | 61 | 62 | 63 | 64 | 65 | 66 | 67 | 68 | 69 | 70 | 71 | 72 | 73 | 74 | 75 | 76 | 77 | 78 | 79 | 80 | 81 | 82 | 83 | 84 | 85 | 86 | 87 | 88 | 89 | 90 | 91 | 92 | 93 | 94 | 95 | 96 | 97 | 98 | 99 | 100 | 101 | 102 | 103 | 104 | 105 | 106 | 107 | 108 | 109 | 110 | 111 | 112 | 113 |

Поиск по сайту:



Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.003 сек.)