Меры информации

Классификация мер

Для измерения информации вводятся два параметра: количество информации I и объем данных V_Д.

Эти параметры имеют разные выражения и интерпретацию в зависимости от рассматриваемой формы адекватности. Каждой форме адекватности соответствует своя мера количества информации и объема данных.

Синтаксическая мера информации

Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.

Объем данных V_Д в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных: в двоичной системе счисления единица измерения - бит (bit — binary digit—двоичный разряд); в десятичной системе счисления единица измерения - дит (десятичный разряд).

Количество информации I на синтаксическом уровне невозможно определить без рассмотрения понятия неопределенности состояния системы (энтропии системы).

1865 г. немецкий физик Рудольф Клазиус ввел в статистическую физику понятие энтропии как меры уравновешенности системы. В 1921 году основатель большей части математической статистики, англичанин Роналд Фишер впервые ввел термин «информация» в математику, но полученные им формулы носят очень специальный характер.

В 1948 году Клод Шеннон в своих работах по теории связи выписывает формулы для вычисления количества информации и энтропии. Термин «энтропия» используется Шенноном по совету фон Неймана, отметившего совпадение полученных Шенноном формул с соответствующими формулами статистической физики.

Информация через неопределенность

Действительно, получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы. Рассмотрим это понятие.

Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе α. Мерой его неосведомленности о системе является функция H(α), которая в то же время служит и мерой неопределенности состояния системы.

После получения некоторого сообщения β получатель приобрел некоторую дополнительную информацию I_β(α), уменьшившую его априорную неосведомленность гак, что апостериорная (после получения сообщения β) неопределенность состояния системы стала H_β(α).

Тогда количество информации I_β(α) о системе, полученной в сообщении β, определится как I_β(α) = H(α) - H_β(α), т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы.

Если конечная неопределенность H_β(α) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации I_β(α) = H(α).

Иными словами энтропия системы H(α) может рассматриваться как мера недостающей информации.

Энтропия системы H(α), имеющая N возможных состояний, согласно формуле Шеннона, равна:

где Рi - вероятность того, что система находится в i-м состоянии.

Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны,

ее энтропия определяется соотношением.

Часто информация кодируется числовыми кодами в той или иной системе счисления, особенно это актуально при представлении информации в компьютере.

Естественно, что одно и то же количество разрядов в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения

где N — число всевозможных отображаемых состояний;

m - основание системы счисления (разнообразие символов, применяемых в алфавите);

n - число разрядов (символов) в сообщении.

Наиболее часто используются двоичные и десятичные логарифмы. Единицами измерения в этих случаях будут соответственно бит и дит.

Теорема Хартли: Информативность символа m-элементного алфавита равна log m.

Формула Шеннона выражает информативность источника информации с m-символьным алфавитом и данной частотной характеристикой.

Но каналу связи передается n-разрядное сообщение, использующее m различных символов. Так как количество всевозможных кодовых комбинаций будет N=mⁿ, то при равновероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет I=log N=log m - формула Хартли.

Если в качестве основания логарифма принять m, то I=n. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данных I=Vд, полученных по каналу связи. Для неравновероятных состояний системы всегда I<Vд=n.

Коэффициент (степень) информативности (лаконичность) сообщения определяется отношением количества информации к объему данных, т.е.

С увеличением Y уменьшаются объемы работы по преобразованию информации данных) в системе. Поэтому стремятся к повышению информативности, для чего разрабатываются специальные методы оптимального кодирования информации.

Поиск по сайту: