Количество информации, энтропия, избыточность источника сообщений
Количество информации в сообщении а определяется по формуле:
Основание логарифма – 2, P(a) – вероятность появления сообщения a.
Количество информации в сообщении тем больше, чем оно менее вероятно. Для характеристики всего ансамбля сообщений используется среднее количество информации Н(А):
Среднее количество информации Н(А) называется энтропией. Если вероятность одного сообщения равна 1, а остальных 0, то Н(А) = 0. Если ансамбль содержит К сообщений, то
Для двоичного источника зависимость энтропии от Р(А) имеет вид:
Энтропия источника зависимых сообщений всегда меньше энтропии источника независимых сообщений.
Если объем алфавита К = 32 и буквы выбираются независимо, то
Н(А) = log 32 = 5 бит на букву.
Если буквы составляют связанный русский текст, то они не равновероятны и независимы. Энтропия в этом случае равна Н(А) = 1,5 бит.
Величина:
ǽ = называется избыточностью источника сообщений с объемом алфавита К. Избыточность показывает, какая доля максимальной энтропии не используется источником. Производительность источника – суммарная энтропия сообщений, переданная за единицу времени.
Список использованной литературы:
1. Баскаков С.И. РТЦиС. М.: «Высшая Школа», 2000 г.
2. Гоноровский И.С. РТЦиС. М.: «Радио и связь», 1986 г.
3. Шумов А.П. Курс лекций «ТЭС», 2007-2008 гг.
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | Поиск по сайту:
|