АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Количество информации, энтропия, избыточность источника сообщений

Читайте также:
  1. Equilibrium quantity - равновесное количество
  2. f – количество прожитых дней
  3. N – количество этажей.
  4. Б. Топливо,состав и количество продуктов сгорания.
  5. Блок периферических конструктов - это все остальные конструкты. Количество этих конструктов сугубо индивидуально и может варьировать от сотен до нескольких тысяч.
  6. В первые годы советской власти, когда количество дипломатических представительств в Москве было невелико
  7. В64. Гесиод и ранняя греческая лирика, их жанровое своеобразие и значение в качестве источника для истории архаического времени.
  8. Важный элемент оценки ценности новостей – количество читателей, которых статья наверняка заинтересует.
  9. Важным условием бесперебойной работы является полная обеспеченность потребности в материальных ресурсах источниками покрытия. Они могут быть внешними и внутренними.
  10. Величина спроса – это максимальное количество конкретного товара, которое согласен купить отдельный покупатель в единицу времени при определенных условиях.
  11. Взаимодействие между персональными и внешними источниками подкрепления
  12. Виды СЕКРЕТНОЙ И конфиденциальной информации, особенности защиты и порядок документирования. Защищенный документооборот

Количество информации в сообщении а определяется по формуле:

Основание логарифма – 2, P(a) – вероятность появления сообщения a.

Количество информации в сообщении тем больше, чем оно менее вероятно. Для характеристики всего ансамбля сообщений используется среднее количество информации Н(А):

Среднее количество информации Н(А) называется энтропией. Если вероятность одного сообщения равна 1, а остальных 0, то Н(А) = 0. Если ансамбль содержит К сообщений, то

Для двоичного источника зависимость энтропии от Р(А) имеет вид:

Энтропия источника зависимых сообщений всегда меньше энтропии источника независимых сообщений.

Если объем алфавита К = 32 и буквы выбираются независимо, то

Н(А) = log 32 = 5 бит на букву.

Если буквы составляют связанный русский текст, то они не равновероятны и независимы. Энтропия в этом случае равна Н(А) = 1,5 бит.

Величина:

ǽ = называется избыточностью источника сообщений с объемом алфавита К. Избыточность показывает, какая доля максимальной энтропии не используется источником. Производительность источника – суммарная энтропия сообщений, переданная за единицу времени.

 

Список использованной литературы:

1. Баскаков С.И. РТЦиС. М.: «Высшая Школа», 2000 г.

2. Гоноровский И.С. РТЦиС. М.: «Радио и связь», 1986 г.

3. Шумов А.П. Курс лекций «ТЭС», 2007-2008 гг.


 


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 |

Поиск по сайту:

Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.006 сек.)