АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Условная энтропия

Читайте также:
  1. Абсолютная и условная сходимость несобственных интегралов.
  2. Безусловная оптимизация для одномерной унимодальной целевой функции
  3. ВОЗМОЖНОСТИ СИСТЕМНОГО ПОДХОДА. РАЗНОВИДНОСТИ СИСТЕМНЫХ СВЯЗЕЙ. ЭНТРОПИЯ
  4. Второе начало термодинамики. Энтропия
  5. Второй закон термодинамики. Энтропия
  6. Второй закон термодинамики. Энтропия. Закон возрастания энтропии. Теорема Нернста. Энтропия идеального газа.
  7. Если система, имеет n равновероятных состояний, то очевидно, что с увеличением числа состояний энтропия возрастает, но гораздо медленнее, чем число состояний.
  8. Знакопеременные ряды. Абсолютная и условная сходимость
  9. Измерение рассеивания энергии. Энтропия.
  10. Информационная энтропия
  11. ЛЕКЦИЯ 9. ЭНТРОПИЯ КАК ФУНКЦМИЯ СОСТОЯНИЯ СИСТЕМЫ
  12. Многомерная безусловная оптимизация

Если следование символов алфавита не независимо (например, во французском языке после буквы «q» почти всегда следует «u», а после слова «передовик» в советских газетах обычно следовало слово «производства» или «труда»), количество информации, которую несёт последовательность таких символов (а, следовательно, и энтропия), очевидно, меньше. Для учёта таких фактов используется условная энтропия.

Условной энтропией первого порядка (аналогично для Марковской модели первого порядка) называется энтропия для алфавита, где известны вероятностипоявления одной буквы после другой (то есть, вероятности двухбуквенных сочетаний):

где — это состояние, зависящее от предшествующего символа, и — это вероятность при условии, что был предыдущим символом.

Например, для русского языка без буквы «ё»


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 |

Поиск по сайту:

Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.003 сек.)