АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Ентропія дискретних повідомлень

Читайте также:
  1. Вузол комутації повідомлень.
  2. Ентропія неперервних повідомлень
  3. Закони розподілу дискретних випадкових величин
  4. Кодування повідомлень в інформаційно–телекомунікаційних системах. Поняття про кодування і код
  5. Основні закони розподілу дискретних випадкових величин
  6. Оцінка впливу способів організації обміну в ТКМ на час доставляння повідомлень
  7. Список повідомлень про помилки (MathCAD)

Дискретними називаються повідомлення, передача яких відбувається у вигляді окремих символів. Найбільш поширені символи — букви алфавіту і цифри арабської системи числення. Позначаючи кількість всіх можливих в конкретній системі символів через m, а кількість переданих символів через n, можемо встановити кількість різних повідомлень, що утворюються n- символами з m-символів. Притримуючись математичної термінології, можна сказати, що вона буде рівна кількості розміщень з повтореннями (див. додаток П1, стр.179), тобто mn.

При рівній ймовірності окремих повідомлень ймовірність кожного з них

, (2.4)

і, відповідно, кількість інформації в одному повідомленні рівна

. (2.5)

Ентропія такого повідомлення вираховується таким чином:

. (2.6)

З формул (2.5) і (2.6) випливає, що при передачі рівноймовірних повідомлень кількість інформації в повідомленнях пропорційна переданому числу символів і логарифму числа можливих символів (букв алфавіту). Ентропія в цьому випадку залежить тільки від числа можливих символів (букв алфавіту).

При різній ймовірності можливих повідомлень кількість інформації, яка передається, визначається з врахуванням ймовірностей окремих символів алфавіту джерела повідомлень, приведеного в таблиці 2.2.


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 |

Поиск по сайту:

Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.002 сек.)