РОЗДІЛ 16. ОСНОВНІ ВІДОМОСТІ З ТЕОРІЇ ІНФОРМАЦІЇ

16.1. ІНФОРМАЦІЙНІ ХАРАКТЕРИСТИКИ ДЖЕРЕЛА ПОВІДОМЛЕНЬ

Кількісна міра інформації. З визначення інформації (див. § 1.1) як су­купності новин для споживача випливає, що в загальному випадку дати оцінку кількості інформації досить важко, оскільки кожне повідомлення має свій семантичний зміст, свій сенс і певну цінність для споживача. Те ж саме повідомлення може давати одному споживачеві багато інформації, іншому - мало. Однак змістовна сторона повідомлень не враховується при визначенні виміру інформації в теорії інформації.

За основу виміру кількості інформації взяті ймовірнісні характеристики повідомлень, які не пов'язані з їх конкретним змістом, а відображають міру невизначеності (несподіваності). У такому визначенні в першу чергу врахо­вується той узвичаєний факт, що чим менша ймовірність повідомлення, тим більше інформації воно несе. Так, про малоймовірне повідомлення говорять: "Оце новина, як обухом по голові", тобто споживачем одержана величезна кількість інформації, яка не може бути відразу сприйнятою та усвідомленою.

Тому за кількість інформації в окремо взятому повідомленні а, ви­значено величину, що дорівнює логарифму оберненого значення ймовірності даного повідомлення:

. (18.1)

Логарифмічна міра, що вперше запропонована в 1928 р. Р. Хартлі, має також властивість адитивності, що відповідає нашим інтуїтивним уявленням про інформацію - відомості від незалежних джерел додаються. Крім того, при кількість інформації, якщо її розраховувати за формулою (18.1), дорівнює нулю, що відповідає прийнятому раніше визначенню інформації (повідомлення про відому подію ніякої інформації не несе).

Якщо джерело видає залежні повідомлення , то вони хара­ктеризуються умовними ймовірностями . І в цьому випадку кількість інформації розраховується за формулою (18.1) при підстановці до неї умовної ймовірності повідомлення.

Одиниці виміру кількості інформації. Вибір основи логарифма у форму­лі (18.1) дає одиницю виміру інформації. У разі використання десяткового логарифма одиницею виміру інформації є десяткова одиниця, скороче­но - діт; у разі використання натурального логарифма одиницею виміру є натуральна одиниця - нат. Зручніше в системах, що працюють із двійковими кодами (ЕОМ, двійкові системи зв'язку тощо), використовувати основу лога­рифма Ь = 2, тоді інформація вимірюється у двійкових одиницях - дв.од. Дуже часто замість дв.од. використовують еквівалентну назву - біт (bit), що виникла як скорочення англійських слів bіnary digit (двійкова цифра). Отже, при маємо , тобто 1 біт - це кількість інформації, яку несе повідомлення, імовірність якого . Оскільки ймовірність повідомлення , то кількість інформації в повідомленні, якщо її розраховувати за формулою (18.1), може бути будь-яким додатним числом.

Нині термін "біт" в інформатиці, обчислювальній та імпульсній техніці використовується не тільки як одиниця кількості інформації, але і для визна­чення числа двійкових символів 0 і 1, оскільки вони звичайно рівноймовірні і кожний із них несе 1 біт інформації. У цьому новому значенні біт - це міні­мально можлива порція (квант) числа 0 і 1, у двійковій послідовності біт є цілим додатним числом.

Ентропія джерела. Більшість реальних джерел видають повідомлення з різними ймовірностями. Наприклад, у тексті букви А, Е, О зустрічаються досить часто, а Ж, Щ, Ф - рідко. У разі різних імовірностей повідомлення несуть різну кількість інформації, а для вирішення більшості практичних задач має значення середня кількість інформації в одному повідомленні. Ця середня кількість інформації обчислюється як математичне сподівання і згідно з формулами (2.20) та (18.1) при загальній кількості повідомлень джерела визначається як

. (18.2)

Величина дістала назву ентропії джерела незалежних повідомлень, ви­мірюється в бітах на повідомлення, скорочено - біт/пов. Термін "ентропія" взято з термодинаміки, де вираз, аналогічний виразу (18.2), характеризує середню невизначеність стану системи молекул речовини. У теорії інформації цей термін і спосіб обчислення (за формулою (18.2)) введено в 1948 р. К. Шенноном, а далі більш чітко визначено математиками О.Я.Хінчиним та А.М.Колмогоровим. Фізично-інформаційна ентропія відбиває середню невизначеність стану джерела повідомлень і є об'єктивною інформаційною характеристикою джерела. Ентропія, як і інформація, завжди додатна й дістає максимального значення для рівноймовірних повідомлень.

Для джерела із залежними повідомленнями ентропія також обчислюєть­ся як математичне сподівання кількості інформації цих повідомлень. Слід зазначити, що одержане в цьому випадку значення ентропії менше за ент­ропію джерела незалежних повідомлень. Цей результат фізично пояснюється тим, що за наявності залежності повідомлень невизначеність вибору зменшу­ється і, відповідно, зменшується ентропія. Так, у тексті після сполучення ЯКЩ більш імовірно, що четвертою літерою буде О та малоймовірна поява четвертої літери Ж чи Б. У середньому сполучення ЯКЩО несе менше інформації, ніж ці літери окремо.

Надлишковість джерела повідомлень. Під надлишковістю завжди розуміють щось зайве (непотрібне). Що ж надлишкового (зайвого) має джерело повідомлень з інформаційної точки зору? Надлишковими в джерелі вважають­ся повідомлення, що несуть малу, а іноді й нульову кількість інформації. Час на їх передавання витрачається, а інформації передається замало. Наявність надлишковості означає, що частину повідомлень можна і не передавати кана­лом зв'язку, а відновити з інших прийнятих повідомлень за відомими статисти­чними зв'язками. Так, наприклад, і чинять, передаючи телеграми. З тексту вилучають сполучники, прийменники, розділові знаки через те, що вони легко відновлюються за змістом телеграм на основі відомих правил побудови фраз.

Кількісно надлишковість оцінюється коефіцієнтом , що називається коефіцієнтом надлишковості і визначається за формулою

, (І8.3)

де - ентропія джерела; - максимальна ентропія джере­ла, що може видавати повідомлень. Основними причинами надлишко­вості є: 1) різні ймовірності окремих повідомлень; 2) наявність статистичних зв'язків між повідомленнями джерела.

Надлишковість при передаванні повідомлень має свої позитивні та нега­тивні сторони. Підвищення надлишковості призводить до збільшення трива­лості передавання повідомлень, зайвого завантаження каналів зв'язку. За певний відрізок часу в каналі передається менша кількість інформації, ніж це можливо. Тому однією із задач теорії інформації та кодування є задача зменшення надлишковості.

З іншого боку, в разі збільшення надлишковості з'являється можливість підвищення завадостійкості передавання повідомлень. Наприклад, надлишковість тексту дає можливість виправити окремі помилки та відновити пропущені букви або навіть слова в телеграмі.

В українській, російській, та й інших європейських мовах надлишковість із врахуванням усіх статистичних зв'язків букв приблизно однакова - . Вона сформувалась як результат тривалої суспільної практики на основі вимог - виправлення спотворень слів і фраз під впливом різних заважаючих факторів. Тому при кодуванні повідомлень у системі зв'язку встановлюється компромісне значення надлишковості з точки зору швидкості та надійності передавання повідомлень.

Кількість інформації та ентропія неперервних повідомлень. Неперерв­ні повідомлення у загальному випадку набувають нескінченної кількості значень як за часом, так і за миттєвими значеннями. Тому кількість інформації та, відповідно, ентропія джерела неперервного повідомлення нескінченні.

Проте більшість реальних неперервних повідомлень обмежені за часто­тою, і їх можна дискретувати згідно з теоремою Котельникова (див. § 2.4): брати відліки через інтервал дискретизації . Крім того, відліки повідомлення із заданою точністю можна проквантувати, тобто перетворити неперервний відлік у дискретний. Тому середнє значення кількості інформа­ції в одному квантованому відліку (ентропія відліку) також обчислює­ться як математичне сподівання кількості інформації в ньому:

, (18.4)

де - число рівнів квантування; - імовірність появи у квантованому повідомленні -го рівня.

Якщо у формулі (18.4) виконати граничний перехід, тобто спрямувати число рівнів квантування до безмежності, то дістанемо величину

, (18.5)

яку називають диференціальною ентропією неперервних повідомлень. У формулі (18.5) - густина ймовірності неперервного повідомлення .

Однак через те, що залежить від масштабу , величина окре­мо не може бути абсолютною мірою інформації (невизначеності) неперерв­ного повідомлення. Вона не має багатьох властивостей ентропії дискретних повідомлень, зокрема, може бути і від'ємною. Інформаційний сенс має не сама диференціальна ентропія, а різниця диференціальних ентропій, наприк­лад, на вході та виході каналу зв'язку. Якраз для цих обчислень і використо­вується диференціальна ентропія.

Продуктивність джерела. Під продуктивністю джерела розуміють се­редню кількість інформації, утвореної джерелом за одиницю часу. Якщо за час джерело видало дискретних повідомлень з ентропією кожного з них , то кількість утвореної ним інформації , і продуктивність дискретного джерела повідомлень, біт/с,

, (18.6)

де - середня тривалість повідомлення. Отже, продуктивність джерела дискретних повідомлень обчислюється як відношення ентропії до середньої тривалості повідомлень.

Для неперервних повідомлень у разі їх перетворення в цифрову форму з частотою дискретизації та ентропією відліків продуктивність дже­рела може бути обчислена за формулою

. (18.7)

Для рівноймовірних рівнів квантування ймовірність кожного з них , і з формул (18.4) та (18.7) дістаємо, що максимальне значення продук­тивності джерела неперервних повідомлень

. (18.8)

Продуктивність джерела повідомлень є однією з основних його характе­ристик, оскільки канали передачі повідомлень мають будуватися так, щоб забезпечити передавання всієї виданої джерелом кількості інформації. Для типових джерел повідомлень (первинних сигналів), що описані в § 2.8, обчислення продуктивності за формулами (18.6)та (18.8) зведені в табл. 18.1. Обчислення проведені за умови, що перетворювач повідомлення - сигнал - не вносить спотворень та неперервні первинні сигнали перетворюються АЦП у цифрову форму з високою якістю (малий шум квантування).

Поиск по сайту: