Канал передачі інформації

Коли інформація передається між джерелом і одержувачем інформації, то говорять, що джерело інформації з'єднаний з одержувачем каналом передачі інформації (або просто каналом). Канал є деяке фізичне середовище, що з'єднує джерело з одержувачем. Це може бути телефонна лінія, середовище розповсюдження електромагнітних хвиль, або провідник у комп'ютері. На Рис.1.7 представлена математична модель системи передачі інформації. Тут представленим інтерес параметром є пропускна здатність системи, обумовлена ​​як можливість системи передавати повідомлення.

Рис. 1.7. Проста система передачі інформації

Припустимо, що джерело інформації на Рис. 1.7 генерує випадкову послідовність символів з кінцевого або рахункового набору можливих символів, тобто вихід джерела є дискретна випадкова величина. Набір вихідних символів називають алфавітом джерела А, а елементи набору - символами або літерами. Імовірність того, що джерело породжує символ дорівнює , причому

Для опису сукупності ймовірностей символів джерела зазвичай використовується J -мірний вектор ймовірностей . Тим самим джерело інформації повністю описується кінцевим ансамблем повідомлень (А, z).

У відповідностей зі зробленими припущеннями і формулою (1.3-1), кількість інформації, що передається джерелом при появі одного символу , буде . Якщо зявляються k символів джерела, то, згідно закону великих чисел, при достатньо великих k символ буде з'являтися на виході (в середовищ-ньому) раз. Тим самим середня кількість інформації, передається за допомогою k символів джерела, складе величину

Середня кількість інформації, що припадає на один символ джерела і позначуване , одно

Цю величину називають ентропією або невизначеністю джерела. Вона визначає середню кількість інформації (в системі одиниць з основою m), одержуваної при спостереженні одного символу джерела. Коли ця величина більше, то пов'язана з джерелом невизначеність, а значить, і кількість інформації, більше. Коли символи джерела рівноймовірно, що задається рівнянням (1.3-3) ентропія, або невизначеність, приймає максимальне значення, і тоді джерело передає максимально можливе середнє кількість інформації на один символ.

Побудувавши модель джерела інформації, ми можемо легко визначити перехідні характеристики каналу. Оскільки ми припускали, що на вхід каналу на Рис. 1.7 поступає дискретна випадкова величина, то на виході каналу ми також будемо мати дискретну випадкову величину. Подібно випадковій величині на вході, випадкова величина на виході приймає значення з кінцевого або рахункового набору символів , званого алфавітом каналу В. Імовірність події, що складається в тому, що до одержувача надійде символ , дорівнює . Кінцевий ансамбль (В, v), де , повністю описує вихід каналу, і тим самим інформацію, що надходить до одержувача.

Імовірність виходу даного каналу і розподіл імовірності джерела z пов'язані наступним виразом:

де є умовна ймовірність, тобто ймовірність отримати на виході символ , за тієї умови, що на вхід був поданий символ . Якщо умовні ймовірності, що входять у вираз (1.3-4), записати в вигляді матриці Q розмірами , так що

тоді розподіл ймовірностей вихідних символів каналу може бути записано в матричній формі:

Матрицю Q з елементами називають матрицею перехідних ймовірностей каналу, або, в скороченому вигляді, матрицею каналу.

Щоб визначити пропускну здатність каналу з прямою матрицею переходів Q, спочатку необхідно обчислити ентропію джерела інформації в припущенні, що одержувач спостерігає на виході деякий символ . Для будь-якого спостережуваного рівняння (1.3-4) задає розподіл ймовірностей на множині символів джерела, так що для кожного є своя умовна ентропія, представлена у вигляді . За допомогою послідовності кроків, використовуваних при виводі рівняння (1.3-3), умовна ентропія може бути записана в наступному вигляді:

де є ймовірність того, що джерелом був переданий символ за умови, що одержувач прийняв символ . Очікуване (середнє) значення для даного виразу по всьому буде рівне:

яке, після підстановки рівняння (1.3-7) для і нескладних подібних перетворень може бути записано в наступному вигляді:

Тут є спільна ймовірність і , тобто ймовірність того, що був переданий символ і був отриманий символ .

Величину називають умовною ентропією або невизначеністю величини z щодо величини v. Вона являє середнє кількість інформації на один символ джерела, за умови спостереження конкретного вихідного символу. Оскільки - cередня кількість інформації на один символ без припущення при отриманому вихідному символі, то різниця між і є середня кількість інформації, що отримується при спостереженні одного вихідного символу. Ця різниця, що позначається і називається середньою взаємною інформацією z і v, дорівнює

Підставляючи вирази (1.3-3) та (1.3-9) для і в (1.3-10), і згадуючи, що , отримуємо

після подальших перетворень цей вираз може бути переписано у вигляді

Таким чином, середня кількість інформації, що отримується при спостереженні одного символу на виході каналу, залежить від розподілення ймовірностей джерела (вектора z) і матриці каналу Q. Мінімальнt можливе значення дорівнює нулю і досягається тоді, коли вхідні і вихідні символи виявляються статистично незалежними, тобто у разі, коли : при цьому логарифмічні члени в правій частині (1.3-11) дорівнюють нулю для всіх значень j і k. Максимальне значення по всіх можливих виборам розподілу z джерела є пропускна здатність С каналу, описуваного матрицею каналу Q. Таким чином

,

де максимум береться по всім можливим розподілам символів на вході. Пропускна здатність каналу визначає максимальну швидкість (в системі одиниць виміру інформації по підставі m на символ джерела), при якій інформація може достовірно передаватися по каналі. Більш того, пропускна здатність каналу не залежить від породжуючого розподілу джерела (тобто від того, як власне канал використовується), а залежить лише від умовних ймовірностей які визначають власне канал.

Приклад 8.6. Двійковий випадок.

Розглянемо двійковий джерело інформації з вихідним алфавітом . Ймовірності породження символів джерелом дорівнюють і , відповідно. Згідно (1.3-3), ентропія джерела дорівнює

Оскільки то залежить від єдиного параметру , і права частина рівняння називається двоною функцією ентропії, і позначається . Так, наприклад, є функція На Рис. 1.8 (а) показаний графік для . Зауважимо, що функція приймає своє максимальне значення (рівне 1 біту) при . Для всіх інших значень джерело дає менше 1 біта інформації.

Тепер припустимо, що інформація повинна передаватися за допомогою бінарного інформаційного каналу з шумом, і нехай ймовірність помилки при передачі будь-якого символу дорівнює . Такий канал називається двійковим симетричним каналом (ДСК) і визначається наступною матрицею каналу:

Для кожного вступника на вхід символу ДСК породжує один символ Ьу з алфавіту каналу Ймовірності отримання на виході символів і можуть бути визначені з (1.3-6):

Оскільки , отже, ймовірність того, що на виході буде символ 0, дорівнює , а ймовірність того, що на виході буде символ 1, дорівнює .

Тепер з (1.3-12) може бути обчислена середня взаємна інформація для ДСК. Розкриваючи знак підсумовування в цьому рівнянні, і збираючи разом відповідні члени, отримаємо в результаті:

а)

б) в)

Рис. 1.8. Три функції двійкової інформації: (а) Двійкова функція ентропії. (б) Середня взаємна інформація двійкового симетричного каналу (ДСК). (в) Пропускна здатність ДСК.

,

де є двійкова функція ентропії, показана на Рис. 1.8 (а). Якщо значення помилки каналу фіксоване, то при і . Більш того, приймає максимальне значення, коли символи двійкового джерела рівноймовірні. На Рис. 1.8 (6) представлена залежність від при фіксованому значенні помилки каналу .

Згідно рівнянню (1.3-13), пропускна здатність ДСК визначається як максимум середньої взаємної інформації по всіх утворюючим розподілам джерела. На Рис. 1.8 (6) наведено графік для всіх можливих розподілів двійкового джерела (тобто для , або для всіх значень від до ). Можна побачити, що для будь-якого максимум досягається при = 1/2. Це значення відповідає вектору розподілів символів двійкового джерела . При цьому значення буде рівно . Таким чином, пропускна здатність ДСК, зображена на Рис. 1.8 (в) дорівнює:

.

Зауважимо, що якщо в каналі немає помилок ( = 0), так само як якщо помилка є завжди ( = 1), пропускна здатність каналу досягає свого максимального значення, рівного 1 біт/символ. В обох випадках можлива максимальна передача інформації, оскільки вихід каналу абсолютно передбачуваний. Однак, якщо , то вихід каналу повністю непередбачуваний і передача інформації через нього неможлива.

Поиск по сайту: