Теоретические основы передачи дискретной информации в ИИС

Основные понятия.

- энтропия источника

– вероятность i-того символа
– энтропия

Если процесс генерирования символов (марковский процесс, процесс без памяти, вероятность следующего символа не зависит от предыдущего) происходит с определенной скоростью, то можно говорить об энтропии в секунду.

– средняя частота генерирования i-того символа

m – среднее число символов, созданных в секунду

Если берется по основанию 2, то и измеряются соответственно в битах на символ или в битах в секунду.

Если символы в последовательности независимы, то

Рассмотрим сообщения из N символов.

Если N велико, то сообщение с большой вероятностью содержит первый символ алфавита.

, т.е. раз появится символ . и так далее.

Отсюда вероятность конкретного длинного сообщения будет равна:

Возьмем

Таким образом приближенно равна логарифму обратной величины вероятности типичной длинной последовательности, деленному на число символов в ней.

Это верно для любого источника.

Типичная последовательность – та последовательность, где мы дали источнику «выговориться», проявить свои статистические характеристики.

В более точной формулировке полученный результат Шеннон сформулировал в своей третьей теореме.

Теорема: для любых заданных и существует некое (количество символов в последовательности), как только все последовательности распадаются на два класса:

- множество последовательностей, суммарная вероятность которых

- такие последовательности, обладающие вероятностью удовлетворяющие условию

Это почти достоверно, если N велико.

Аналогичный результат получается и для последовательности с суммарной вероятностью.

Рассмотрим по порядку убывания вероятностей последовательности длинны N.

Пусть - есть число последовательностей, которое нужно взять из этого ряда, начиная с наиболее вероятной, для того, чтобы их суммарная вероятность равна , тогда предел

- число бит, требуется для задания последовательности, когда рассматриваются наиболее вероятные из них с суммарной вероятностью .

Тогда - число бит на символ, необходимых для задания последовательностей.

Для больших N это число не зависит от q и равно .

Если в канале передачи информации существует возможность искажения символа, то количество информации доставляемое в среднем одним символом уже не равно . В этом случае текущее состояние источника сообщения после приема очередного символа j определяется не достоверно, а характеризуется достигнутым уменьшением энтропии источника.

– априорная энтропия

- апостериорная энтропия (после приема очередного символа, искаженного помехой)

Как уже отмечалось, максимальной энтропии источника соответствует случай равной вероятности любого символа алфавита. Это соответствует случаю отсутствия корреляции между символами.

При наличии корреляции вероятность каждого символа зависит от конкретных значений предшествующих символов.

Корреляция между символами снижает экономичность алфавита и самым экономичным оказался алфавит использующий некоррелированные равновероятные символы.

Любой другой алфавит при том же объеме M потребует большего числа символов на передачу того же количества информации.

Если источник с объемом алфавита M характеризуется энтропией , то среднее количество информации содержащееся в n символах будет равно

Минимальное же количество символов необходимых для передачи того же сообщения с некоррелированным алфавитом:

Но если алфавит равновероятный, то:

Избыточность числа символов используемых данным источником для передачи некоторого количества информации относительно минимально необходимого их числа характеризуется коэффициентом избыточности.

Не следует считать, что избыточность следует из-за несовершенства источника. Так при передаче текста избыточность – необходимость для благозвучания языка, разборчивости и т.д.

Известно, что , - средняя информация на символ для абсолютно хаотичного текста.

Известно из статистического анализа, что нормальная речь соответствует коррелированному алфавиту, и энтропия источника равна

На практике избыточность всегда является необходимой платой за достоверность.

Отметим важное обстоятельство, связанное с передачей маловероятных символов.

Несмотря на то, что в каждом конкретном случае появления маловероятного символа происходит наибольшее приращение информации, но в среднем из-за малой вероятности их появления они вносят малый вклад в передачу информации.

Это позволяет при статистическом анализе информационного потока исключать сообщения, суммарная вероятность которых стремиться к 0.

Отметим, что введенная Шенноном количественная мера информации не учитывает ни ценности, ни важности сообщения.

Каналы индифферентны к проходящим в них сообщениях.

Поиск по сайту: