Измерение количества информации

Термин «информация» - один из самых популярных в нашем лексиконе. Мы вкладываем в него весьма широкий смысл и пояснить его можем, как правило, на интуитивном уровне. Информация поступает по телефону, ее переносят телеграф, радио, телевидение. Она записывается на магнитных лентах и фоточувствительной бумаге, передается человеческой речью, распространяется в виде газет, журналов, книг. Информацию хранят в библиотеках, архивах, базах данных, ее сообщают нам измерительные приборы, вкус пищи, запахи, вид звездного неба.

В переводе с латинского языка слово informatio означает разъяснение, изложение, осведомленность.

Информация, являясь отражением материальной сущности, служит способом описания взаимодействия между источником информации и получателем. Это легко проверить, так как одно и то же сообщение одному получателю может давать много информации, а другому - мало или ничего. Одним словом, «информировать» в понимании теории информации означает сообщать нечто ранее неизвестное.

Так как информацию можно хранить, преобразовывать и передавать, должны быть носитель информации, передатчик, канал связи и приемник. Эта среда объединяет источник информации и получателя в информационную систему. Активными участниками этой системы не обязательно должны быть только люди: обмен информацией может происходить в животном и растительном мире. Когда речь идет о человеке как участнике информационного процесса, имеется в виду смысловая или семантическая информация, т. е. та, которая выражается человеком.

В обиходе мы часто употребляем слово «данные» как синоним информации, однако между ними есть существенное различие. Данные - это величины, их отношения, словосочетания, факты, преобразование и обработка которых позволяет извлечь информацию, т. е. знание о том или ином предмете, процессе или явлении. Иными словами, данные служат сырьем для создания информации, полученной в результате обработки данных.

Исследованием методов передачи, хранения и приема информации занимается теория информации, инструментами которой служат теория случайных процессов, теория кодирования, математическая статистика, теория вероятностей. Внимание к проблеме передачи информации и ее количественной оценке было привлечено фундаментальными работами Н. Винера и К. Шеннона, положившими начало теории информации. Основная заслуга К. Шеннона состояла в оценке пропускной способности канала связи на основе меры количества информации. По-иному стала выглядеть теория кодирования. Нельзя не упомянуть имя американского ученого Р. Хартли, предложившего в l928 г. логарифмическую меру количества информации. Значительный вклад в теорию информации внесли советские ученые А. Н. Колмогоров, А. А. Харкевич, В. А. Котельников, работы которых хорошо известны специалистам во всем мире.

Важнейшим этапом в развитии теории информации явилась количественная оценка информации. Понятно, что эта оценка не должна быть связана с содержательной стороной информации. Только в этом случае появится возможность оценки информационных потоков в таких разных по своей природе объектах, как система связи, вычислительные машины, процессы управления, нервная система живого организма.

Только принимая за основу новизну сведений, можно дать количественную оценку информации, так как новизна сведений является следствием неопределенности сведений об объекте, процессе, явлении, а неопределенность поддается измерению. Например, сообщение об имени победившего на выборах в президенты, если было всего два кандидата, несет меньшее количество информации по сравнению со случаем, если бы выборы происходили в конкурентной борьбе пяти кандидатов.

Основываясь на идее, что информация устраняет некоторую неопределенность, т. е. незнание, описание любого события или объекта формально можно рассматривать как указание на то, в каком из возможных состояний находится описываемый объект. Тогда протекание событий во времени есть не что иное, как смена состояний, выбранных с некоторой вероятностью из числа всех возможных. Чем больше неопределенность выбора, тем больше информации, так как результат выбора имеет большую степень неожиданности.

Самым простейшим случаем является выбор альтернативы из двух событий, поэтому за единицу информации целесообразно принять количество информации, заключенное в выборе одного из двух равновероятных событий. Эта единица называется «двоичной единицей» или битом (binary digit - bit).

Итак, при любой неопределенности сужение области выбора вдвое дает одну единицу информации. В физике существует понятие энтропии, которая характеризует степень неупорядоченности (хаотичности) физической системы. Неупорядоченность может быть интерпретирована в смысле того, насколько мало известно наблюдателю о данной системе. Как только наблюдатель выявил что-нибудь в физической системе, так энтропия системы снизилась, ибо для наблюдателя система стала более упорядоченной. И если максимум энтропии соответствует абсолютно случайному состоянию системы, то максимум информации характеризует полностью упорядоченную (детерминированную) систему. Одним словом, энтропия и информация имеют противоположные знаки, т. е. энтропия системы выражает степень ее неупорядоченности, а информация дает меру ее организации.

Формулу измерения количества информации можно получить эмпирически: для снятия неопределенности в ситуации из двух равновероятных событий необходим один бит информации, при неопределенности, состоящей из четырех событий, достаточно двух бит информации, чтобы угадать искомый факт. Эти рассуждения можно продолжить: 3 бита информации соответствуют неопределенности из 8 равновероятных событий, 4 бита - 16 равновероятных событий и т. д. Таким образом, если сообщение указывает на один из равновероятных вариантов, то оно несет количество информации, равное log₂n.

Будем различать понятия «информация» и «сообщение». Под сообщением подразумевают обычно информацию, выраженную в определенной форме и подлежащую передаче. Сообщение - это форма представления информации. Примерами сообщений являются текст телеграммы, речь оратора, показания измерительного прибора, команды управления, изображение на экране телевизора и т. п.

Обращает на себя внимание замечательное единство, связанное с бинарной природой переключающих элементов, бинарным представлением информации и бинарной оценкой его количества. Дело в том, что запоминание информации в вычислительных машинах производится на элементах бинарного типа (ферритовые кольца с прямоугольной петлей гистерезиса, триггеры, полупроводниковые вентили), а информация (буквы, числа) в компьютере представляется в двоичной системе счисления (О и I), поэтому и емкость памяти компьютера измеряется количеством бит. После того как аналоговую информацию (речь, музыку, кинофильмы) стало возможным представить в виде 0 и 1, образовался единый процесс обработки, запоминания и передачи информации любой природы, выполняемый с помощью физических элементов бинарного типа.

Есть, однако, особенность, которую стараются не замечать. Она связана с количеством запасенной или переданной информации, представленной в двоичных единицах, и количеством информации, заключенным в данном сообщении. С точки зрения теории информации неопределенность, снимаемая в результате передачи одной страницы текста примерно из 2 000 знаков, может составлять всего несколько бит (неинформативное сообщение), в то время как эта же страница при кодировании букв 8-элементными кодовыми комбинациями будет содержать 16·10³ бит, хотя это не есть количество информации, заключенное в данном тексте.

Информация (для процесса обработки данных) – INFORMATION содержание, присваиваемое данным, посредством соглашений, распространяющихся на эти данные (СТ ИСО 2383/1-84).

Данные – DATA информация, представленная в виде, пригодном для обработки автоматическими средствами при возможном участии человека ГОСТ 15971-84

событие, понятие или команда, представленные в формализованном виде, позволяющем передачу, интерпретацию или обработку, как вручную, так и с помощью средств автоматизиции,

Поиск по сайту: