|
|||||||
АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция |
III. ИЗМЕРЕНИЕ ИНФОРМАЦИИ
При реализации информационных процессов всегда происходит перенос информации в пространстве и времени от источника информации к приемнику. При этом для передачи информации используют различные знаки или символы, например естественного или искусственного (формального) языка, позволяющие выразить ее в форме сообщения. Для измерения информации вводятся два параметра: объем информации и количество информации. Если информация передается в виде сообщения, представляющего собой совокупность символов какого-либо алфавита, то каждый новый символ в сообщении увеличивает количество информации в нем. Если теперь количество информации, содержащейся в сообщении из одного символа, принять за единицу, то объем информации (данных) V в любом другом сообщении будет равен количеству символов (разрядов) в этом сообщении. Так как одна и та же информация может быть представлена многими разными способами (с использованием разных алфавитов), то и единица измерения информации (данных) соответственно будет меняться. В компьютерной технике наименьшей единицей измерения информации является 1 бит. Таким образом, объем информации, записанной двоичными знаками (0 и 1) в памяти компьютера или на внешнем носителе информации подсчитывается просто по количеству требуемых для такой записи двоичных символов. Например, восьмиразрядный двоичный код 11001011 имеет объем данных V= 8 бит. В современной вычислительной технике наряду с минимальной единицей измерения данных «бит» широко используется укрупненная единица измерения «байт», равная 8 бит. При работе с большими объемами информации для подсчета ее количества применяют более крупные единицы измерения, такие как килобайт (Кбайт), мегабайт (Мбайт), гигабайт (Гбайт), терабайт (Тбайт): 1 Кбайт = 1024 байт = 210 байт; 1 Мбайт = 1024 Кбайт = 220 байт = 1 048 576 байт; 1 Гбайт = 1024 Мбайт = 230 байт = 1 073 741 824 байт; 1 Тбайт = 1024 Гбайт = 240 байт = 1 099 511 627 776 байт. Используя методику такого рода, можно достаточно легко вычислить объем информации, содержащейся в некотором сообщении. Однако, к сожалению, этот подход удается использовать не всегда. Часто приходится иметь дело с явлениями, исход которых неоднозначен и зависит от факторов, которые мы не знаем или не можем учесть. Например – результат бросания игральной кости. В этом случае измерить количество информации, полученное в результате эксперимента, несколько сложнее. Прежде, чем раскрыть существо вероятностного метода вычисления количества информации дадим несколько определений. Определение. События, о которых нельзя сказать произойдут они или нет, пока не будет осуществлен эксперимент, называются случайными. Раздел математики, в котором строится понятийный и математический аппарат для описания случайных событий, называется теорией вероятности. Определение. Осуществление некоторого комплекса условий называется опытом, а интересующий нас исход этого опыта – благоприятным событием. Определение. Вероятностью события А называется отношение числа равновозможных исходов, благоприятствующих событию А, к общему числу всех равновозможных исходов. Определение. Энтропия H – мера неопределенности опыта, в котором проявляются случайные события. Очевидно, что величины H и n (число возможных исходов опыта) связаны функциональной зависимостью: H=f(n), то есть мера неопределенности есть функция числа исходов. Некоторые свойства этой функции: 1. f (1) = 0, так как при n =1 исход не является случайным и неопределенность отсутствует. 2. f (n) возрастает с ростом n, так как чем больше возможных исходов, тем труднее предсказать результат, и, следовательно, больше неопределенность. 3. если α и β два независимых опыта с количеством равновероятных исходов n α и nβ, то мера их суммарной неопределенности равна сумме мер неопределенности каждого из опытов:
Всем трем этим свойствам удовлетворяет единственная функция – log (n). То есть за меру неопределенности опыта с n равновероятными исходами можно принять число log (n). В силу известной формулы можно перейти от логарифма по одному основанию к логарифму по любому другому основанию. Таким образом, выбор основания значения не имеет. Произвольно выбрав основание, равное 2, получим формулу Хартли: H = log 2 n. Если исходы опыта не равновероятны, справедлива формула Шеннона: , где pi -вероятность i -того исхода. Теперь перейдем к нашей цели – определению количества информации. Из определения энтропии следует, что энтропия это числовая характеристика, отражающая степень неопределенности некоторой системы. После проведения опыта, то есть после получения информации, естественно, какая-то часть неопределенности исчезнет. И чем больше информации мы получим при проведении опыта, тем меньше неопределенности останется. Таким образом, уменьшение энтропии является количественной мерой информации: I = H1-H2 = log2n1-log2n2 = log2 (n1/n2), где H1 – энтропия до проведения опыта, H2 – энтропия после проведения опыта. Ситуация напоминает закон Архимеда: тело, погруженное в жидкость, выталкивает ровно тот ее объем, который занимает само. Так и информация вытеснит энтропию в количестве, равном своему. Очевидно, что в случае, когда получен конкретный результат, H2 = 0, и, таким образом, количество полученной информации совпадает с начальной энтропией и подсчитывается при помощи формулы Хартли. Итак, мы ввели меру неопределенности – энтропию и показали, что начальная энтропия (или уменьшение энтропии) равна количеству полученной в результате опыта информации. Важным при введении какой-либо величины является вопрос о том, что принимать за единицу ее измерения. Очевидно, значение H будет равно 1 при n = 2. Иначе говоря, в качестве единицы принимается количество информации, связанное с проведением опыта, состоящего в получении одного из двух равновероятных исходов (например, бросание монеты). Такая единица количества информации называется "бит".
Поиск по сайту: |
Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.003 сек.) |