АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

III. ИЗМЕРЕНИЕ ИНФОРМАЦИИ

Читайте также:
  1. YIII.3.3.Измерение
  2. АЛГОРИТМ СБОРА ИНФОРМАЦИИ
  3. Анализ отечественного рынка средств защиты информации
  4. Архивация информации
  5. Атрибуты невербальной информации
  6. Базы данных как важнейший источник социологической информации
  7. Безработица: сущность, типы. Измерение уровня безработицы. Экономические и социальные последствия.
  8. Библиографическое описание как форма свертывания информации
  9. Блок приема, переработки и хранения информации
  10. В. Измерение неравенства доходов
  11. Валовый внутренний продукт и его измерение по доходам и расходам.

 

При реализации информационных процессов всегда происхо­дит перенос информации в пространстве и времени от источника информации к приемнику. При этом для передачи информации используют различные знаки или симво­лы, например естественного или искусственного (формального) языка, позволяющие выразить ее в форме сообщения. Для измерения информации вводят­ся два параметра: объем информации и количество информации.

Если информация передается в виде сообще­ния, представляющего собой совокупность символов какого-либо алфавита, то каждый новый символ в сообщении увеличи­вает количество информации в нем. Если теперь количество инфор­мации, содержащейся в сообщении из одного символа, принять за единицу, то объем информации (данных) V в любом другом сооб­щении будет равен количеству символов (разрядов) в этом сооб­щении. Так как одна и та же информация может быть представле­на многими разными способами (с использованием разных алфавитов), то и единица измерения информации (данных) соответ­ственно будет меняться.

В компьютерной технике наименьшей единицей измерения информации является 1 бит. Таким образом, объем информации, записанной двоичными знаками (0 и 1) в памяти компьютера или на внешнем носителе информации подсчитывается просто по количеству требуемых для такой записи двоичных символов. Напри­мер, восьмиразрядный двоичный код 11001011 имеет объем дан­ных V= 8 бит.

В современной вычислительной технике наряду с минимальной единицей измерения данных «бит» широко используется укруп­ненная единица измерения «байт», равная 8 бит. При работе с боль­шими объемами информации для подсчета ее количества приме­няют более крупные единицы измерения, такие как килобайт (Кбайт), мегабайт (Мбайт), гигабайт (Гбайт), терабайт (Тбайт):

1 Кбайт = 1024 байт = 210 байт;

1 Мбайт = 1024 Кбайт = 220 байт = 1 048 576 байт;

1 Гбайт = 1024 Мбайт = 230 байт = 1 073 741 824 байт;

1 Тбайт = 1024 Гбайт = 240 байт = 1 099 511 627 776 байт.

Используя методику такого рода, можно достаточно легко вычислить объем информации, содержащейся в некотором сообщении. Однако, к сожалению, этот подход удается использовать не всегда.

Часто приходится иметь дело с явлениями, исход которых неоднозначен и зависит от факторов, которые мы не знаем или не можем учесть. Например – результат бросания игральной кости. В этом случае измерить количество информации, полученное в результате эксперимента, несколько сложнее.



Прежде, чем раскрыть существо вероятностного метода вычисления количества информации дадим несколько определений.

Определение.События, о которых нельзя сказать произойдут они или нет, пока не будет осуществлен эксперимент, называются случайными.

Раздел математики, в котором строится понятийный и математический аппарат для описания случайных событий, называется теорией вероятности.

Определение. Осуществление некоторого комплекса условий называется опытом, а интересующий нас исход этого опыта – благоприятным событием.

Определение.Вероятностью события А называется отношение числа равновозможных исходов, благоприятствующих событию А, к общему числу всех равновозможных исходов.

Определение.Энтропия H – мера неопределенности опыта, в котором проявляются случайные события.

Очевидно, что величины H и n (число возможных исходов опыта) связаны функциональной зависимостью: H=f(n), то есть мера неопределенности есть функция числа исходов.

Некоторые свойства этой функции:

1. f (1) = 0, так как при n=1 исход не является случайным и неопределенность отсутствует.

2. f (n) возрастает с ростом n, так как чем больше возможных исходов, тем труднее предсказать результат, и, следовательно, больше неопределенность.

3. если α и β два независимых опыта с количеством равновероятных исходов nα и nβ, то мера их суммарной неопределенности равна сумме мер неопределенности каждого из опытов:

Всем трем этим свойствам удовлетворяет единственная функция – log(n). То есть за меру неопределенности опыта с n равновероятными исходами можно принять число log(n). В силу известной формулы можно перейти от логарифма по одному основанию к логарифму по любому другому основанию. Таким образом, выбор основания значения не имеет. Произвольно выбрав основание, равное 2, получим формулу Хартли:

‡агрузка...

H=log2 n.

Если исходы опыта не равновероятны, справедлива формула Шеннона:

,

где pi-вероятность i-того исхода.

Теперь перейдем к нашей цели – определению количества информации. Из определения энтропии следует, что энтропия это числовая характеристика, отражающая степень неопределенности некоторой системы.

После проведения опыта, то есть после получения информации, естественно, какая-то часть неопределенности исчезнет. И чем больше информации мы получим при проведении опыта, тем меньше неопределенности останется. Таким образом, уменьшение энтропии является количественной мерой информации:

I=H1-H2=log2n1-log2n2=log2 (n1/n2),

где H1 – энтропия до проведения опыта, H2 – энтропия после проведения опыта.

Ситуация напоминает закон Архимеда: тело, погруженное в жидкость, выталкивает ровно тот ее объем, который занимает само. Так и информация вытеснит энтропию в количестве, равном своему.

Очевидно, что в случае, когда получен конкретный результат, H2=0, и, таким образом, количество полученной информации совпадает с начальной энтропией и подсчитывается при помощи формулы Хартли.

Итак, мы ввели меру неопределенности – энтропию и показали, что начальная энтропия (или уменьшение энтропии) равна количеству полученной в результате опыта информации. Важным при введении какой-либо величины является вопрос о том, что принимать за единицу ее измерения. Очевидно, значение H будет равно 1 при n=2. Иначе говоря, в качестве единицы принимается количество информации, связанное с проведением опыта, состоящего в получении одного из двух равновероятных исходов (например, бросание монеты). Такая единица количества информации называется "бит".

 


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 |


Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.006 сек.)