АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Энтропия и информация

Читайте также:
  1. I. При каких условиях эта психологическая информация может стать психодиагностической?
  2. II. ОСНОВНОЕ ПОНЯТИЕ ИНФОРМАТИКИ – ИНФОРМАЦИЯ
  3. III. Опорная информация
  4. Афина(вся информация взята из Мирче)
  5. Базовые понятия: информация, информационные процессы
  6. Билет № 37 Проблема истины в философии и в науке. Ложь, дезинформация и заблуждение в познании.
  7. Биосинтез белка и нуклеиновых кислот. Матричный характер реакций биосинтеза. Генетическая информация в клетке. Гены, генетический код и его свойства
  8. Взгляд и информация
  9. ВОЗМОЖНОСТИ СИСТЕМНОГО ПОДХОДА. РАЗНОВИДНОСТИ СИСТЕМНЫХ СВЯЗЕЙ. ЭНТРОПИЯ
  10. ВРЕДНАЯ ИНФОРМАЦИЯ. КЛАССИФИКАЦИЯ ВРЕДНОЙ ИНФОРМАЦИИ.
  11. Второе начало термодинамики. Энтропия
  12. Второй закон термодинамики. Энтропия

Обратимся еще раз к модели ящика с двумя отделениями: в каком случае мы знаем о системе больше — когда она находится в состоянии 0|10 или 5|5? Очевидно, в первом: про каждую молекулу мы можем точно сказать, в каком она отделении — в правом. Если же система находится в состоянии 5|5, то интересующая нас конкретная молекула может с равной вероятностью быть в любом отделении.

Для остальных состояний количество доступной информации о системе будет промежуточным между этими двумя крайними случаями. Например, если нам известно, что состояние системы есть 8|2, то на вопрос «где находится молекула №1?» можно ответить, что с вероятностью 0,8 она в левом отделении — а это означает, что мы знаем больше, чем ничего. Прослеживается четкая связь: чем меньше статистический вес состояния системы, то есть чем меньше энтропия, тем определеннее наши знания о системе.

Энтропия системы есть мера отсутствия информации
о ее внутреннем устройстве.

Поэтому, в силу закона возрастания энтропии:

количество доступной о замкнутой системе информации
с течением времени уменьшается.

Одна из основных дисциплин, определяющих лицо современной науки и технологии, — это теория информации. Она выросла из работ К. Шеннона, опубликованных в 1948—1949 гг., где он дал четкое определение «ко­ли­чес­т­ва информации».

Исходным для Шеннона было понятие энтропии распределения вероятностей некоторых событий. Под событием можно понимать, например, появление определенной буквы в тексте, передаваемом по каналу связи. До того, как приемник получил значение очередной буквы, на ее месте можно было ожидать появление почти любого символа алфавита. Другими словами, распределение вероятностей событий «на данном месте стоит n-я буква алфавита» было более или менее однородным. Получение буквы, скажем, «А», вносит неоднородность: вероятность того, что на данном месте стоит «А», становится равной единице, а вероятности любых других символов — нулю. Но увеличение неоднородности приводит, как мы уже знаем, к уменьшению энтропии!

Шеннон определил количество полученной системой информации DI как понижение ее энтропии в результате приема сообщения[36]:

.

Это определение, основанное на понимании энтропии как меры отсутствия информации, оказалось чрезвычайно плодотворным и представляет собой теоретическую основу всех современных технологий передачи, хранения и обработки информации.




1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 | 56 | 57 | 58 | 59 | 60 | 61 | 62 | 63 | 64 | 65 | 66 | 67 | 68 | 69 | 70 | 71 | 72 | 73 | 74 | 75 | 76 | 77 | 78 | 79 | 80 | 81 | 82 | 83 | 84 | 85 | 86 | 87 | 88 | 89 | 90 | 91 | 92 | 93 | 94 | 95 | 96 | 97 | 98 | 99 | 100 | 101 | 102 | 103 | 104 | 105 | 106 | 107 | 108 | 109 | 110 | 111 | 112 | 113 | 114 | 115 |


При использовании материала, поставите ссылку на Студалл.Орг (0.004 сек.)