АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Лабораторная работа №3. Способы измерения информации

Читайте также:
  1. II. Работа в базе данных Microsoft Access
  2. II. Работа с лексическим составом языка
  3. II. Работа с текстом
  4. IV. Культурно-просветительская работа.
  5. IV. Работа с текстом
  6. V1: Договорная работа с поставщиками и посредниками
  7. Автором опыта выделен алгоритм формирования умения работать с моделями.
  8. Безопасность при погузочно-разгрузочных работах.
  9. Безопасность труда при эксплуатации установок и сосудов работающих под давлением
  10. Бумаги или работа?
  11. В 1. Физическая сущность сварочной дуги. Зажигание дуги. Термоэлектронная и автоэлектронная эмиссии. Работа выхода электрона.
  12. В Казахстане разработали интернет-алфавит казахского языка на латинице

 

Способы измерения информации

В основе теории информации лежит предложенный Шенноном способ измерения количества информации, содержащейся в одной случайной величине, относительно другой случайной величины, Этот способ приводит к выражению количества информации числом.

Для дискретных случайных величин X и Y, заданных законами распределения , и совместным распределением , количество информации, содержащейся в X относительно Y, равно

, (1)

Для непрерывных величин X и Y, заданных плотностями вероятностей и , аналогичная формула имеет вид

. (2)

 

Энтропия

Для дискретных случайных величин X и Y, заданных законами распределения , и совместным распределением , энтропия определяется по формуле

. (3)

Для непрерывных величин X и Y, заданных плотностями вероятностей и , аналогичная формула имеет вид

. (4)

 

Связь между количеством информации и энтропией

, (5)

где .

 

Свойства количества информации и энтропии

1.

2. X и Y – независимы

3.

4. Х – константа

5. , где

6. . Если , то X – функция от Y. Если X – инъективная функция от Y (т.е. на разных значениях аргумента, она принимает разные значения), то .

 

Пример

Пусть дискретная случайная величина Х равна количеству очков, выпавших на игральной кости, а дискретная случайная величина Y равна 0, если выпавшее количество очков нечетно, и 1, если – четно.

Законы соответствующих случайных величин имеют вид:

Тогда закон совместного распределения будет иметь вид:

Тогда

Выводы: Точное количество выпавших очков дает точную информацию о четности. Из равенства следует, что информация об X полностью определяет Y, но не наоборот, т.к. . Действительно, Y функционально зависит от X, а X от Y функционально не зависит.

Задания

Найти количество информации и энтропию следующих случайных величин:

1. Х - результат двух подбрасываний идеальной монеты; Y – суммарное количество гербов.

2. Х - результат двух подбрасываний идеальной монеты; Y=1, если выпал ровно 1 герб, и Y=0 в противном случае.

3. Х - результат двух подбрасываний идеальной монеты; Y=1, если выпало ровно 2 герба, и Y=0 в противном случае.

4. Х - результат двух подбрасываний идеальной монеты; Y=1, если выпал хотя бы 1 герб, и Y=0 в противном случае.

5. Х – результат подбрасывания правильного шестигранника; Y=1, если количество выпавших очков >1, и Y=0 в противном случае.

6. Х – результат подбрасывания правильного шестигранника; Y=1, если количество выпавших очков >2, и Y=0 в противном случае.

7. Х – результат подбрасывания правильного шестигранника; Y=1, если количество выпавших очков >3, и Y=0 в противном случае.

8. Х – результат подбрасывания правильного шестигранника; Y=1, если количество выпавших очков >4, и Y=0 в противном случае.

9. Х – результат подбрасывания правильного шестигранника; Y=1, если количество выпавших очков >5, и Y=0 в противном случае.

10. Х – результат подбрасывания правильного шестигранника; Y= [(X+1)/2].

11. Х – результат подбрасывания правильного четырехгранника; Y=1, если количество выпавших очков >1, и Y=0 в противном случае.

12. Х – результат подбрасывания правильного четырехгранника; Y=1, если количество выпавших очков >2, и Y=0 в противном случае.

13. Х – результат подбрасывания правильного четырехгранника; Y=1, если количество выпавших очков >3, и Y=0 в противном случае.

14. Х – результат подбрасывания правильного четырехгранника; Y=1, если количество выпавших очков четное, и Y=0 в противном случае.

15. Х – результат случайного выбора карты из колоды в 36 карт; Y=1, если вытянута цифра, и Y=0 в противном случае.

16. Х – результат случайного выбора карты из колоды в 36 карт; Y=1, если вытянута картинка, и Y=0 в противном случае.

17. Х – результат случайного выбора карты из колоды в 36 карт; Y=1, если вытянута карта красной масти, и Y=0 в противном случае.

18. Х – результат случайного выбора двух карт из колоды в 36 карт; Y – количество карт красной масти.

19. Х – результат случайного выбора двух карт из колоды в 36 карт; Y – количество карт трефовой масти.

20. Х – результат случайного выбора двух карт из колоды в 36 карт; Y – количество карт с цифрами.

21. Х – результат случайного выбора двух карт из колоды в 36 карт; Y – количество карт с картинками.

22. Х – результат случайного выбора двух карт из колоды в 36 карт; Y=1, если вытянута ровно 1 карта бубновой масти, и Y=0 в противном случае.

23. Х – результат случайного выбора двух карт из колоды в 36 карт; Y=1, если вытянута ровно 2 карты червовой масти, и Y=0 в противном случае.

24. Х – результат случайного выбора двух карт из колоды в 36 карт; Y=1, если вытянута хотя бы 1 карта пиковой масти, и Y=0 в противном случае.

25. Х – результат случайного выбора двух карт из колоды в 36 карт; Y=1, если вытянута хотя бы 1 карта с цифрой, и Y=0 в противном случае.

26. Х – результат случайного выбора двух карт из колоды в 36 карт; Y=1, если вытянута ровно 1 карта с цифрой, и Y=0 в противном случае.

27. Х – результат случайного выбора двух карт из колоды в 36 карт; Y=1, если вытянута ровно 2 карты с цифрой, и Y=0 в противном случае.

28. Х – результат случайного выбора карты из колоды в 36 карт; Y=1, если вытянута карта бубновой масти, Y=2, если вытянута карта червовой масти, Y=3, если вытянута карта трефовой масти, Y=4, если вытянута карта пиковой масти.

 

 


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |

Поиск по сайту:



Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.005 сек.)