Практична робота № 1

Державний заклад «Київський коледж зв’язку»

ТЕОРІЯ ІНФОРМАЦІЇ ТА КОДУВАННЯ

Методичні вказівки

По виконанню практичних робіт

для студентів коледжу, що навчаються за напрямом

6.050102 – «Комп’ютерна інженерія»

Київ 2012

Укладач:

Куліковська Ю.А. – викладач 2-ої категорії циклової комісії прикладної математики, моделювання та програмування, ДЗ «ККЗ».

Рецензент:

Котенко Н.О. – викладач 1-ої категорії циклової комісії прикладної математики, моделювання та програмування, ДЗ «ККЗ».

Збірник лабораторних робіт розглянуто та схвалено на засіданні циклової комісії ПММП

Протокол № ____ від ____________ 2012 р.

Голова комісії ___________________ (Котенко Н.О.)

Затверджено заступником директора з НВР __________ Коновалов О.Ю.

«____»____________2012р.

ЗМІСТ

Практична робота № 1 Визначення кількісних характеристик інформації. 4

Практична робота № 2 Визначення кількісних характеристик інформації в дискретному джерелі інформації. 9

Практична робота № 3 Застосування кодів. 13

Практична робота № 4 Кодування кодами, що виявляють помилки. 16

Практична робота № 5 Кодування кодами, що виправляють помилки.. 18

ДОДАТКОВА ЛІТЕРАТУРА

ДОДАТКИ

Додаток А. Двійкові логарифми цілих чисел

Додаток Б. Таблиця значень функції – p log ₂ p

Додаток В. Десяткові коди країн, що використовуються при штриховому кодуванні

Практична робота № 1.

Тема: Визначення кількості інформації в повідомленнях та ентропії в джерелах повідомлень. Визначення ентропії, часткової та загальної умовної ентропії, ентропії об’єднання та безумовної ентропії джерел інформації.

Мета: навчитися визначати кількісні характеристики інформації, застосовувати набуті теоретичні знання на практиці, вдосконалити свої уміння та навики.

Прилади та обладнання: конспект лекцій, роздатковий матеріал.

Методичні вказівки: повторити матеріал лекцій; [2], ст.10-30.

Завдання:

1. Отримати чисельні значення ентропії, продуктивності та надмірності немарковського дискретного джерела інформації з алфавітом X потужності M = 4.Значення ймовірностей p (x_i) виникнення символів та їх тривалостей t _i (в мілісекундах, мс) для різних варіантів наведені у таблиці 1.

Таблиця 1

2. Маємо два немарковських дискретних джерела інформації з алфавітами X = { x ₁, x ₂, x ₃} та Y = { y ₁, y ₂}. Чисельні значення ймовірностей p ( x_i, y_k) сумісного виникнення символів на виходах джерел для різних варіантів наведені у таблиці 2. Чому дорівнює ентропія системи цих двох джерел? Яке з цих джерел має більшу надмірність? Чи є джерела статистично незалежними?

Таблиця 2

3. Марковське дискретне джерело інформації має алфавіт X = { x ₁, x ₂}. Статистичні зв’язки розповсюджуються тільки на суміжні символи (тобто глибина пам’яті h = 1). Чисельні значення умовних ймовірностей p ( x_i / x_k) та тривалостей символів t _i ( в мі-лісекундах, мс) для різних варіантів наведені у таблиці 3. Отримати чисельні значення ентропії, продуктивності та надмірності джерела.

Таблиця 3

4. Маємо два немарковських дискретних джерела інформації з алфавітами X = { x ₁, x ₂, x ₃} та Y = { y ₁, y ₂}. Чисельні значення безумовних p (y_k) та умовних p (y_k / x_i) ймовірностей виникнення символів на виході джерела з алфавітом Y відомі та для різних варіантів наведені у таблиці 4. Отримати чисельні значення ентропії H (X, Y) системи цих двох джерел та повної взаємної інформації I (X, Y). Яке з цих джерел має більшу надмірність?

Таблиця 4

№ варіанта	p (y 1)	p (y 2)	p (y 3)
	0,37	0,594	0,036
	0,498	0,240	0,262
	0,5	0,24	0,26
	0,575	0,29	0,135
	0,304	0,29	0,406
	0,479	0,348	0,173
	0,206	0,168	0,626
	0,266	0,466	0,268
	0,424	0,136	0,44
	0,656	0,188	0,156
	0,257	0,504	0,239
	0,412	0,202	0,386
	0,181	0,449	0,37
	0,368	0,178	0,454
	0,532	0,082	0,386
	0,236	0,328	0,436
	0,483	0,221	0,296
	0,312	0,348	0,34
	0,168	0,286	0,546
	0,444	0,225	0,331

Контрольні запитання:

1. Що таке джерело повідомлень?

2. Що таке ансамбль повідомлень?

3. Як визначається кількість інформації в одному повідомленні?

4. Що таке ентропія та які її властивості?

5. За яких умов ентропія джерела стає максимальною?

6. Чим визначається продуктивність дискретного джерела?

Зміст звіту:

1. Тема і мета лабораторної роботи.

2. Прилади та обладнання.

3. Виконання завдання.

4. Зробити висновки по результатам, отриманим в процесі розв’язання задачі.

5. Дати відповіді на контрольні запитання.

Література:

1. Жураковський Ю.П., Полторак В.П. Теорія інформації та кодування. – К;, Вища школа, 2001.

2. Жураковський Ю. П., Гніліцький В.В.Теорія інформації та кодування в задачах: Навчальний посібник. – Житомир: ЖІТІ, 2002.

3. Ігнатов В.А. Теорія информации и передачи сигналов. – М.: Радио и связь, 1991

4. Кузьмин И. В., Кедру В. А. Основы теории информации и кодирования. – К.: Вища школа, 1987р.

Поиск по сайту: