Знаходження оцінок параметрів регресії методом найменших квадратів

РОЗДІЛ 1. ЛІНІЙНА РЕГРЕСІЯ

Проста лінійна регресія

Опис моделі

Припустимо, що існують дві змінні x i y, де x - незалежна змінна (регресор), y - залежна змінна. Співвідношення між цими змінними позначимо: y = f (x). Будемо розрізняти детерміновані і статистичні співвідношення. При статистичному співвідношенні кожному значенню x відповідає не єдине значення y, але залежну змінну y можливо точно описати у імовірнісних термінах. Припустимо, що функція f(x) лінійна за x, тобто f(x) = a + b x, а співвідношення між x та y є статистичним, а саме

y = a + b x + e, (1.1)

де доданок e називається збуренням або похибкою і має відомий імовірносний розподіл (тобто є випадковою величиною). В рівнянні (1.1) a + b x є детермінованим компонентом, збурення e є випадковим або стохастичним компонентом; a і b називаються регресійними коефіцієнтами або параметрами регресії, які потрібно оцінити на основі даних про x та y.

Нехай ми маємо n пар значень . Кожну пару будемо називати спостереженням. Ми можемо записати рівняння (1.1) у вигляді

y_i = a + b x_i + e(1.2)

Наша мета - знайти оцінки невідомих параметрів a та b в рівнянні (1.2) на основі n спостережень x та y. Щоб це зробити ми повинні накласти деякі умови щодо збурень e _i.

1. Нульове середнє: Ee _i = 0, .

2. Рівність дисперсій (гомоскедастичність): De _i = E = s² = const, .

3. Незалежність збурень: e _і та e _j незалежні при . Зокрема, cov(e _i, e _j) = Ee _i e _j = 0 при .

4. Незалежність збурень та регресора: x_i та e _j незалежні для всіх i та j. Якщо x_i вважаються невипадковими, то дане припущення виконано автоматично.

В деяких випадках будемо накладати додаткове припущення (ми будемо вказувати в тексті, для виконнання яких результатів воно необхідно):

5. Нормальність. Збурення e _i нормально розподілені для всіх i. Взявши до уваги припущення 1-3, ми можемо сказати, що e _i – незалежні нормально розподілені випадкові величини з нульовим математичним сподіванням і однаковими дисперсіями s², або .

Отже, модель простої лінійної регресії описується за допомогою рівнянь (1.2), збурення в яких задовольняють припущенням 1 – 5.

Оскільки Ee _i = 0, то з рівняння (1.2) маємо E(y_i) = a + b x_i. Останній вираз називається популяційною функцією регресії. Таким чином, популяційна функція регресії – функція умовного математичного сподівання. Якщо замінити значення параметрів їх оцінками, одержимо вибіркову функцію регресії. Популяційна регресійна функція дає усереднене, або закономірне значення незалежної змінної, яке відповідає даному значенню незалежної змінної. Збурення можна інтерпретувати як відмінність поведінки залежної змінної від усередненої в кожній конкретній ситуації.

Друге припущення означає,що для кожного спостереження дія випадкових факторів в середньому однакова.

Третє припущення означає, що для кожного спостереження випадкові фактори діють незалежно.

Знаходження оцінок параметрів регресії методом найменших квадратів

Нехай та –деякі оцінки параметрів a та b. Запишемо рівняння вибіркової регресії . Тоді є оцінкою E y_i, побудованою на основі вибіркової регресії. Позначимо через різницю між значенням y, яке спостерігалось, і обчисленим з регресії. Оцінки методу найменших квадратів (скорочено – МНК-оцінки) знаходяться з умови мінімізаціїї за всіма можливими значеннями та виразу

. (1.3)

Позначимо на координатній площині точки і побудуємо графіки прямих для різних значень і . Знаходження оцінок методом найменших квадрвтів означає пошук прямої, яка знаходиться найближче до даних точок у тому розумінні, що сума квадратів відстаней по вертикалі від даних точок до прямої буде найменшою. Обгрунтування такого вибору методу побудови оцінок полягає в їх оптимальних статистичних властивостях, які сформульовано вище.

Щоб мінімізувати вираз (1.3), запишемо необхідну умову екстремуму, тобто прирівняємо похідні відносно та до нуля. Маємо

,

звідки

(1.4)

і

,

звідки

. (1.5)

Система рівнянь (1.4) і (1.5) називається системою нормальних рівнянь.

Уведемо такі позначення:

, , , , .

Нехай S_xx > 0. Запишемо розв’язок системи нормальних рівнянь відносно за правилом Крамера:

(1.6).

Розділимо чисельник і знаменник виразу (1.6) на n. Враховуючи уведені позначення, остаточно одержимо: . Розділимо перше нормальне рівняння (1.4) почленно на n. Маємо: . Надалі будемо позначати МНК-оцінки параметрів a та b латинськими літерами a та b. Отже, МНК-оцінки параметрів моделі простої лінійної регресії знаходяться за фомулами:

. (1.7)

Якщо обчислити матрицю других похідних для Q, то можна побачити, що ця матриця додатньо визначена, отже значення (1.7) дійсно мінімізують (1.3).

Поиск по сайту: