Оценка параметров линейной регрессии с помощью метода наименьших квадратов

Идея метода наименьших квадратов (МНК) широко известна [1, 31, 32, 38, 39, 46, 52, 59 и т.д.] и строится на основе т.н. принципа Лежандра, который состоит в том, что мерой отклонения совокупности наблюдений от регрессии считают сумму квадратов отклонений фактического значения эндогенной переменной от ее расчетного модельного (иногда говорят – прогнозного) значения. Решается следующая задача безусловной оптимизации:

; где

(5).

МНК дает явное выражение оценок через исходные данные при выполнении очевидных условий относительно структуры и состава элементов матрицы значений экзогенных переменных X. Введем дополнительные обозначения, пусть:

– искомый вектор параметров задачи (5);

– вектор отклонений фактических значений эндогенной переменной от соответствующих расчетных (модельных) значений;

- вектор истинных значений параметров задачи (5);

- n -мерный служебный единичный вектор.

В этих векторных обозначениях задача (5) легко сводится к хорошо известным задачам безусловной оптимизации:

;

;

откуда .

Как известно, необходимым условием существования минимума функции Лежандра является равенство нулю ее градиента. В силу свойств функции это условие и будет одновременно и достаточным условием существования экстремума в точке. Найдя градиент функции , и приравнивая его к нулю, получим:

(6)

Система уравнений (6) носит называние системы нормальных уравнений. Способы ее решения приводятся во множестве источников [21, 27, 28, 32, 33, 34, 63 и др.].

Используя первое уравнение системы (6), без труда можем получить выражение для свободного члена регрессии, а именно:

Введя дополнительные обозначения для среднего значения ряда зависимой переменной Y через , а вектор-строки средних значений независимых переменных - через и исходя из определения средних значений ряда переменных, можем записать:

сделав соответствующую подстановку, окончательно можем получить следующее выражение для :

. (7).

Для использования выражения (7) следует провести оценку параметра а, которую получают, используя так называемые центрированные переменные. Т.е. переменные исходного ряда, очищенные от значения среднего уровня по ряду. Таким образом, для получения центрированных переменных из значений зависимой и независимых переменных вычитают их средние значения а именно:

(8),

где и - столбец и матрица центрированных наблюдений над зависимой и независимыми переменными.

В центрированных переменных значения вектора отклонений e может быть выражено несколько проще. Используя соотношение (7), имеем:

Запишем представление оптимизируемой функции в новых обозначениях, и найдем градиент функции и приравняем его к нулю, т.е.:

(9).

Система уравнений (9) называется системой нормальных уравнений в центрированных переменных. Отсюда возможно получить значения вектора искомых параметров а в центрированных координатах, т.е.:

(10).

Таким образом, соотношения (7) и (10) делают возможным выражение оценок коэффициентов регрессии через исходные данные в центрированных координатах.

Следует заметить, что элементы формулы (10) имеют и вполне самостоятельное значение. Для этого стоит вспомнить, что,

;

(11),

где - матрица коэффициентов ковариации независимых переменных;

- вектор коэффициентов ковариации независимых и зависимой переменных.

Таким образом, альтернативное представление выражения (10) можем записать следующим образом:

(12).

В заключение следует заметить, что часто формулы для оценок коэффициентов регрессии выводят, используя исходное представление данных, а не их центрированные координаты, например, в [68]. В этом случае считают, что а₀ - оценка коэффициента регрессии при переменной х₀, значение которой во всех наблюдениях равно единице. В этом случае матрицу экзогенных переменных Х с присоединенным единичным столбцом, соответствующим детерминированной переменной х₀ обозначим через Z. Обычно ее называют расширенной матрицей экзогенных переменных. Заметим, если рассматривается регрессия без свободного члена, матрицы X и Z совпадают. В этом случае вектор параметров уравнения линейной регрессии вычисляется с использованием следующей формулы:

. (13).

Использование той или иной формулы расчетов параметров уравнения линейной регрессии определяется спецификой решаемой задачи, а также субъективными предпочтениями исследователя.

Поиск по сайту: