Y B X E

Метод наименьших квадратов: алгоритм метода; условия применения.

Для оценки параметров линейной или линеаризованной модели применяется метод наименьших квадратов (МНК). Суть метода состоит в следующем: к реальным данным подбирается функция и её параметры, чтобы разности (отклонения, остатки) между реальными и вычисленными значениями у были минимальны. Но разностей много, поэтому минимизируется сумма квадратов этих разностей:

МНК с Поиском решения можно использовать непосредственно. Для этого надо задать произвольные коэффициенты a и b, построить по ним функцию Ŷ = a + bX, вычислить остатки e = Y – Ŷ и их квадраты, сумму e2.

В окне Поиска решения установить Целевая ячейка ∑e2 минимум, Изменяя ячейки a и b, ограничений нет.

Матричный метод МНКоснован на представлении множеств X, Y, остатков E и параметров линейной модели B в виде векторов, над которыми затем проводятся операции. Векторное представление модели

Y = B * X + E

где

Y B X E

y₁ 1 x₁ e₁

y₂ 1 x₂ e₂

. a..

. b..

...

y_n 1 x_n e_n

Эту модель, записанную в векторном виде или в виде системы линейных уравнений, называют схемой Гаусса-Маркова.

Условие МНК S e ² -> min, или в матричном виде (Y-XB)^T(Y-XB) -> min.

Т означает транспонирование, то есть преобразование столбца в строку. Решением является вектор В:

B = (X^TX)^-1X^TY

Здесь -1 означает обращение матрицы. Транспонирование и обращение матриц можно выполнять в Excel, используя функции ТРАНСП и МОБР.

Согласно теореме Гаусса-Маркова, Метод наименьших квадратов, приведённый к линейному преобразованию матриц или к системе линейных уравнений, обеспечивает наилучшую несмещенную, эффективную и сходящуюся к пределу (“состоятельную”) оценку вектора параметров, т.е. наилучшее качество линейной модели, если соблюдаются условия:

1. Линейная модель соответствует действительности.
2. Существует дисперсия регрессора.
3. Математическое ожидание возмущения равно нулю: E(u_i) = 0.
4. Возмущение имеет нормальное распределение.

5. Равенство ожидаемых значений дисперсий возмущений в разных диапазонах Х: E(u²) = Const. Это свойство называется гомоскедастичность, его несоблюдние – гетероскедастичность.

Поиск по сайту: