 |
Оценка параметров парной регрессии методом наименьших квадратов(суть метода, вывод формул для нахождения оценок коэффициентов через систему нормальных уравнений)
Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК).
Метод наименьших квадратов позволяет получить такие оценки параметров a и b, при которых сумма квадратов отклонений фактических значений результативного признака y от расчетных (теоретических) ŷx минимальна:
(1)
Для того чтобы найти минимум функции (1), надо вычислить частные производные по каждому из параметров a и b и приравнять их к нулю. Тогда мы получаем следующую систему нормальных уравнений для оценки параметров a и b
Решая систему нормальных уравнений либо методом последовательного исключения переменных, либо методом определителей, найдем искомые оценки параметров a и b. Можно воспользоваться следующими формулами для a и b:
Эта формула получена из первого уравнения системы, если все его члены разделить на n:
где cov(x,y) — ковариация признаков; σх2— дисперсия признака х
Поскольку 
, получим следующую формулу расчета оценки параметра b
Таким образом явный вид решения системы нормальных уравнений:
Свойство несмещенности состоит в том, что математическое ожидание оценки должно быть равно истинному значению параметра.
Свойство состоятельности состоит в том, что с увеличением наблюдений дисперсия оценки параметра стремится к нулю, т.е. оценка становится более надежной в вероятностном смысле (значения оценки более плотно концентрируются около истинного значения).
Оценка называется эффективной, если она имеет минимальную дисперсию по сравнению с любыми другими оценками этого параметра в классе выбранных процедур.
11. Матричная форма МНК: спецификация парной регрессионной модели в матричной форме, необходимые условия экстремума в матричном виде, вывод оценки вектора параметров модели.
Понятие статистической процедуры оценивания параметров эконометрической модели. Линейные статистические процедуры. Требования к наилучшей статистической процедуре: несмещенность и минимальные дисперсии оценок параметров.
Оценкой ân параметра a называют всякую функцию результатов наблюдений над случайной величиной X (иначе — статистику), с помощью которой судят о значениях параметра a.
Статистические проверки параметров регрессии основаны на непроверяемых предпосылках распределения случайной величины. Они носят лишь предварительный характер. После построения уравнения регрессии проводится проверка наличия у оценок тех свойств, которые предполагались. Связано это с тем, что оценки параметров регрессии должны отвечать определенным критериям: быть несмещенными, состоятельными и эффективными. Эти свойства оценок, полученных по МНК, имеют чрезвычайно важное практическое значение в использовании результатов регрессии и корреляции.
В отличие от параметра, его оценка ã n — величина случайная. «Наилучшая оценка» ã n должна обладать наименьшим рассеянием относительно оцениваемого параметра a, например, наименьшей величиной математического ожидания квадрата отклонения оценки от оцениваемого параметра М(ã - a)2.
Оценка â n параметра a называется несмещенной, если ее математическое ожидание равно оцениваемому параметру, т. е. М(ã) = a.
В противном случае оценка называется смещенной.
Если это равенство не выполняется, то оценка ã , полученная по разным выборкам, будет в среднем либо завышать значение a (если М(ã) > a , либо занижать его (если М(ã) < 0). Таким образом, требование несмещенности гарантирует отсутствие систематических ошибок при оценивании.
Оценка â n параметра a называется состоятельной, если она удовлетворяет закону больших чисел, т.е. сходится по вероятности к оцениваемому параметру:
В случае использования состоятельных оценок оправдывается увеличение объема выборки, так как при этом становятся маловероятными значительные ошибки при оценивании. Поэтому практический смысл имеют только состоятельные оценки.
Несмещенная оценка ã n параметра a называется эффективной, если она имеет наименьшую дисперсию среди всех возможных несмещенных оценок параметра a, вычисленных по выборкам одного и того же объема n.
Так как для несмещенной оценки M(ã n - a)2 есть ее дисперсия 
, то эффективность является решающим свойством, определяющим качество оценки.
Для нахождения оценок параметров (характеристик) генеральной совокупности используется ряд методов.
Указанные критерии оценок (несмещенность, состоятельность, эффективность) обязательно учитываются при разных способах оценивания.
13. Теорема Гаусса - Маркова.
Рассматривается модель парной регрессии, в которой наблюдения Y связаны с X следующей зависимостью: Yi = β1 + β2Xi + εi. На основе n выборочных наблюдений оценивается уравнение регрессии 1 Модель данных правильно специфицирована; 2 Все Xi детерминированы и не все равны между собой; 3 Ошибки не носят систематического характера, то есть 4 Дисперсия ошибок одинакова и равна некоторойσ2; 5 Ошибки независимы, то есть — то в этих условиях оценки метода наименьших квадратов эффективны в классе линейных несмещенных оценок: Также: Док-во: Введем wt=xt/∑xs2. При этом ∑wt=0; ∑wtxt=1; ∑wt2 =1/∑xt2; b~=b+∑wtεt. Таким образом Б). Оценки являются состоятельными. Условие - В). Оценки эфф-ны, т.е. они имеют наименьшую дисп-ию разброса отн-но теорет-х вел-н по сравнению с такими же оценками полученных с примен-м и люб др методов расчета. Эффективность оценки определяется критерием вида Кому не понравилось, смотрим лекцию. Вектор оценок параметров модели – случайный вектор, его основными количественными характеристиками являются: вектор мат.ожиданий и матрица автоковариаций. таким образом, МНК-оценки параметров множественной регрессии несмещенные. Построим матрицу автоковариаций
. Теорема Гаусса—Маркова гласит:
Если данные обладают следующими свойствами:
;
;
Линейность оценок показана выражением 
А). Оценки яв-ся несмещенными, т.е. Eb~=b и Eâ=a
В качестве доказательства состоятельности оценок приведем формулы элементов ковариационной матрицы вектора b~, из которых видно, что дисперсии несмещенных оценок параметров с ростом объема выборки стрем-ся к 0:
Т.е. увелечение объема выборки приводит к устойчивости оценок коэф-в ур-ия. Считается, что объем выборки должен удовл-ть соот-ию n>3m-1, где m-кол-во объясняющих переем-х.
14. Основные числовые характеристики вектора оценок параметров классической множественной регрессионной модели.
A=(XTX)-1XT
, тк
Доказательство эффективности несмещенных оценок b~ выполняется путем сравнения их дисперсий Var(b^) с дисперсиями Var(b~) вектора линейных несмещенных оценок b~, определяемого выражением b~ =(A+C)Y, где С— произвольная (k*n)-матрица. Тогда, в силу несмещенности оценки b~ и равенства 
можно записать:
b=E(b~)= (A+C)E(Y) = (A+C)Xb = AXb +CXb = b + CXb, откудаследует: CX=0.
Определим автоковариационную матрицу вектора оценок b~: 
Диагональные элементы автоковариационных матриц оценок параметров — их дисперсии. Диагональные элементы матрицы ССТ неотрицательны, поэтому Var(b^)>=Var(b~), т. е. оценка МНК является эффективной, имея минимальную дисперсию по сравнению с любыми несмещенными оценками неизвестного параметра в классе линейных процедур.