Свойства оценок параметров модели регрессии полученных по МНК

Оценки параметров модели регрессии полученные при использовании МНК (МНК-оценки) являются BLUE, что расшифровывается как наилучшая (Best) линейная (Linear) несмещенная (Unbiased) оценка (Estimator).

Альтернативной формулировкой требований к оценкам параметров являются свойства состоятельности, эффективности и несмещенности оценок.

Рассмотрим формулировку этих свойств.

Наилучшей называют оценку параметра в том случае, если она имеет наименьшую дисперсию из всех возможных оценок. В этом же состоит и свойство эффективности. То есть если оценка параметра является наилучшей, то она является эффективной.

Следует пояснить, что под дисперсией оценки параметра мы понимаем средний квадрат отклонений различных оценок данного параметра, полученных для различных выборок, от истинного значения параметра в генеральной совокупности.

Дисперсия МНК-оценки параметра определяется по формуле:

где - дисперсия случайной ошибки;

- дисперсия фактора x.

Однако генеральная дисперсия случайной ошибки является неизвестной величиной, что обуславливает необходимость получения ее выборочной оценки (исправленной дисперсии):

где – регрессионные остатки.

Стандартная ошибка регрессии (SER, Standard Error of Regression) при этом будет рассчитываться по формуле:

Таким образом, следует различать ошибку регрессии (Error, ε), которая является неизвестной случайной величиной, и регрессионный остаток (Residual, e), рассчитываемый на основе известных оценок параметров модели:

Значение знаменателя формулы оценки дисперсии случайной ошибки равное n -2 обусловлено тем, что по выборке объемом n единиц мы оцениваем два параметра .

Учитывая вышесказанное, формулу для оценки дисперсии МНК-оценки параметра мы можем представить в следующем виде:

Дисперсия МНК-оценки параметра определяется по формуле:

В свою очередь оценка дисперсии МНК-оценки параметра определяется по формуле:

Оценка параметра является линейной если она находится в линейной функциональной зависимости от выборочных данных. На практике это означает что зависимость между исследуемыми переменными имеет линейный вид.

Оценка параметра является несмещенной если ее выборочное математическое ожидание равно оцениваемому параметру генеральной совокупности:

Другими словами оценка параметра является несмещенной если при любом объеме выборки, результат ее осреднения по всем возможным выборкам такого же объема равен истинному значению оцениваемого параметра в генеральной совокупности.

Оценка параметра является состоятельной если при увеличении объема выборки значение оценки стремится к значению оцениваемого параметра генеральной совокупности, то есть для сколь угодно малой положительной величины вероятность стремиться к нулю при увеличении объема выборки n:

Таким образом, состоятельная оценка параметра модели регрессии удовлетворяет закону больших чисел.

Поиск по сайту: