Модель множественной линейной регрессии. Понятие мультиколлинеарности

Теоретическая линейная модель множественной регрессии имеет вид:

соответствующую выборочную регрессию обозначим:

Как и в парной регрессии случайный член ε должен удовлетворять основным предположениям регрессионного анализа. Тогда с помощью МНК получают наилучшие несмещенные и эффективные оценки параметров теоретической регрессии

Как и в парной линейной регрессии для множественной регрессии рассчитывается стандартная ошибка регрессии S:

и стандартные ошибки коэффициентов регрессии:

значимость коэффициентов проверяется с помощью t-критерия.

имеющего распространение Стьюдента с числом степеней свободы v= n-k-1.

Одним из условий регрессионного анализа является предположение о линейной независимости объясняющих переменных. Однако, может оказаться, что несколько или все объясняющие переменные могут иметь общий временной тренд, относительно которого они совершают малые колебания. Тогда условие линейной независимости объясняющих переменных нарушается.

Мультиколлинеарность – высокая взаимная коррелированность (линейная зависимость) объясняющих переменных. Различают функциональную и стохастическую мультиколлинеарность.

Для определения наличия мультиколлинеарности существуют 2 способа:

1. Рассчитывается матрица коэффициентов парной корреляции. Если между какими-либо независимыми переменными коэффициент парной корреляции больше 0,8, то считают, что мультиколлинеарность имеет место.

2. Рассчитывают определитель матрицы X’X и его близость к 0 также свидетельствует о наличии мультиколлинеарности.

Методы устранения мультиколлинеарности:

1. Из двух объясняющих переменных, имеющих высокий коэффициент корреляции, исключают из рассмотрения ту, которая имеет меньший коэффициент корреляции с зависимой переменной.

2. Метод включения: независимая переменная включается в уравнение регрессии в том случае, если включение существенно увеличивает значение коэффициента множественной корреляции.

3. Метод исключения: после построения уравнения регрессии проверяется значимость всех коэффициентов. Из уравнения исключаются независимые переменные с незначимым коэффициентом. Затем получают новое уравнение регрессии и опять проводят оценку значимости коэффициентов.

Предпосылки МНК.

Суть МНК заключается в следующем: коэффициенты а и в должны быть такими, чтобы сумма квадратов остатков была минимальна.

Теоретическая регрессия описывается уравнением

,

или для i-го наблюдения

Предпосылки:

1. Математическое ожидание случайного члена ε в любом наблюдении должно быть равно 0:

2. Дисперсия случайного члена ε должна быть постоянной для всех наблюдений:

3. Случайные члены должны быть статистически независимы друг от друга:

4. Объясняющая переменная х_i – неслучайная величина

Теорема Гаусса-Маркова:

Если выполняются предпосылки 1-4 регрессионного анализа, то оценки параметров теоретической регрессии а и в есть наилучшие линейные оценки, обладающие следующими свойствами:

1. Они являются несмещенными:

2. Они являются эффективными, т.е. имеют наименьшую дисперсию в классе всех несмещенных оценок.

3. Они являются состоятельными, т.е.

Это значит, что при достаточно большом объеме выборки n, оценки а и в близки к истинным параметрам линейной регрессионной модели α и β.

Поиск по сайту: