Модели регрессии с переменной структурой. Фиктивные переменные

При построении модели регрессии может возникнуть ситуация, когда в неё необходимо включить не только количественные, но и качественные переменные (например, возраст, образование, пол, расовую принадлежность и др.).

Фиктивной переменной (dummy variable) называется атрибутивный или качественный фактор, представленный посредством определённого цифрового кода.

Наиболее наглядным примером применения фиктивных переменных является модель регрессии, отражающая проблему разрыва в заработной плате у мужчин и женщин.

Предположим, что на основе собранных данных была построена модель регрессии, отражающая зависимость заработной платы рабочих y от их возраста х:

yt=β0+β1xt.

Однако данная модель регрессии не может в полной мере охарактеризовать вариацию результативной переменной. Поэтому в модель необходимо ввести дополнительный фактор, например пол, на основании предположения о том, что у мужчин в среднем заработная плата выше, чем у женщин. В связи с тем, что переменная пола является качественной, её необходимо представить в виде фиктивной переменной следующим образом:

С учётом новой фиктивной переменной модель регрессии примет вид:

y=β0+β1x+β2D,

где β2 – это коэффициент, который характеризует в среднем разницу в заработной плате у мужчин и женщин.

Моделью регрессии с переменной структурой называется модель регрессии, которая включает в качестве факторной переменной фиктивную переменную.

Рассмотрим модель регрессии, характеризующую зависимость переменной размера заработной платы у от переменной стажа работников х с различным образованием. Качественная переменная «образование» может принимать три значения: среднее, среднее специальное и высшее. Для включения факторной переменной «образование» в модель регрессии, необходимо ввести две новых фиктивных переменных, потому что их количество должно быть на единицу меньше, чем значений качественной переменной.

Следовательно, качественная переменная «образование» может быть представлена в виде:

Модель регрессии, характеризующая зависимость переменной размера заработной платы у от переменной стажа работников х с различным образованием, примет вид:

y=β0+β1x+β2D1+ β3D2.

Моделью регрессии без ограничений (unrestricted regression) называется модель регрессии, в которую включены все фиктивные переменные.

Базисной моделью или регрессией с ограничениями (restricted regression) называется модель регрессии, в которой все значения фиктивных переменных равны нулю.

Для нашего примера модель регрессии вида y=β0+β1x+β2D1+β3D2 будет являться моделью регрессии без ограничений, а модель регрессии вида y=β0+β1x при D1= D2=0 будет являться моделью регрессии с ограничениями. Базисная модель регрессии соответствует регрессионной зависимости заработной платы рабочих со средним образованием от стажа работы.

Для модели регрессии без ограничений можно также построить частные регрессии. Например, частная модель регрессии переменной заработной платы работников со средним специальным образованием от переменной стажа:

y=β0+β1x+β2D1,

где β2 — это коэффициент, который характеризует, насколько большую заработную плату получают рабочие со средним специальным образованием по сравнению с работниками со средним образованием при одинаковом стаже работы.

Частная модель регрессии переменной заработной платы работников с высшим образованием от переменной стажа:

y=β0+β1x+β3D2,

где β3 – это коэффициент, который характеризует, насколько большую заработную плату получают рабочие с высшим образованием по сравнению с рабочими со средним образованием при одинаковом стаже работы.

Оценки неизвестных коэффициентов моделей регрессии с переменной структурой рассчитываются с помощью классического метода наименьших квадратов.

Тест Чоу

Предположим, что на основе собранных данных была построена модель регрессии. Перед исследователем стоит задача о том, стоит ли вводить в полученную модель дополнительные фиктивные переменные или базисная модель является оптимальной. Данная задача решается с помощью метода или теста Чоу. Он применяется в тех ситуациях, когда основную выборочную совокупность можно разделить на части или подвыборки. В этом случае можно проверить предположение о большей эффективности подвыборок по сравнению с общей моделью регрессии.

Будем считать, что общая модель регрессии представляет собой модель регрессии модель без ограничений. Обозначим данную модель через UN. Отдельными подвыборками будем считать частные случаи модели регрессии без ограничений. Обозначим эти частные подвыборки как PR.

Введём следующие обозначения:

PR1 – первая подвыборка;

PR2 – вторая подвыборка;

ESS(PR1) – сумма квадратов остатков для первой подвыборки;

ESS(PR2) – сумма квадратов остатков для второй подвыборки;

ESS(UN) – сумма квадратов остатков для общей модели регрессии.

– сумма квадратов остатков для наблюдений первой подвыборки в общей модели регрессии;

– сумма квадратов остатков для наблюдений второй подвыборки в общей модели регрессии.

Для частных моделей регрессии справедливы следующие неравенства:

Условие (ESS(PR1)+ESS(PR2))= ESS(UN) выполняется только в том случае, если коэффициенты частных моделей регрессии и коэффициенты общей модели регрессии без ограничений будут одинаковы, но на практике такое совпадение встречается очень редко.

Основная гипотеза формулируется как утверждение о том, что качество общей модели регрессии без ограничений лучше качества частных моделей регрессии или подвыборок.

Альтернативная или обратная гипотеза утверждает, что качество общей модели регрессии без ограничений хуже качества частных моделей регрессии или подвыборок

Данные гипотезы проверяются с помощью F-критерия Фишера-Снедекора.

Наблюдаемое значение F-критерия сравнивают с критическим значением F-критерия, которое определяется по таблице распределения Фишера-Снедекора.

Критическое значение F-критерия Фишера определяется по таблице распределения Фишера-Снедекора в зависимости от уровня значимости а и двух степеней свободы свободы k1=m+1 и k2=n-2m-2.

Наблюдаемое значение F-критерия рассчитывается по формуле:где ESS(UN)– ESS(PR1)– ESS(PR2) – величина, характеризующая улучшение качества модели регрессии после разделения её на подвыборки;

m – количество факторных переменных (в том числе фиктивных);

n – объём общей выборочной совокупности.

При проверке выдвинутых гипотез возможны следующие ситуации.

Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) больше критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т. е. Fнабл>Fкрит, то основная гипотеза отклоняется, и качество частных моделей регрессии превосходит качество общей модели регрессии.

Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) меньше или равно критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т.е. Fнабл≤Fкрит, то основная гипотеза принимается, и разбивать общую регрессию на подвыборки не имеет смысла.

Если осуществляется проверка значимости базисной регрессии или регрессии с ограничениями (restricted regression), то выдвигается основная гипотеза вида:

Справедливость данной гипотезы проверяется с помощью F-критерия Фишера-Снедекора.

Критическое значение F-критерия Фишера определяется по таблице распределения Фишера-Снедекора в зависимости от уровня значимости а и двух степеней свободы свободы k1=m+1 и k2=n–k–1.

Наблюдаемое значение F-критерия преобразуется к виду:

При проверке выдвинутых гипотез возможны следующие ситуации.

Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) больше критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т. е. Fнабл›Fкрит, то основная гипотеза отклоняется, и в модель регрессии необходимо вводить дополнительные фиктивные переменные, потому что качество модели регрессии с ограничениями выше качества базисной или ограниченной модели регрессии.

Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) меньше или равно критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т. е. Fнабл≤Fкрит, то основная гипотеза принимается, и базисная модель регрессии является удовлетворительной, вводить в модель дополнительные фиктивные переменные не имеет смысла.

Поиск по сайту: