Обобщенный (взвешенный) метод наименьших квадратов

Наиболее существенным достижением эконометрики является значительное развитие самих методов оценивания неизвестных параметров и усовершенствование критериев выявления статической значимости рассматриваемых эффектов. В этом плане невозможность или нецелесообразность использования традиционного МНК по причине проявляющейся в той или иной степени гетероскедастичности привели к разработке обобщенного метода наименьших квадратов (ОМНК).

Фактически при этом корректируется модель, изменяются ее спецификации, преобразуются исходные данные для обеспечения несмещенности, эффективности и состоятельности оценок коэффициентов регрессии.

Предполагается, что среднее остатков равно нулю, но их дисперсия уже не является постоянной, а пропорциональна величинам Кi, где эти величины представляют собой коэффициенты пропорциональности, различные для различных значений фактора х. Таким образом, именно эти коэффициенты (величины Кi) характеризуют неоднородность дисперсии. Естественно, считается, что сама величина дисперсии, входящая общим множителем при этих коэффициентах пропорциональности, неизвестна.

Исходная модель после введения этих коэффициентов в уравнение множественной регрессии продолжает оставаться гетероскедастичной (точнее говоря, таковыми являются остаточные величины модели). Пусть эти остаточные величины (остатки) не являются автокоррелированными. Введем новые переменные, получающиеся делением исходных переменных модели, зафиксированных в результате i-наблюдения, на корень квадратный из коэффициентов пропорциональности Кi. Тогда получим новое уравнение в преобразованных переменных, в котором уже остатки будут гомоскедастичны. Сами новые переменные — это взвешенные старые (исходные) переменные.

Поэтому оценка параметров полученного таким образом нового уравнения с гомоскедастичными остатками будет сводиться к взвешенному МНК (по существу это и есть ОМНК). При использовании вместо самих переменных регрессии их отклонения от средних выражения для коэффициентов регрессии приобретают простой и стандартизованный (единообразный) вид, незначительно различающийся для МНК и ОМНК поправочным множителем 1/К в числителе и знаменателе дроби, дающей коэффициент регрессии.

Следует иметь в виду, что параметры преобразованной (скорректированной) модели существенно зависят от того, какая концепция положена за основу для коэффициентов пропорциональности Кi. Часто считают, что остатки просто пропорциональны значениям фактора. Наиболее простой вид модель принимает в случае, когда принимается гипотеза о том, что ошибки пропорциональны значениям последнего по порядку фактора. Тогда ОМНК позволяет повысить вес наблюдений с меньшими значениями преобразованных переменных при определении параметров регрессии по сравнению с работой стандартного МНК с первоначальными исходными переменными. Но эти новые переменные уже получают иное экономическое содержание.

Гипотеза о пропорциональности остатков величине фактора вполне может иметь под собой реальное обоснование. Пусть обрабатывается некая недостаточно однородная совокупность данных, например, включающая крупные и мелкие предприятия одновременно. Тогда большим объемным значениям фактора может соответствовать и большая дисперсия результативного признака, и большая дисперсия остаточных величин. Далее, использование ОМНК и соответствующий переход к относительным величинам не просто снижают вариацию фактора, но и уменьшают дисперсию ошибки. Тем самым реализуется наиболее простой случай учета и коррекции гетероскедастичности в регрессионных моделях посредством применения ОМНК.

Изложенный выше подход к реализации ОМНК в виде взвешенного МНК является достаточно практичным — он просто реализуется и имеет прозрачную экономическую интерпретацию. Конечно, это не самый общий подход, и в контексте математической статистики, служащей теоретической основой эконометрики, нам предлагается значительно более строгий метод, реализующий ОМНК в самом общем виде. В нем необходимо знать ковариационную матрицу вектора ошибок (столбца остатков). А это в практических ситуациях, как правило, несправедливо, и отыскать эту матрицу как таковую бывает невозможно. Поэтому приходится каким-то образом оценивать искомую матрицу, чтобы использовать вместо самой матрицы такую оценку в соответствующих формулах. Таким образом, описанный вариант реализации ОМНК представляет одну из таких оценок. Иногда его называют доступный обобщенный МНК.

Следует также учитывать, что коэффициент детерминации не может служить удовлетворительной мерой качества подгонки при использовании ОМНК. Возвращаясь к применению ОМНК, отметим, что достаточную общность имеет метод использования стандартных отклонений (стандартных ошибок) в форме Уайта (так называемые состоятельные стандартные ошибки при наличии гетероскедастичности). Этот метод применим при условии диагональности матрицы ковариаций вектора ошибок. Если же присутствует автокорреляция остатков (ошибок), когда в матрице ковариаций и вне главной диагонали имеются ненулевые элементы (коэффициенты), то следует применять более общий метод стандартных ошибок в форме Невье — Веста. При этом имеется существенное ограничение: ненулевые элементы, помимо главной диагонали, находятся только на соседних диагоналях, отстоящих от главной диагонали не более чем на определенную величину.

6. Понятие автокорреляции остатков, тестирование, подходы к оцениванию моделей с автокорреляцией остатков. Обобщенный метод наименьших квадратов

Автокорреляцией называется корреляция, возникающая между уровнями изучаемой переменной. Это корреляция, проявляющаяся во времени. Наличие автокорреляции чаще всего характерно для данных, представленных в виде временных рядов.

Автокорреляцией остатков модели регрессии ei (или случайных ошибок регрессии модели βi) называется корреляционная зависимость между настоящими и прошлыми значениями остатков.

Временным лагом называется величина сдвига между рядами остатков модели регрессии.

Величина временного лага определяет порядок коэффициента автокорреляции. Например, если между остатками en и en-1 существует корреляционная зависимость, то временной лаг равен единице. Следовательно, данную корреляционную зависимость можно охарактеризовать с помощью коэффициента автокорреляции первого порядка между рядами остатков e1…en-1 и e2…en.

Одно из условий, которое учитывается при построении нормальной линейной модели регрессии, заключается в некоррелированности случайных ошибок модели регрессии, т. е. ковариация случайных ошибок любых двух разных наблюдений равна нулю

Если в модели регрессии случайные ошибки коррелированны между собой, то данное условие нарушается.

Последствия, к которым может привести наличие в модели регрессии автокорреляции остатков, совпадают с последствиями, к которым может привести наличие в модели регрессии гетероскедастичности:

1) оценки неизвестных коэффициентов нормальной линейной модели регрессии являются несмещёнными и состоятельными, но при этом теряется свойство эффективности;

2) существует большая вероятность того, что оценки стандартных ошибок коэффициентов модели регрессии будут рассчитаны неверно, что в конечном итоге может привести к утверждению неверной гипотезы о значимости коэффициентов регрессии и значимости модели регрессии в целом.

Наиболее наглядным способом обнаружения автокорреляции случайных остатков регрессионной модели является графический метод. При этом осуществляется построение графиков автокорреляционной и частной автокорреляционной функций.

Автокорреляционной функцией называется функция оценки коэффициента автокорреляции в зависимости от величины временного лага между исследуемыми рядами.

Графически автокорреляционная функция изображается с помощью коррелограммы. Коррелограмма отражает численно и графически коэффициенты автокорреляции и их стандартные ошибки для последовательности лагов из определённого диапазона (например, от 1 до 25). При этом по оси Х откладываются значения τ (тау) – величины сдвига между рядами остатков, которые совпадают с порядком автокорреляционного коэффициента. Также на коррелограмме отмечается диапазон в размере двух стандартных ошибок коэффициентов автокорреляции на каждом лаге.

Частная автокорреляционная функция является более углублённой версией обычной автокорреляционной функции. Её отличительной особенностью является исключение корреляционной зависимости между наблюдениями внутри лагов, т. е. частная автокорреляционная функция на каждом лаге отличается от обычной автокорреляционной функции на величину удалённых автокорреляций с меньшими временными лагами. Следовательно, частная автокорреляционная функция более точно характеризует автокорреляционные зависимости внутри временного ряда.

Существуют два способа определения автокорреляции в остатках. Первый заключается в визуальном анализе графика зависимостей остатков от времени. Второй способ предполагает использование критерия Дарбина-Уотсона. Величину критерия (d) можно определить по одной из формул

либо d 2(1 – r_e¹)

где r_e¹ – коэффициент автокорреляции остатков первого порядка.

Если в остатках существует полная положительная автокорреляция, то r_e¹=1 и d = 0. Если в остатках полная отрицательная автокорреляция, то

r_e¹=-1 и d = 4. Если автокорреляция остатков отсутствует, то r_e¹=0 и d = 2.

На практике используется следующий алгоритм проверки гипотезы об автокорреляции остатков:

1. выдвигается нулевая гипотеза об отсутствии автокорреляции в остатках;

2. 2 определяется фактическое значение критерия Дарбина – Уотсона (d);

3. по специальным таблицам (приложение учебника по эконометрике) находят критические значения критерия d_L и d_u, где п –число наблюдений, k- независимых переменных в модели, - уровень значимости;

4. числовой промежуток всех возможных значений d разбивается на 5 отрезков

0 d _L d _u 2 4- d _u 4 - d _L 4

5. если d - фактическое попадает в зону неопределенности, то предполагают существование автокорреляции в остатках.

В последнем случае исследовать причинно-следственные связи переменных по остаткам нельзя, получим ложную корреляцию.

В связи с тем, что наличие в модели регрессии автокорреляции между остатками модели может привести к негативным результатам всего процесса оценивания неизвестных коэффициентов модели, автокорреляция остатков должна быть устранена.

Устранить автокорреляцию остатков модели регрессии можно с помощью включения в модель автокорреляционного параметра, однако на практике данный подход реализовать весьма затруднительно, потому что оценка коэффициента автокорреляции является величиной заранее неизвестной.

Авторегрессионной схемой первого порядка называется метод устранения автокорреляции первого порядка между соседними членами остаточного ряда в линейных моделях регрессии либо моделях регрессии, которые можно привести к линейному виду.

На практике применение авторегрессионной схемы первого порядка требует априорного знания величины коэффициента автокорреляции. Однако в связи с тем, что величина данного коэффициента заранее неизвестна, в качестве его оценки рассчитывается выборочный коэффициент остатков первого порядка ρ1.

Выборочный коэффициент остатков первого порядка ρ1 рассчитывается по формуле:

В общем случае коэффициент автокорреляции порядка l рассчитывается по формуле:

где l – временной лаг;

T – число наблюдений;

t – момент времени, в который осуществлялось наблюдение;

– среднее значение исходного временного ряда.

Предположим, что на основе собранных наблюдений была построена линейная парная модель регрессии:

yt=β0+β1xt+εt.(1)

Рассмотрим применение авторегрессионной схемы первого порядка на примере данной модели.

Исходная линейная модель парной регрессии с учётом процесса автокорреляции остатков первого порядка в момент времени t может быть представлена в виде:

yt=β0+β1xt+ρεt-1+νt,.

εt=ρεt-1+νt,

где ρ – коэффициент автокорреляции, |ρ|<1;

νt – независимые, одинаково распределённые случайные величины с нулевым математическим ожиданием и дисперсией G2(νt).

Модель регрессии в момент времени (t-1) может быть представлена виде:

yt-1=β0+β1xt-1+εt-1.(2)

Если модель регрессии в момент времени (t-1) умножить на величину коэффициента автокорреляции β и вычесть её из исходной модели регрессии в момент времени t, то в результате мы получим преобразованную модель регрессии, учитывающую процесс автокорреляции первого порядка:

Для более наглядного представления преобразованной модели воспользуемся методом замен:

Yt=yt–ρyt-1;

Xt=xt–ρxt-1;

Zt=1– ρ.

В результате преобразованная модель регрессии примет вид:

Yt= Zt* β0+β1 Xt+ νt. (4)

В преобразованной модели регрессии случайная ошибка βt не подвержена процессу автокорреляции, поэтому можно считать автокорреляционную зависимость остатков модели устранённой.

Авторегрессионную схему первого порядка можно применить ко всем строкам матрицы данных Х, кроме первого наблюдения. Однако если не вычислять Y1 и X1, то подобная потеря в небольшой выборке может привести к неэффективности оценок коэффициентов преобразованной модели регрессии. Данная проблема решается с помощью поправки Прайса-Уинстена. Введём следующие обозначения:

Тогда оценки неизвестных коэффициентов преобразованной модели регрессии (4) можно рассчитать с помощью классического метода наименьших квадратов:

Оценки коэффициентов исходной модели регрессии (1) определяются по формулам:

В результате оцененная модель регрессии будет иметь вид:

7. Мультиколлинеарность: понятие, диагностика и пути ее устранения

Мультиколлинеарность – высокая взаимная коррелированность объясняющих переменных – приводит к значительным ошибкам оцениваемых параметров и недостоверности параметров выборочного уравнения регрессии для генеральной совокупности.

Поэтому следствием мультиколлинеарности могут являтся:

1) незначимость большинства или всех оценок множественной регрессии по t-критерию при значимости уравнения в целом по F-критерию;

2) при незначительном изменении исходных данных (увеличении (сокращении) числа наблюдений) оценки существенно изменяются;

3) трудность (невозможность) интерпретации параметров регрессии с экономической точки зрения.

Точных количественных критериев для определения мультиколлинеарности не существует. Но если в модели присутствуют перечисленные выше признаки, то можно предположить что факторы связаны тесной корреляционной связью.

Одним из подходов по выявлению мультиколлинеарности является анализ матрицы парных коэффициентов корреляции. При этом, если , то уже в этом случае можно говорить о коллинеарности факторов.

Если оцененную модель регрессии предполагается использовать для изучения экономических связей, то устранение мультиколлинеарных факторов является обязательным, потому что их наличие в модели может привести к неправильным знакам коэффициентов регрессии.

При построении прогноза на основе модели регрессии с мультиколлинеарными факторами необходимо оценивать ситуацию по величине ошибки прогноза. Если её величина является удовлетворительной, то модель можно использовать, несмотря на мультиколлинеарность. Если же величина ошибки прогноза большая, то устранение мультиколлинеарных факторов из модели регрессии является одним из методов повышения точности прогноза.

К основным способам устранения мультиколлинеарности в модели множественной регрессии относятся:

1) один из наиболее простых способов устранения мультиколлинеарности состоит в получении дополнительных данных. Однако на практике в некоторых случаях реализация данного метода может быть весьма затруднительна;

2) способ преобразования переменных, например, вместо значений всех переменных, участвующих в модели (и результативной в том числе) можно взять их логарифмы:

lny=β0+β1lnx1+β2lnx2+ε.

Однако данный способ также не способен гарантировать полного устранения мультиколлинеарности факторов;

Если рассмотренные способы не помогли устранить мультиколлинеарность факторов, то переходят к использованию смещённых методов оценки неизвестных параметров модели регрессии, или методов исключения переменных из модели множественной регрессии.

Если ни одну из факторных переменных, включённых в модель множественной регрессии, исключить нельзя, то применяют один из основных смещённых методов оценки коэффициентов модели регрессии – гребневую регрессию или ридж (ridge).

При использовании метода гребневой регрессии ко всем диагональным элементам матрицы (ХТХ) добавляется небольшое число τ: 10-6 ‹ τ ‹ 0.1. Оценивание неизвестных параметров модели множественной регрессии осуществляется по формуле:

где ln – единичная матрица.

Результатом применения гребневой регрессии является уменьшение стандартных ошибок коэффициентов модели множественной регрессии по причине их стабилизации к определённому числу.

Метод главных компонент является одним из основных методов исключения переменных из модели множественной регрессии.

Данный метод используется для исключения или уменьшения мультиколлинеарности факторных переменных модели регрессии. Суть метода заключается в сокращении числа факторных переменных до наиболее существенно влияющих факторов. Это достигается с помощью линейного преобразования всех факторных переменных xi (i=0,…,n) в новые переменные, называемые главными компонентами, т. е. осуществляется переход от матрицы факторных переменных Х к матрице главных компонент F. При этом выдвигается требование, чтобы выделению первой главной компоненты соответствовал максимум общей дисперсии всех факторных переменных xi (i=0,…,n), второй компоненте – максимум оставшейся дисперсии, после того как влияние первой главной компоненты исключается и т. д.

Метод пошагового включения переменных состоит в выборе из всего возможного набора факторных переменных именно те, которые оказывают существенное влияние на результативную переменную.

Метод пошагового включения осуществляется по следующему алгоритму:

1) из всех факторных переменных в модель регрессии включаются те переменные, которым соответствует наибольший модуль линейного коэффициента парной корреляции с результативной переменной;

2) при добавлении в модель регрессии новых факторных переменных проверяется их значимость с помощью F-критерия Фишера. При том выдвигается основная гипотеза о необоснованности включения факторной переменной xk в модель множественной регрессии. Обратная гипотеза состоит в утверждении о целесообразности включения факторной переменной xk в модель множественной регрессии. Критическое значение F-критерия определяется как Fкрит(a;k1;k2), где а – уровень значимости, k1=1 и k2=n–l – число степеней свободы, n – объём выборочной совокупности, l – число оцениваемых по выборке параметров. Наблюдаемое значение F-критерия рассчитывается по формуле:

где q – число уже включённых в модель регрессии факторных переменных.

При проверке основной гипотезы возможны следующие ситуации.

Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) больше критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т. е. Fнабл›Fкрит, то основная гипотеза о необоснованности включения факторной переменной xk в модель множественной регрессии отвергается. Следовательно, включение данной переменной в модель множественной регрессии является обоснованным.

Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) меньше или равно критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т. е. Fнабл≤Fкрит, то основная гипотеза о необоснованности включения факторной переменной xk в модель множественной регрессии принимается. Следовательно, данную факторную переменную можно не включать в модель без ущерба для её качества

3) проверка факторных переменных на значимость осуществляется до тех пор, пока не найдётся хотя бы одна переменная, для которой не выполняется условие Fнабл›Fкрит.

8. Нелинейные модели регрессии

Поиск по сайту: