Критерий Дарбина-Уотсона обнаружения автокорреляции остатков модели регрессии

Помимо автокорреляционной и частной автокорреляционной функций для обнаружения автокорреляции остатков модели регрессии используется критерий Дарбина-Уотсона. Однако данный критерий можно применять только для обнаружения автокорреляции первого порядка между соседними рядами случайных остатков.

Предположим, что на основе собранных данных была построена линейная модель множественной регрессии, которая представлена в матричном виде:

Y=Xβ+εt.

Присутствующая в данной модели регрессии автокорреляция первого порядка может генерировать ошибку, определяемую по формуле:

εt=ρεt-1+νt

где ρ – коэффициент автокорреляции, |ρ|<1;

νt – независимые, одинаково распределённые случайные величины с нулевым математическим ожиданием и дисперсией G2(νt).

Перед исследователем стоит задача определения наличия автокорреляции первого порядка в построенной модели регрессии.

Выдвигается основная гипотеза о незначимости коэффициента автокорреляции первого порядка:

H0: ρ1=0.

Обратная или конкурирующая гипотеза состоит в утверждении о значимости коэффициента автокорреляции:

H0: ρ1≠0.

Проверка выдвинутых гипотез осуществляется с помощью критерия Дарбина-Уотсона.

Наблюдаемое значение критерия Дарбина-Уотсона (вычисленное на основе выборочных данных) сравнивают с критическим значением критерия Дарбина-Уотсона, которое определяется по специальным таблицам.

Критическое значение критерия Дарбина-Уотсона определяется в зависимости от значений верхней d1 и нижней d2 границ критерия по специальным таблицам. Данные границы определяются в зависимости от объёма выборочной совокупности n и числа степеней свободы (h-1), где h – количество оцениваемых по выборке параметров.

Наблюдаемое значение критерия Дарбина-Уотсона при проверке основной гипотезы вида H0: ρ1=0 определяется по формуле:

где et – остатки модели регрессии в наблюдении t, определяемые по формуле:

et-1 – остатки модели регрессии в наблюдении t-1, определяемые по формуле:

Приближённое значение величины критерия Дарбина-Уотсона можно также рассчитать по формуле:

dнабл≈2(1-r1),

где r1 – выборочный коэффициент автокорреляции первого порядка. В зависимости от величины данного коэффициента, наблюдаемое значение критерия Дарбина-Уотсона определяется следующим образом:

1) если r1=0, то dнабл=2;

2) если r1=+1, то dнабл=0;

3) если r1=-1, то dнабл=4.

Если коэффициент автокорреляции является положительной величиной, то при проверке гипотез возможно возникновение следующих ситуаций.

Если наблюдаемое значение критерия Дарбина-Уотсона меньше критического значения его нижней границы, т. е. dнабл‹d1, то основная гипотеза об отсутствии автокорреляции первого порядка между остатками модели регрессии отклоняется.

Если наблюдаемое значение критерия Дарбина-Уотсона больше критического значения его верхней границы, т. е. dнабл>d2, то основная гипотеза об отсутствии автокорреляции первого порядка между остатками модели регрессии принимается.

Если наблюдаемое значение критерия Дарбина-Уотсона находится между верхней и нижней критическими границами, т. е. d1< dнабл< d2, то достаточных оснований для принятия единственно правильного решения нет, необходимы дополнительные исследования.

Если коэффициент автокорреляции является отрицательной величиной, то при проверке гипотез возможно возникновение следующих ситуаций.

Если наблюдаемое значение критерия Дарбина-Уотсона больше критической величины 4 – d1, т.е. dнабл>4 – d 1, то основная гипотеза об отсутствии автокорреляции первого порядка между остатками модели регрессии отклоняется

Если наблюдаемое значение критерия Дарбина-Уотсона меньше критической величины 4 – d2, т. е. dнабл‹4 – d2, то основная гипотеза об отсутствии автокорреляции первого порядка между остатками модели регрессии принимается.

Если наблюдаемое значение критерия Дарбина-Уотсона находится в критическом интервале между величинами 4 – d1 и 4– d 2, т.е. 4 – d1< dнабл<4 – d2,, то достаточных оснований для принятия единственно правильного решения нет, необходимы дополнительные исследования.

30Обобщённый метод наименьших квадратов.

МНК-оценки неизвестных коэффициентов модели регрессии, чьи случайные ошибки подвержены явлениям гетероскедастичности или автокорреляции, не будут удовлетворять теореме Гаусса-Маркова. Свойствами состоятельности и несмещённости МНК-оценки будут обладать, однако свойство эффективности в этом случае утрачивается.

Для вычисления оценок неизвестных коэффициентов модели регрессии с гетероскедастичными или коррелированными случайными ошибками используется обобщённый метод наименьших квадратов. Оценки, полученные с помощью данного метода, будут удовлетворять условиям состоятельности, несмещённости и эффективности.

В основе нормальной линейной модели регрессии среди прочих лежат условия о некоррелированности и гомоскедастичности случайных ошибок:

1) дисперсия случайной ошибки модели регрессии является величиной, постоянной для всех наблюдений:

2) случайные ошибки модели регрессии не коррелированны между собой, т. е. ковариация случайных ошибок любых двух разных наблюдений равна нулю:

Определение. Обобщённой линейной моделью регрессии называется модель, для которой нарушаются условия о гомоскедастичности и некоррелированности случайных ошибок.

Таким образом, обобщённая линейная модель регрессии характеризуется неоднородностью дисперсий случайных ошибок:

D(εi)≠ D(εj)≠G2≠const, где i≠j,

и наличием автокорреляции случайных ошибок:

Cov(εi,εj)≠E(εi,εj)≠0 (i≠j).

Матричный вид обобщённой линейной модели регрессии:

Y=X* β+ε,

где X – неслучайная матрица факторных переменных;

ε – случайная ошибка модели регрессии с нулевым математическим ожиданием E(ε)=0 и дисперсией G2(ε):

ε~N(0;G2Ω),

Ω – ковариационная матрица случайных ошибок обобщённой модели регрессии.

Для нормальной линейной модели регрессии дисперсия случайной ошибки определялась на основе условия гомоскедастичности:

где G2=const – дисперсия случайной ошибки модели регрессии ε;

In – единичная матрица размерности n*n.

Для обобщённой модели регрессии ковариационная матрица случайных ошибок строится на основе условия непостоянства дисперсий остатков модели регрессии (гетероскедастичности) D(εi)≠ D(εj)≠G2≠const:

Отличие между нормальной линейной моделью регрессии и обобщенной линейной моделью регрессии заключается в матрице ковариаций случайных ошибок модели.

Доступный обобщённый метод наименьших квадратов. Взвешенный метод наименьших квадратов

Если случайные ошибки модели регрессии подвержены процессу автокорреляции, то для оценивания неизвестных коэффициентов модели регрессии применяется доступный обобщённый метод наименьших квадратов.

Основное отличие доступного обобщённого метода наименьших квадратов от обобщённого метода заключается в оценке матрицы ковариаций β случайных ошибок обобщенной линейной модели регрессии.

Оценки неизвестных коэффициентов обобщённой модели регрессии рассчитываются с помощью доступного обобщённого метода наименьших квадратов по формуле:

где

– оценка матрицы ковариаций случайных ошибок обобщённой линейной модели регрессии.

Предположим, что на основе собранных данных была построена модель парной регрессии вида:

yt=β0+β1xt+εt.(1)

Рассмотрим процесс оценивания матрицы ковариаций случайных ошибок модели с автокоррелированными, но гомоскедастичными остатками на примере данной модели.

Если остатки данной модели регрессии подчиняются авторегрессионному процессу первого порядка, то исходную модель регрессии можно представить в виде:

yt=β0+β1xt+ ρεt-1+νt,.

εt=ρεt-1+νt,

где ρ – коэффициент автокорреляции, |ρ|< 1;

νt – независимые, одинаково распределённые случайные величины с нулевым математическим ожиданием и дисперсией G2(νt).

Математическое ожидание случайной ошибки модели регрессии равно нулю:

E(εt)=E(ρεt-1+νt)= ρE(εt-1)+E(νt)=0.

Предположим, что дисперсия случайной ошибки модели регрессии рассчитывается по формуле:

Рассчитаем ковариацию между двумя соседними случайными ошибками модели регрессии ε2 и ε1:

Рассчитаем ковариацию между следующими случайными ошибками модели регрессии ε3 и ε1:

Дальнейший процесс расчёта ковариаций для всех случайных ошибок обобщенной модели регрессии осуществляется по тому же принципу.

В результате проведённых вычислений матрицу корреляций остатков обобщённой линейной модели регрессии можно представить следующим образом:

где G2(νi) – это величина дисперсии случайной ошибки модели регрессии. Её выборочную оценку определяется по формуле:

где T – объём выборочной совокупности;

h – число оцениваемых по выборке параметров.

Если случайные ошибки модели регрессии подвержены гетероскедастичности (но являются неавтокоррелированными), то для оценивания неизвестных коэффициентов модели регрессии применяется взвешенный метод наименьших квадратов.

Суть взвешенного метода наименьших квадратов состоит в том, что остаткам обобщённой модели регрессии придаются определённые веса, которые равны обратным величинам соответствующих дисперсий G2(εi). Однако на практике значения дисперсий являются величинами неизвестными, поэтому для вычисления наиболее подходящих весов используется предположение о том, что они пропорциональны значениям факторных переменных xt.

Таким образом, матрица ковариаций случайных ошибок модели регрессии определяется исходя из предположения о пропорциональности величины G2(εi) значениям факторной переменной xt:

xt=γ G(εi),

где γ – ошибка высказанного предположения или некоторая поправка.

В этом случае матрица ковариаций случайных ошибок модели регрессии может быть представлена в виде:

От точности оценки матрицы ковариаций Ω случайных ошибок модели регрессии зависит удовлетворение оценок неизвестных коэффициентов, полученных доступным обобщённым или взвешенным методом наименьших квадратов, основным статистическим свойствам – несмещённости, состоятельности и эффективности

Тест Чоу

Предположим, что на основе собранных данных была построена модель регрессии. Перед исследователем стоит задача о том, стоит ли вводить в полученную модель дополнительные фиктивные переменные или базисная модель является оптимальной. Данная задача решается с помощью метода или теста Чоу. Он применяется в тех ситуациях, когда основную выборочную совокупность можно разделить на части или подвыборки. В этом случае можно проверить предположение о большей эффективности подвыборок по сравнению с общей моделью регрессии.

Будем считать, что общая модель регрессии представляет собой модель регрессии модель без ограничений. Обозначим данную модель через UN. Отдельными подвыборками будем считать частные случаи модели регрессии без ограничений. Обозначим эти частные подвыборки как PR.

Введём следующие обозначения:

PR1 – первая подвыборка;

PR2 – вторая подвыборка;

ESS(PR1) – сумма квадратов остатков для первой подвыборки;

ESS(PR2) – сумма квадратов остатков для второй подвыборки;

ESS(UN) – сумма квадратов остатков для общей модели регрессии.

– сумма квадратов остатков для наблюдений первой подвыборки в общей модели регрессии;

– сумма квадратов остатков для наблюдений второй подвыборки в общей модели регрессии.

Для частных моделей регрессии справедливы следующие неравенства:

Условие (ESS(PR1)+ESS(PR2))= ESS(UN) выполняется только в том случае, если коэффициенты частных моделей регрессии и коэффициенты общей модели регрессии без ограничений будут одинаковы, но на практике такое совпадение встречается очень редко.

Основная гипотеза формулируется как утверждение о том, что качество общей модели регрессии без ограничений лучше качества частных моделей регрессии или подвыборок.

Альтернативная или обратная гипотеза утверждает, что качество общей модели регрессии без ограничений хуже качества частных моделей регрессии или подвыборок

Данные гипотезы проверяются с помощью F-критерия Фишера-Снедекора.

Наблюдаемое значение F-критерия сравнивают с критическим значением F-критерия, которое определяется по таблице распределения Фишера-Снедекора.

Критическое значение F-критерия Фишера определяется по таблице распределения Фишера-Снедекора в зависимости от уровня значимости а и двух степеней свободы свободы k1=m+1 и k2=n-2m-2.

Наблюдаемое значение F-критерия рассчитывается по формуле:где ESS(UN)– ESS(PR1)– ESS(PR2) – величина, характеризующая улучшение качества модели регрессии после разделения её на подвыборки;

m – количество факторных переменных (в том числе фиктивных);

n – объём общей выборочной совокупности.

При проверке выдвинутых гипотез возможны следующие ситуации.

Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) больше критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т. е. Fнабл>Fкрит, то основная гипотеза отклоняется, и качество частных моделей регрессии превосходит качество общей модели регрессии.

Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) меньше или равно критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т.е. Fнабл≤Fкрит, то основная гипотеза принимается, и разбивать общую регрессию на подвыборки не имеет смысла.

Если осуществляется проверка значимости базисной регрессии или регрессии с ограничениями (restricted regression), то выдвигается основная гипотеза вида:

Справедливость данной гипотезы проверяется с помощью F-критерия Фишера-Снедекора.

Критическое значение F-критерия Фишера определяется по таблице распределения Фишера-Снедекора в зависимости от уровня значимости а и двух степеней свободы свободы k1=m+1 и k2=n–k–1.

Наблюдаемое значение F-критерия преобразуется к виду:

При проверке выдвинутых гипотез возможны следующие ситуации.

Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) больше критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т. е. Fнабл›Fкрит, то основная гипотеза отклоняется, и в модель регрессии необходимо вводить дополнительные фиктивные переменные, потому что качество модели регрессии с ограничениями выше качества базисной или ограниченной модели регрессии.

Если наблюдаемое значение F-критерия (вычисленное по выборочным данным) меньше или равно критического значения F-критерия (определённого по таблице распределения Фишера-Снедекора), т. е. Fнабл≤Fкрит, то основная гипотеза принимается, и базисная модель регрессии является удовлетворительной, вводить в модель дополнительные фиктивные переменные не имеет смысла.

Компоненты временного ряда

Временным рядом называется ряд наблюдаемых значений изучаемого показателя, расположенных в хронологическом порядке или в порядке возрастания времени.

Отдельно взятый временной ряд можно представить как выборочную совокупность из бесконечного ряда значений показателей во времени.

Уровнями временного ряда называются наблюдения

из которых состоит данный ряд.

Временной ряд называется моментным рядом, если уровень временного ряда фиксирует значение изучаемого показателя на определённый момент времени.

Временной ряд называется интервальным рядом, если уровень временного ряда характеризует значение показателя за определённый период времени.

Временной ряд называется производным рядом, если уровни ряда представлены в виде производных величин (средних или относительных показателей).

Исследование данных, представленных в виде временных рядов, преследует две основные цели:

1) характеристика структуры временного ряда;

2) прогнозирование будущих уровней временного ряда на основании прошлых и настоящих уровней.

Достижение поставленных целей возможно с помощью идентификации модели временного ряда.

Идентификацией модели временного ряда называется процесс выявления основных компонент, которые содержит изучаемый временной ряд.

Временные ряды могут содержать два вида компонент – систематическую и случайную составляющие.

Систематическая составляющая временного ряда является результатом воздействия постоянно действующих факторов.

Выделяют три основных систематических компоненты временного ряда:

1) тренд;

2) сезонность;

3) цикличность.

Трендом называется систематическая линейная или нелинейная компонента, изменяющаяся во времени.

Сезонностью называются периодические колебания уровней временного ряда внутри года.

Цикличностью называются периодические колебания, выходящие за рамки одного года. Промежуток времени между двумя соседними вершинами или впадинами в масштабах года определяют как длину цикла.

Систематические составляющие характеризуются тем, что они могут одновременно присутствовать во временном ряду.

Случайной составляющей называется случайный шум или ошибка, которая воздействует на временной ряд нерегулярно.

К основным причинам, по которым возникает случайный шум, относят факторы резкого и внезапного действия, а также действия текущих факторов.

Катастрофическими колебаниями называется случайный шум, в основе возникновения которого лежат факторы резкого и внезапного действия.

Шум, в основе возникновения которого лежит действие текущих факторов, может быть связан также с ошибками наблюдений.

Отдельный уровень временного ряда обозначается как yt. Его можно представить в виде функции от основных компонент временного ряда следующим образом:

yt=f(T,S,C,ε),

где T – это трендовая компонента,

S – это сезонная компонента,

C – это циклическая компонента,

ε – случайный шум.

Существует несколько основных моделей временных рядов, к которым относятся:

1) аддитивная модель временного ряда, в которой компоненты представляют собой слагаемые:

yt=Tt+St+Ct+εt;

2) мультипликативная модель временного ряда, в которой компоненты представляют собой сомножители:

yt=Tt*St*Ct*εt;

3) комбинированная модель временного ряда:

yt=Tt*St*Ct+εt.

Поиск по сайту: