Автокорреляция ошибок

Если матрица ковариаций ошибок не является диагональной, то говорят об ав- токорреляции ошибок. Обычно при этом предполагают, что наблюдения однород- ны по дисперсии, и их последовательность имеет определенный смысл и жестко фиксирована. Как правило, такая ситуация имеет место, если наблюдения про- водятся в последовательные моменты времени. В этом случае можно говорить о зависимостях ошибок по наблюдениям, отстоящим друг от друга на 1, 2, 3 и т.д. момента времени. Обычно рассматривается частный случай автокорреляции, когда коэффициенты ковариации ошибок зависят только от расстояния во времени меж- ду наблюдениями; тогда возникает матрица ковариаций, в которой все элементы каждой диагонали (не только главной) одинаковы1.

Поскольку действие причин, обуславливающих возникновение ошибок, доста- точно устойчиво во времени, автокорреляции ошибок, как правило, положительны. Это ведет к тому, что значения остаточной дисперсии, полученные по стандартным («штатным») формулам, оказываются ниже их действительных значений. Что, как отмечалось и в предыдущем пункте, чревато ошибочными выводами о качестве получаемых моделей.

Это утверждение иллюстрируется рисунком 8.4 (n = 1). На этом рисунке:

a — линия истинной регрессии. Если в первый момент времени истинная ошибка отрицательна, то в силу положительной автокорреляции ошибок все облако наблю- дений сместится вниз, и линия оцененной регрессии займет положение b.

Если в первый момент времени истинная ошибка положительна, то по тем же причи- нам линия оцененной регрессии сместится вверх и займет положение c. Поскольку

1 В теории временных рядов это называется слабой стационарностью.

x c

A b

Время

Рис. 8.4

266 Глава 8. Нарушение гипотез основной линейной модели

ошибки случайны и в первый момент времени они примерно с равной вероятно- стью могут оказаться положительными или отрицательными, то становится ясно, насколько увеличивается разброс оценок регрессии вокруг истинных по сравнению с ситуацией без (положительной) автокорреляции ошибок.

Типичный случай автокорреляции ошибок, рассматриваемый в классической эконометрии, — это линейная авторегрессия ошибок первого порядка AR(1):

ε i = ρε i −1+ η i,

где η — остатки, удовлетворяющие обычным гипотезам;

ρ — коэффициент авторегрессии первого порядка.

Коэффициент ρ вляется также коэффициентом автокорреляции (первого по- рядка).

Действительно, по определению, коэффициент авторегрессии равен (как МНК- оценка):

cov (ε i, ε i −1)

ρ= var (ε

,

i −1)

но, в силу гомоскедастичности, var (ε i −1) =, var (ε i) var (ε i −1) и, следовательно,

ρ, также по определению, является коэффициентом автокорреляции.

Если ρ = 0, то ε i = η i и получаем «штатную» ситуацию. Таким образом, проверку того, что автокорреляция отсутствует, можно проводить как проверку нулевой гипотезы H 0: ρ = 0 для процесса авторегрессии 1-го порядка в ошибках.

Для проверки этой гипотезы можно использовать критерий Дарбина— Уотсона или DW-критерий. Проверяется нулевая гипотеза о том, что автокорре- ляция ошибок первого порядка отсутствует. (При автокорреляции второго и более высоких порядков его мощность может быть мала, и применение данного критерия становится ненадежным.)

Пусть была оценена модель регрессии и найдены остатки ei, i = 1 ,..., N. Значение статистики Дарбина—Уотсона (отношения фон Неймана), или DW -ста- тистики, рассчитывается следующим образом:

N

 (ei − ei −1)

dc = i =2

N

i

. (8.3)

i =1

Оно лежит в интервале от 0 до 4, в случае отсутствия автокорреляции ошибок приблизительно равно 2, при положительной автокорреляции смещается в мень-

8.3. Автокорреляция ошибок 267

0 2

DL dU

DU

DL

Рис. 8.5

шую сторону, при отрицательной — в большую сторону. Эти факты подтвержда- ются тем, что при больших N справедливо следующее соотношение:

dc ≈ 2(1 − r), (8.4)

где r — оценка коэффициента авторегрессии.

Минимального значения величина dc достигает, если коэффициент авторегрессии равен +1. В этом случае ei = e, i = 1 ,..., N, и dc = 0. Если коэффициент авторегрессии равен −1 и ei = (−1) ie, i = 1 ,..., N, то величина dc достигает

значения 4 N − 1

N

(можно достичь и более высокого значения подбором остатков),

которое с ростом N стремится к 4. Формула (8.4) следует непосредственно из (8.3)

после элементарных преобразований:

N N

N

i −1

dc = i =2 − 2 i =2 + i =2,

N

i

i =1

N

i

i =1

N

i

i =1

поскольку первое и третье слагаемые при больших N близки к единице, а второе слагаемое является оценкой коэффициента автокорреляции (умноженной на −2).

Известно распределение величины d, если ρ = 0 (это распределение близко к нормальному), но параметры этого распределения зависят не только от N и n, как для t - и F -статистик при нулевых гипотезах. Положение «колокола» функции плотности распределения этой величины зависит от характера Z. Тем не менее, Дарбин и Уотсон показали, что это положение имеет две крайние позиции (рис. 8.5).

Поэтому существует по два значения для каждого (двустороннего) квантиля, соответствующего определенным N и n: его нижняя dL и верхняя dU границы. Нулевая гипотеза H 0: ρ = 0 принимается, если dU ™ dc ™ 4 − dU; она отвергается

в пользу гипотезы о положительной автокорреляции, если dc < dL, и в пользу

268 Глава 8. Нарушение гипотез основной линейной модели

гипотезы об отрицательной автокорреляции, если dc> 4 − dL. Если dL ™ dc< dU или 4− dU< dc ™ 4− dL, вопрос остается открытым (это — зона неопределенности DW -критерия).

Пусть нулевая гипотеза отвергнута. Тогда необходимо дать оценку матрицы Ω.

Оценка r параметра авторегрессии ρ может определяться из приближенного равенства, следующего из (8. 4):

dc r ≈ 1 − 2,

или рассчитываться непосредственно из регрессии e на него самого со сдвигом на одно наблюдение с принятием «круговой» гипотезы, которая заключается в том, что eN +1 = e 1.

Оценкой матрицы Ω является







··· r



N −1







 r 1 r ··· rN −2



r 1 ··· r













...

...

...

.. 





rN −1 rN −2 rN −3 ··· 1

а матрица D преобразований в пространстве наблюдений равна

√ 

 

 

 

 

 

 





...

.. 







0 0 0 ··· 1

Для преобразования в пространстве наблюдений, называемом в данном слу- чае авторегрессионным, используют обычно указанную матрицу без 1-й строки, что ведет к сокращению количества наблюдений на одно. В результате такого пре- образования из каждого наблюдения, начиная со 2-го, вычитается предыдущее, умноженное на r, теоретическими остатками становятся η, которые, по предпо- ложению, удовлетворяют гипотезе g4.

8.3. Автокорреляция ошибок 269

После этого преобразования снова оцениваются параметры регрессии. Если новое значение DW -статистики неудовлетворительно, то можно провести следую- щее авторегрессионное преобразование.

Обобщает процедуру последовательных авторегрессионных преобразований

метод Кочрена—Оркатта, который заключается в следующем.

Для одновременной оценки r, a и b используется критерий ОМНК (в обозна- чениях исходной формы уравнения регрессии):

1 N

→ min,

Ni =2

где zi — n -вектор-строка значений независимых факторов в i -м наблюдении (i -строка матрицы Z).

Поскольку производные функционала по искомым величинам нелинейны от- носительно них, применяется итеративная процедура, на каждом шаге которой сначала оцениваются a и b при фиксированном значении r предыдущего шага (на первом шаге обычно r = 0), а затем — r при полученных значениях a и b. Процесс, как правило, сходится.

Как и в случае гетероскедастичности, можно не использовать модифицированные методы оценивания (тем более, что точный вид автокорреляции может быть неиз- вестен), а использовать обычный МНК и скорректировать оценку ковариационной матрицы параметров. Наиболее часто используемая оценка Ньюи—Уэста (устой- чивая к гетероскедастичности и автокорреляции) имеет следующий вид:

(Z r Z)−1 Q (Z r Z)−1,

где

N L N

Q =  e 2 + 

 λ keiei

k (z z r

+ zi

k z r),

i

i =1

k =1 i = k +1

− i i − k − i

а λ k — понижающие коэффициенты, которые Ньюи и Уэст предложили рассчи-

k. При k > L понижающие коэффициенты

тывать по формуле λ k = 1 − L +1

становятся равными нулю, т.е. более дальние корреляции не учитываются

Обоснование этой оценки достаточно сложно2. Заметим только, что если заменить попарные произведения остатков соответствующими ковариациями и убрать пони- жающие коэффициенты, то получится формула ковариационной матрицы оценок МНК.

Приведенная оценка зависит от выбора параметра отсечения L. В настоящее вре- мя не существует простых теоретически обоснованных методов для такого выбора.

На практике можно ориентироваться на грубое правило L =

.  

2/9.

.

2 Оно связано с оценкой спектральной плотности для многомерного временного ряда.

270 Глава 8. Нарушение гипотез основной линейной модели

Поиск по сайту: