Простая регрессия

В случае, когда ограничения на вектор a (α) имеют вид aj = 1 (α j = 1), возникают простые регрессии. В таких регрессиях в левой части уравнения оста- ется одна переменная (в данном случае j -я), а остальные переменные переносятся в правую часть, и уравнение в исходной форме приобретает вид (регрессия j -й переменной по остальным, j -я регрессия):

Xj = X − ja − j + 1 Nbj + ej, (6.8) где Xj — вектор-столбец наблюдений за j -й переменной — объясняемой,

X − j — матрица наблюдений размерности N × (n − 1) за остальными перемен- ными — объясняющими (композиция Xj и X − j образует матрицу X), a − j — вектор a без j -го элемента (равного 1), взятый с обратным знаком (компози- ция 1 и − a − j образует вектор a), bj и ej — соответственно свободный член и вектор-столбец остатков в j -й регрессии. В сокращенной форме:

X ˆ j = X ˆ− ja − j + ej. (6.9)

В таких регрессиях ошибки eij — расстояния от гиперплоскости регрессии до точек облака наблюдения — измеряются параллельно оси xj.

Остаточная дисперсия приобретает следующую форму:

s 2 1 1 ˆ

ˆ  ˆ ˆ 

ej = Ne t ej = N

X t− a t X t

Xj − X − j a − j

. (6.10)

j j − j − j

202 Глава 6. Алгебра линейной регрессии

Из равенства нулю ее производных по параметрам a − j определяется, что

−

где M − j =

ˆ t

− j — матрица ковариации объясняющих переменных x − j

X ˆ j

— вектор-столбец ковариации объясняющих пе-

− j

ременных с объясняемой переменной xj; и

t

− j

ej = 0. (6.12)

Действительно,

∂ s 2 2

 ˆ ˆ



ej

∂ a − j

= X ˆ r

Xj − X − j

a − j

=

 X ˆ r

− N

− jej.

Кроме того, очевидно, что матрица вторых производных равна 2 M − j, и она, как всякая ковариационная матрица, положительно полуопределена. Следовательно, в найденной точке достигается минимум остаточной дисперсии.

Справедливость утверждения о том, что любая матрица ковариации (теоретическая или ее оценка) положительно полуопределена, а если переменные линейно незави- симы, то — положительно определена, можно доказать в общем случае.

Пусть x — случайный вектор-столбец с нулевым математическим ожиданием. Его

теоретическая матрица ковариации по определению равна E (xx r). Пусть ξ ƒ= 0 — детерминированный вектор-столбец. Квадратичная форма

т.е. матрица положительно полуопределена. Если не существует такого ξ ƒ= 0, что

ξr x = 0, т.е. переменные вектора x линейно не зависят друг от друга, то неравенство

выполняется строго, и соответствующая матрица положительно определена.

Пусть X — матрица N наблюдений за переменными x. Оценкой матрицы ко-

вариации этих переменных является

1 X ˆ r X ˆ. Квадратичная форма

N

1 ξr X ˆ r X ˆ ξ =

N

= u r u “ 0, где u = X ˆ ξ, т.е. матрица положительно полуопределена. Если не

N

существует такого ξ ƒ= 0, что X ˆ ξ = 0, т.е. переменные x линейно не зависят друг от друга, то неравенство выполняется строго, и соответствующая матрица положи- тельно определена.

Оператор МНК-оценивания образуется соотношениями (6.11) и (6.5), которые в данном случае записываются следующим образом:

bj = x ¯ j − x ¯− j a − j (6.13)

6.2. Простая регрессия 203

(соотношения МНК-оценивания (4.37), данные в пункте 4.2 без доказательства, являются частным случаем этого оператора).

Уравнения

m − j = M − ja − j, (6.14)

решение которых дает первую часть оператора МНК-оценивания (6.11), называ- ется системой нормальных уравнений.

МНК-оценки остатков имеют нулевую среднюю (6.6) и не коррелированы (ор- тогональны) с объясняющими переменными уравнения (6.12).

Систему нормальных уравнений можно вывести, используя иную логику. Если

−

и разделить на N,

ej, из которого получается искомая

система при требованиях

e ¯ j = 0 и cov (X − j, ej) = 0, следующих из полученных

свойств МНК-оценок остатков.

ет условие

Z ˆt X ˆ j =

N

N − j a − j +

Z ˆt ej, из которого — после отбрасывания

N

второго члена правой части в силу сделанных предположений — следует система

нормальных уравнений метода инструментальных переменных:

, (6.15)

−

− j − j

= cov (z, x − j).

Значения j -й (объясняемой) переменной, лежащие на гиперплоскости регрес- сии, называются расчетными (по модели регрессии):

Их дисперсия называется объясненной (дисперсия, объясненная регрессией) и может быть представлена в различных вариантах:

s 2 1 c ˆ c (6. 17)

(6. 11) 1

qj = N X ˆ t X

= a t

M − j a − j

= a t

m − j = m t

a − j = m t

M − m − j.

j j − j

− j − j

− j − j

(6.18)

204 Глава 6. Алгебра линейной регрессии

Если раскрыть скобки в выражении остаточной дисперсии (6.10) и прове-

= s 2 − s 2,

где

j — дисперсия j -й (объясняемой) переменной, или

ej j qj

s 2 2 2

j = sqj + sej. (6.19)

Это — дисперсионное тождество, показывающее разложение общей диспер- сии объясняемой переменной на две части — объясненную (регрессией) и оста- точную.

Доля объясненной дисперсии в общей называется коэффициентом детерми- нации:

j

s 2

j

который является показателем точности аппроксимации исходных значений объ- ясняемой переменной гиперплоскостью регрессии (объясняющими переменными). Он является квадратом коэффициента множественной корреляции между объ- ясняемой и объясняющими переменными rj, − j, который, по определению, равен

коэффициенту парной корреляции между исходными и расчетными значениями

объясняемой переменной:

cov  xj, xc 

X ˆ t X ˆ c

X ˆ t X ˆ a

j

1 jj (6. 17) 1 j − j − j

rj, − j =

sj sqj

= =

N sjsqj N

=

sj sqj

sj sqj

qj

sj sqj

(6. 20)

R 2.

Из (6.19) следует, что коэффициент корреляции по абсолютной величине не пре- вышает единицы.

Эти утверждения, начиная с (6.16), обобщают положения, представленные в конце пункта 4.2.

Композиция 1 и − aj обозначается a (j) и является одной из оценок вектора α. Всего таких оценок имеется n — по числу простых регрессий, в левой части уравнения которых по очереди остаются переменные xj, j = 1 ,..., n. Эти вектор- столбцы образуют матрицу A. По построению ее диагональные элементы равны единице (ajj = 1 вслед за aj (j) = 1).

Все эти оценки в общем случае различны, т.е. одну из другой нельзя получить алгебраическим преобразованием соответствующих уравнений регрессии:

1

. t. t

j

(j t) a j

, j ƒ= j. (6.21)

6.3. Ортогональная регрессия 205

Это утверждение доказывалось в пункте 4.2 при n = 2. В данном случае спра- ведливо утверждение, что соотношение (6.21) может (при некоторых j, j t) вы- полняться как равенство в том и только том случае, если среди переменных xj, j = 1 ,..., n существуют линейно зависимые.

Достаточность этого утверждения очевидна. Действительно, пусть переменные неко- торого подмножества J линейно зависимы, т.е. существует такой вектор ξ, в кото-

ром ξ j ƒ= 0 при j ∈ J и ξ j = 0 при j ∈ / J, и

X ˆ ξ = 0. Тогда для любого j ∈ J

соотношения (6.21) выполняются как равенства.

Для доказательства необходимости утверждения предполагается, что существует такой ξ ƒ= 0, что

A ξ = 0 (6.22)

(т.е., в частности, некоторые соотношения из (6.21) выполняются как равенства).

где S 2— диагональная матрица. s 2..

e ej

= 0, т.е. переменные xj линейно

зависят друг от друга.

Что и требовалось доказать.

Все возможные геометрические иллюстрации простых регрессий в простран- стве наблюдений и переменных даны в пункте 4.2.

Поиск по сайту: