Ортогональная регрессия

В случае, когда ограничения на вектор a (или α) состоят в требовании равен- ства единице длины этого вектора

a t a = 1 (αtα = 1), (6.24)

и все переменные остаются в левой части уравнения, получается ортогональная регрессия, в которой расстояния от точек облака наблюдений до гиперплоскости регрессии измеряются перпендикулярно этой гиперплоскости. Разъяснения этому факту давались в пункте 4.2.

206 Глава 6. Алгебра линейной регрессии

Оценка параметров регрессии производится из условия минимизации остаточ- ной дисперсии:

s 2 (6. 7) 1

— ковариационная матрица переменных регрессии, при условии

(6.24).

Из требования равенства нулю производной по a соответствующей функции Лагранжа следует, что

(M − λ In) a = 0, (6.25)

где λ — множитель Лагранжа ограничения (6.24), причем

Действительно, функция Лагранжа имеет вид:

L (a, λ) = a r Ma − λ a r a,

а вектор ее производных по a:

∂ a

Откуда получается соотношение (6.25). А если обе части этого соотношения умно- жить слева на a rи учесть (6.24), то получается (6.26).

Таким образом, применение МНК сводится к поиску минимального собствен- ного числа λ ковариационной матрицы M и соответствующего ему собствен- ного (правого) вектора a (см. также Приложение A.1.2). Благодаря свойствам данной матрицы (вещественность, симметричность и положительная полуопреде- ленность), искомые величины существуют, они вещественны, а собственное чис- ло неотрицательно (предполагается, что оно единственно). Пусть эти оценки по- лучены.

В ортогональной регрессии все переменные x выступают объясняемыми, или моделируемыми, их расчетные значения определяются по формуле:

X ˆ c = X ˆ − ea t. (6.27)

6.3. Ортогональная регрессия 207

Действительно: X ˆ ca =

X ˆ a − e a r a = 0, т.е. вектор-строки x ˆ c, соответствующие

←→1

наблюдениям, лежат на гиперплоскости регрессии и являются проекциями на нее

вектор-строк фактических наблюдений

x ˆ i (вектор a по построению ортогонален

на x ˆ i), а аналогом коэф-

λ 2 n 2

фициента детерминации выступает величина 1 − s 2, где s Σ=  sj — суммарная

Σ

дисперсия переменных x, равная следу матрицы M.

j =1

Таким образом, к n оценкам вектора a простой регрессии добавляется оценка этого вектора ортогональной регрессии, и общее количество этих оценок стано- вится равным n + 1.

Задачу простой и ортогональной регрессии можно записать в единой, обобщен- ной форме:

(M − λ W) a = 0, a t Wa = 1, λ → min!, (6.28)

где W — диагональная n × n -матрица, на диагонали которой могут стоять 0 или 1. В случае, если в матрице W имеется единственный ненулевой элемент

wjj = 1, то это — задача простой регрессии xj по x − j (действительно, это следу- ет из соотношения (6.23)); если W является единичной матрицей, то это — задача

ортогональной регрессии. Очевидно, что возможны и все промежуточные случаи, когда некоторое количество n 1, 1 < n 1 < n, переменных остается в левой части уравнения, а остальные n 2 переменных переносятся в правую часть уравнения регрессии:

X ˆ 1 a 1 = X ˆ 2 a 2 + e 1,  a 1t a 1 = 1.

Если J — множество переменных, оставленных в левой части уравнения, то в записи (6.28) такой регрессии wjj = 1 для j ∈ J и wjj = 0 для остальных j. Оценка параметров регрессии производится следующим образом:

a 2 = M −1 M 21 a 1, 

− M M −1 M

− λ I

 a 1 = 0

22 M 11

12 22 21 n 1

1  ˆ 1tˆ 1

1 X 1

N

t X ˆ 2,

1  ˆ 2tˆ 2

M 22= N X X

208 Глава 6. Алгебра линейной регрессии

— соответствующие ковариационные матрицы.

Таким образом, общее количество оценок регрессии — (2 n − 1). В рамках любой из этих оценок λ в (6.28) является остаточной дисперсией.

Задача ортогональной регрессии легко обобщается на случай нескольких урав- нений и альтернативного представления расчетных значений изучаемых перемен- ных.

A t A = In, M A = A Λ. (6.29)

Собственные вектора, если их рассматривать по убыванию соответствующих им собственных чисел, есть главные компоненты облака наблюдений, которые по- казывают направления наибольшей «вытянутости» (наибольшей дисперсии) этого облака. Количественную оценку степени этой «вытянутости» (дисперсии) дают соответствующие им собственные числа.

Пусть первые k собственных чисел «малы».

AE — часть матрицы A, соответствующая им (ее первые k стоблцов); это — коэффициенты по k уравнениям регрессии или k младших главных компонент;

AQ — остальная часть матрицы A, это — n − k старших главных компонент или собственно главных компонент;

A = [ AE, AQ ];

xAE = 0 — гиперплоскость ортогональной регрессии размерности n − k;

компонент;

AE Q. — координаты облака наблюдений в базисе главных

E — матрица размерности N × k остатков по уравнениям регрессии;

Q — матрица размерности N × (n − k), столбцы которой есть значения так называемых главных факторов.

Поскольку A t= A −1, можно записать X ˆ

= E  AE t+ Q  AQ t. Откуда

получается два возможных представления расчетных значений переменных:

= X − E 

t= Q  AQ t. (6.30)

X ˆ c (1) ˆ

(6. 27)

(2)

6.3. Ортогональная регрессия 209

Первое из них — по уравнениям ортогональной регрессии, второе (альтерна- тивное) — по главным факторам (факторная модель).

2 

2 — аналог коэффициента детерминации, дающий оценку качества

Σ

обеих этих моделей.

Факторная модель представляет n переменных через n − k факто- ров и, тем самым, «сжимает» ин- формацию, содержащуюся в исход- ных переменных. В конкретном ис- следовании, если k мало, то предпо-

чтительнее использовать ортогональ- ные регрессии, если k велико (со- ответственно n − k мало), целе- сообразно применить факторную мо- дель. При этом надо иметь в ви- ду следующее: главные факторы —

расчетные величины, и содержатель- ная интерпретация их является, как правило, достаточно сложной зада- чей.

x1

A r

B

E

D

G

F

Рис. 6.1

Сделанные утверждения можно проиллюстрировать на примере n = 2, предполагая, что λ1/ λ2, и упрощая обозначения (введенные выше матрицы являются в данном случае векторами):

a 1 = AE — вектор параметров ортогональной регрессии,

a 2 = AQ — вектор первой (в данном случае — единственной) главной компоненты,

e = E — остатки в уравнении ортогональной регрессии,

q = Q — значения первого (в данном случае — единственного) главного фактора.

На рисунке: OA — вектор-строка i -го наблюдения

x ˆ i = (x ˆ i 1, x ˆ i 2), OD —

вектор-строка расчетных значений

x ˆ c, длина OC — x ˆ i 1, длина OB — x ˆ i 2,

1 2

OD — qi.

Как видно из рисунка 6.1, квадрат длины вектора x ˆ i равен (из прямоугольных тре-

угольников OAC и OAD) x ˆ2 + x ˆ2

= e 2 + q 2, и если сложить все эти уравнения по

i 1 i 2 i i

i и разделить на N, то получится s 2 + s 2 = s 2 + s 2. Понятно, что s 2 = λ1, s 2 = λ2,

1 2 e q e q

ний (суммарную дисперсию переменных регрессии) в направлении a 1 наименьшей

210 Глава 6. Алгебра линейной регрессии

Вектор OF есть eia r, а вектор OD — qia r, и рисунок наглядно иллюстрирует

1 2

выполнение соотношения (6.30):

x ˆ c = x ˆ i − eia r= qia r.

i 1 2

Пусть теперь n = 3, и λ1, λ2, λ3, a 1, a 2, a 3 — собственные числа и вектора ковариационной матрицы переменных.

1) Если λ1≈ λ2≈ λ3, то облако наблюдений не «растянуто» ни в одном из направ- лений. Зависимости между переменными отсутствуют.

2) Если λ1/ λ2≈ λ3и k = 1, то облако наблюдений имеет форму «блина». Плоскость, в которой лежит этот «блин», является плоскостью ортогональной ре- грессии, которую описывает уравнение x ˆ a 1 = 0, а собственно уравнением регрессии

является X ˆ a 1 = e.

Эту же плоскость представляют вектора a 2 и a 3, являясь ее осями координат. В этих осях координат можно выразить любую точку данной плоскости, в том числе все точки расчетных значений переменных (6.30):

.

X ˆ c = q

 

1 2  

1 2 2 3

где q 1=

X ˆ a 2, q 2 = X ˆ a 3 — вектора значений главных факторов или вектора

координат расчетных значений переменных в осях a 2, a 3.

3) Если λ1≈ λ2/ λ3и k = 2, то облако наблюдений имеет форму «веретена». Ось этого «веретена» является линией регрессии, образованной пересечением двух

плоскостей

x ˆ a 1 = 0 и

x ˆ a 2 = 0. И уравнений ортогональной регрессии в данном

случае два: X ˆ a 1 = e 1 и X ˆ a 2 = e 2.

Данную линию регрессии представляет вектор a 3, и через него можно выразить все расчетные значения переменных:

где q = X ˆ a 3 — вектор значений главного фактора.

Поиск по сайту: