АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Многообразие оценок регрессии

Читайте также:
  1. XI. Метод регрессии
  2. Билет 8. Жанровое многообразие поэзии Батюшкова.
  3. Вычисление и интерпретация параметров парной линейной регрессии
  4. Геометрическая интерпретация критерия качества МНК-оценок.
  5. Гиперболической регрессии
  6. Гиперболической регрессии
  7. ГЛАВА XII —— ПОРОДНОЕ МНОГООБРАЗИЕ СОБАК
  8. ДВАДЦАТЬ ВТОРАЯ ЛЕКЦИЯ. Представление о развитии и регрессии. Этиология
  9. Единство и многообразие мировой истории. Проблемы начала, направленности и конца мировой истории.
  10. Единство и многообразие современного мира.
  11. Единство социального и биологического в человеке. Потребности человека, их многообразие.
  12. ИДЕОЛОГИЧЕСКОЕ И ПОЛИТИЧЕСКОЕ МНОГООБРАЗИЕ.

 

Множество оценок регрессии не исчерпывается 2 n − 1 отмеченными выше элементами. Перед тем как получать любую из этих оценок, можно провести пре- образование в пространстве наблюдений или переменных.

Преобразование в пространстве наблюдений проводится с помощью матрицы D размерности NN, N t™ N. Обе части исходного уравнения (6.3) умножа- ются слева на эту матрицу:

DX α = D 1 N β + D ε, (6.31)


 

 

6.4. Многообразие оценок регрессии 211

 

после чего проводится оценка параметров любым из указанных 2 n − 1 способов. Понятно, что полученные оценки будут новыми, если только D t D ƒ= cIN, где c — любая константа.

В результате такого преобразования β может перестать являться свободным членом, если только D 1 N ƒ= c 1 N t (c — любая константа). Но, главное, меняется распределение ошибок по наблюдениям. Именно с целью изменить это распре- деление в нужную сторону (с помощью подбора матрицы D) и проводятся такие преобразования (см. гл. 8).

Преобразование в пространстве переменных осуществляется с помощью квадратной невырожденной матрицы C размерности n × n: Y = XC — пре- образованные значения переменных регрессии. И затем оцениваются параметры регрессии в новом пространстве: Yf = 1 Ng + u.

Это преобразование можно проводить в пространстве центрированных пере- менных, т.к. Y ˆ = X ˆ C.


Действительно: X ˆ C =. IN − 1 1 N 1r


. XC =. IN − 1 1 N 1r


. Y = Y ˆ.


N N N N

То есть исходное уравнение регрессии (6.7) после преобразования приобретает вид:

Y ˆ f = u. (6.32)

Оценки f являются новыми, если после «возвращения» их в исходное про- странство, которое производится умножением f слева на C, они не совпадут с оценками a, полученными в исходном пространстве, т.е. если a ƒ= Cf. Справед- ливость этого утверждения становится очевидной после следующего алгебраически эквивалентного преобразования исходного уравнения (6.7):


X ˆ C


C −1 a


= e. (6.33)


Y
←−ˆ→ ←− f −→

Понятно, что МНК-оценка f совсем не обязательно совпадет с C −1 a — и тогда это будет новая оценка.

После преобразования меняется распределение ошибок в переменных регрес- сии. И именно для того, чтобы изменить это распределение в нужную сторону, осуществляются такие преобразования (см. гл. 8).

Результаты преобразований в пространстве переменных различны для простых и ортогональной регрессий.

В случае простой регрессии xj по xj это преобразование не приводит к по- лучению новых оценок, если j -я строка матрицы C является ортом, т.е. в объ- ясняющие переменные правой части не «попадает» — после преобразования — объясняемая переменная.


 

 

212 Глава 6. Алгебра линейной регрессии

 


Действительно, пусть для определенности j = 1 и C = 


 

1 0

c −1 C −1


(первая


 

1 0

строка является ортом), C −1=  .

 

C −1
 
−1 c −1 C

−1

Уравнение (6.33) записывается следующим образом:

 


.

X ˆ1 + X ˆ−1 c −1


.

X ˆ
−1 C −1 


 

 

C −1 c


 

C −1 a


 
= e


Y
←−−−−−−−−−−ˆ−−−−−−−−−−→


− −1 −1


−1 −1


←−−−−−−−−− f −−−−−−−−→

 

или, после переноса переменных в правую часть:

 


. ˆ ˆ.


1 −1


X 1 + X −1 c −1


ˆ. −

= X C C c
C
−1 −1 −1 −1


+ −1


a −1.


+ e 1.


←−−−−−ˆ−−−−−→


←−−ˆ −−→ ←−−−−−− f −−−−−−−→


Y 1 Y −1 −1

 

 

Система нормальных уравнений для оценки f −1 имеет следующий вид:

 


1. ˆ ˆ


. 1 ˆ ˆ


1 −1


C r X ˆ r


X 1 + X −1 c −1


= C r X r


X −1 C −1. Cc −1 + C


a −1.


N −1 −1


N −1 −1


−1 −1


Y
Y r
←−−ˆ −−→ ←−−−−−−−−−−→


←−−−−→ ←−−−−→ ←−−−−−−−−−−−−−→


−1
Y r Y ˆ1


ˆ ˆ

−1 −1


f −1


 

или, раскрыв скобки:

 


C r
−1 m −1+ C r


1 M −1 c −1= C r


1 M −1 c −1+ C r


1 M −1 a −1.


− − −

 

 

 
После взаимного сокращения одинаковых слагаемых в полученном матричном урав- нении (2-го в левой части и 1-го в правой) и умножения обеих частей слева на C r−1

получается система нормальных уравнений для оценки a −1: m −1 = M −1 a −1.

Это означает, что f −1 после «возвращения» в исходное пространство совпадает с a −1, т.е. проведенное преобразование в пространстве переменных новых оценок регрессии не дает.

 

 

Верно и обратное утверждение: если j -я строка матрицы C не является ортом, то a и f совпадают с точностью до обратного преобразования только тогда, когда связь функциональна и e = 0.


 

 

6.4. Многообразие оценок регрессии 213


Пусть теперь C = 


 

 

 
1 c r

 

0 In −1


(т.е. первая строка не является ортом),


C −1 = 


1 − c r

−1
0 In −1


. Тогда уравнение (6.33) приобретает следующую форму:


. ˆ ˆ


 

ˆ. 1+ c r a


−1
X 1 X −1 + X 1 c r 

ˆ
←−−−−−−−−→ 

Y −1


−1 −1

a −1


= e 1, (6.34)


 

 

−1
или


←−−−−− f −−−−−→


−1
X ˆ1.1+ c r

и


a −1. = Y ˆ


a −1


 

+ e 1,


a − 1


1


−1
−1
X ˆ1 = Y ˆ


.1 + c r a −1


. +.1+ c r a

1 −1


. e 1.


 

Таким образом, условием совпадения a и f с точностью до обратного преобразо- вания является следующее:

a − 1


 
f −1 =.1+ c r


a −1.


. (6.35)


 

Система нормальных уравнений для оценки f −1 имеет вид:


 
Y ˆ r X ˆ


= Y ˆ r Y ˆ f,


 
N −1 1


N −1


−1 −1


или, учтя зависимость Y от X из (6.34) и раскрыв скобки:


−1 + c
m
−1
m −1 + c −1 m 11 =. M −1 + m −1 c r −1 r


+ m 11 c −1 c r.


f −1.


 

−1
Это равенство с учетом (6.35) и (6.11) принимает вид:

 


r
(m −1+ c −1 m 11).1+ c −1


M −1 m


−1.=


−1
=. M


+ m c r + c


m r + m c


c r.


M −1 m.


−1 −1 −1


−1 −1


11 −1 −1


−1 −1


 

Раскрыв скобки и приведя подобные, можно получить следующее выражение:

 


c −1 m 11 = c −1 m r


− −1


 
−1 M −1 m,


 

 

214 Глава 6. Алгебра линейной регрессии

 

которое выполняется как равенство, только если


−1
m 11= m r


−1

 
M m
,
− −1


т.е. если (в соответствии с (6.18))


 

 

q 1
m 11= s 2.


 

Таким образом, a и f совпадают с точностью до обратного преобразования только тогда, когда полная дисперсия равна объясненной, т. е. связь функциональна и e = 0.

Что и требовалось доказать.

 

Итак, преобразования в пространстве переменных в простых регрессиях лишь в особых случаях приводят к получению новых оценок, обычно меняются толь- ко шкалы измерения. Некоторые из этих шкал находят применение в прикладном анализе. Такой пример дает стандартизированная шкала, которая возникает, ес- ли C = S −1, где S — диагональная матрица среднеквадратических отклонений переменных.

Оценки параметров регрессии после преобразования оказываются измерен- ными в единицах среднеквадратических отклонений переменных от своих средних, и они становятся сопоставимыми между собой и с параметрами других регрес- сий.

j jjj
В этом случае система нормальных уравнений формируется коэффициентами корреляции, а не ковариации, и f = R −1 r, где R — матрица коэффици-

ентов корреляции объясняющих переменных между собой, rj — вектор столбец коэффициентов корреляции объясняющих переменных с объясняемой перемен-

ной.

 

Действительно (предполагается, что j = 1), соотношения (6.33) при указанной матрице C имеют следующую форму:


X 1
. ˆ 1

s 1


 

X ˆ−1


S
−1. s

−1  1


= e 1. (6.36)


ˆ
←−−→

Y 1


←−−−−−→

ˆ
Y −1


 

S −1 a −1


Для того чтобы вектор параметров приобрел необходимую для простой регрессии форму, его надо разделить на s 1. Тогда и e делится на s 1 (т.е. на s 1 делятся обе части уравнения (6.36)). После переноса объясняющих переменных в правую часть

получается следующее уравнение регрессии:


Y ˆ = Y ˆ f


+ e, где f


= S a.


1 −1 −1


s 1 1


−1 −1


−1 s 1


Система нормальных уравнений для f −1 имеет следующий вид:


 
Y ˆ r Y ˆ


= Y ˆ r Y ˆ f,


 
N −1 1


N −1


−1 −1


 

 

6.4. Многообразие оценок регрессии 215

или, учитывая зависимость Y от X из (6.36),


S −1


1 = S −1


−1 f.


s
−1 m −1

←−−− r −−−→


−1 M −1 S −1 −1

R
←−−−−−−−→

1


−1

 

Что и требовалось доказать.

 

 

Преобразование в пространстве переменных в ортогональной регрессии при использовании любой квадратной и невырожденной матрицы C ƒ= In приводит к получению новых оценок параметров.

В пункте 4.2 при n = 2 этот факт графически иллюстрировался в случае, когда

 

 

1 0

.
C =  

 

0 k

 

 

В общем случае верно утверждение, состоящее в том, что в результате пре- образования и «возвращения» в исходное пространство для получения оценок a надо решить следующую задачу:

 

(M − λΩ) a = 0, a tΩ a = 1, (6.37)

 

где Ω = C t−1 C −1.

 

 

Действительно:

 

После преобразования в пространстве переменных задача ортогональной регрессии записывается следующим образом (6.24, 6.25):

 

(MY − λ In) f = 0, f r f = 1, (6.38)

где, учитывая (6.33), MY = C r M C, f = C −1 a.

Выражение (6.37) получается в результате элементарных преобразований (6.38).

 

 

Понятно, что решение задачи (6.37) будет давать новую оценку параметрам a при любой квадратной и невырожденной матрице C ƒ= In. Такую регрессию иногда называют регрессией в метрике Ω−1.


 

 

216 Глава 6. Алгебра линейной регрессии

 


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 |

Поиск по сайту:



Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.032 сек.)