АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Различные формы уравнения регрессии

Читайте также:
  1. BRP открывает новый виток инновационного развития с выпуском платформы Ski-Doo REV
  2. I-III – зародышевые бугры, из которых образуются различные отделы лица.
  3. II Формы общения, к вампиризму не относящиеся
  4. II. ЦЕЛИ И ФОРМЫ ДЕЯТЕЛЬНОСТИ ПРИХОДА
  5. IV. Формы контроля
  6. IV. Формы контроля
  7. V. Формы контроля
  8. V2: ДЕ 54 - Дифференциальные уравнения, допускающие понижение порядка
  9. V2: ДЕ 57 - Фундаментальная система решений линейного однородного дифференциального уравнения
  10. V2: Применения уравнения Шредингера
  11. V2: Уравнения Максвелла
  12. VI Дифференциальные уравнения

 

Основная модель линейной регрессии относится к классу простых регрессий, в левой части уравнения которых находится одна переменная: объясняемая, моде- лируемая, эндогенная, а в правой — несколько переменных: объясняющих, фак- торных, независимых, экзогенных. Объясняющие переменные называют также факторами, регрессорами.

Для объясняемой переменной сохраняется прежнее обозначение — x. А век- тор-строка размерности n объясняющих переменных будет теперь обозначаться через z, поскольку свойства этих переменных в основной модели регрессии суще- ственно отличаются от свойств объясняемой переменной. Через X и Z обозна- чаются, соответственно, вектор-столбец размерности N наблюдений за объясня- емой переменной и матрица размерности N × n наблюдений за объясняющими переменными. Обозначения параметров регрессии и остатков по наблюдениям со- храняются прежними (отличие в том, что теперь вектор-столбцы α и a имеют размерность n).

Уравнения регрессии в исходной форме имеют следующий вид:

 

 

X = Z α + 1 N β + ε, (7.1)


 

 

7.1. Различные формы уравнения регрессии  
или в оценках   X = Za + 1 Nb + e.   (7.2)

В сокращенной форме:


 

 

X ˆ = Z ˆα + ε, (7.3)


 


или


 

 

X ˆ = Z ˆ a + e. (7.4)


 

Оператор МНК-оценивания ((6.11, 6.13) в п. 6.2) принимает теперь вид:

a = M −1 m, b = x ¯ − z ¯ a, (7.5)

 

N ˆ ˆ


где M = 1


Z t Z — ковариационная матрица переменных z между собой,


N ˆ ˆ


m = 1


Z t X — вектор ковариаций переменных z с переменной x. Первую часть


оператора (7.5) часто записывают в форме:

a =  ˆ Z ˆ−1 Z ˆ X. (7.6)

Z t t ˆ

 

МНК-оценки e обладают следующими свойствами ((6.6, 6.12) в предыдущей главе):


 

e ¯ =


 
N
t e = 0, cov (Z, e) =

N


1 Z ˆt e = 0. (7.7)

N


 

Коэффициент детерминации рассчитывается следующим образом (см. (6.20)):

 


 
R 2 = sq = 1


s 2

e, (7.8)


s
s
2 − 2

x x


x
где s 2


— дисперсия объясняемой переменной, s 2 — остаточная дисперсия,

e
s 2 (6. 2. 6)


q = a t Ma = a t m = m t a = m t M −1 m (7.9)

 

— объясненная дисперсия.

Уравнение регрессии часто записывают в форме со скрытым свободным членом:

X = Z ˜α˜ + ε, (7.10)

X = Z ˜ a ˜ + e, (7.11)


 

 

224 Глава 7. Основная модель линейной регрессии

 

   

α a


где Z ˜ = [ Z 1 N ], α˜ = 


, a ˜ =  .


   

β b

При таком представлении уравнения регрессии оператор МНК-оценивания записывается следующим, более компактным, чем (7.5), образом:

 


 

 

N ˜t˜
˜ ˜
где M ˜ = 1 Z Z, m ˜


 

 

N ˜t
= 1 Z X, или


a = M ˜−1 m, (7.12)


 


a ˜ =


Z ˜t Z ˜


−1


Z ˜t X. (7.13)


 

 


M ˜ и m ˜


также, как M и m, являются матрицей и вектором вторых моментов,


но не центральных, а начальных. Кроме того, их размерность на единицу больше. Оператор (7.12) дает, естественно, такой же результат, что и оператор (7.5).

Этот факт доказывался в п. 4.2 для случая одной переменной в правой части урав-

нения.

 

 

В общем случае этот факт доказывается следующим образом. Учитывая, что

X = X ˆ + 1 Nx ¯, (7.14)


.

Z ˜ =


Z ˆ + 1 Nz ¯


.

1 N, (7.15)


 

можно установить, что

 


˜
M = 


 

M + z ¯r z ¯

z ¯

m + z ¯r x ¯


 

z ¯r

 


 

, (7.16)


m =  

˜  ,

x ¯

 

и записать систему нормальных уравнений, решением которой является (7.12) в сле- дующей форме:

 


M + z ¯r z ¯


 

z ¯r


  

a


 

m + z ¯r x ¯


  


 =  


z ¯ 1


    .

b x ¯


 

 

7.1. Различные формы уравнения регрессии 225

 

Вторая (нижняя) часть этой матричной системы уравнений эквивалентна второй части оператора (7.5). После подстановки b, выраженного через a, в первую (верх- нюю) часть данной матричной системы уравнений она приобретает следующий вид:

Ma + z ¯r z ¯ a + z ¯r x ¯ − z ¯r z ¯ a = m + z ¯r x ¯,

и после приведения подобных становится очевидной ее эквивалентность первой ча- сти оператора (7.5).

Что и требовалось доказать.

 

Кроме того, можно доказать, что

 


˜
M −1 = 


M −1 − M −1 z ¯t

z ¯ M −1 1 + z ¯ M −1 z ¯t


 

. (7.17)


 

Этот факт потребуется ниже. (Правило обращения блочных матриц см. в Прило- жении A.1.2.)

Справедливость этого утверждения проверяется умножением M ˜−1 из (7.17) на M ˜из (7.16). В результате получается единичная матрица.

 

МНК-оценки вектора e ортогональны столбцам матрицы Z ˜:

Z ˜t e = 0. (7.18)

Доказательство наличия этого свойства получается как побочный результат при вы- воде оператора оценивания (7.12) путем приравнивания нулю производных оста- точной дисперсии по параметрам регрессии, как это делалось в п. 6.2.


 

 

что


Поскольку последним столбцом матрицы Z ˜


является 1 N, из (7.18) следует,


 

1t
Ne = 0, (7.19)

 

т.е. e ¯ = 0. Из остальной части (7.18):

Z t e = 0, (7.20)

 

что в данном случае означает, что cov (Z, e) = 0.

 

Действительно, раскрывая (7.20):

 


Z r e


(7. 15)

=


Z ˆr e + z ¯r1r


e = Z ˆr e = 0.


N
←−=−0→


 

 

226 Глава 7. Основная модель линейной регрессии

 

Таким образом, (7.18) эквивалентно (7.7).

Однако уравнения (7.10) допускают и иную интерпретацию. Если последним


в Z ˜


является не 1 N, а столбец «обычной» переменной, то это — регрессия без


свободного члена. В таком случае из (7.18) не следует (7.19), и свойства (7.7) не вы- полняются. Кроме того, для такой регрессии, очевидно, не возможна сокращенная запись уравнения. Этот случай в дальнейшем не рассматривается.

В дальнейшем будет применяться в основном форма записи уравнения со скры- тым свободным членом, но чтобы не загромождать изложение материала, символ

«∼» будет опускаться, т.е. соотношения (7.10, 7.11, 7.12, 7.13, 7.18) будут исполь- зоваться в форме

 

X = Z α + ε, (7.21)
X = Za + e, (7.22)
a = M −1 m, (7.23)
a =. Z t Z. −1 Z t X, (7.24)
Z t e = 0. (7.25)

 

Случаи, когда a, Z, m, M означают не a ˜, Z ˜, m ˜, M ˜, а собственно a, Z, m, M, будут оговариваться специально.

 


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 |

Поиск по сайту:



Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.014 сек.)