АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Линейная регрессия. Алгебра линейной регрессии

Читайте также:
  1. I. Линейная алгебра
  2. III. Линейная алгебра
  3. Билет 6.Линейная зависимость и независимость векторов. Базис на плоскости и в пространстве
  4. Билинейная форма и ее матрица
  5. Вывод: график зависимости совместного изменения двух изучаемых параметров показывает наличие взаимосвязи, которая приближенно оценивается как линейная.
  6. Задание. Линейная корреляция.
  7. Задачи 6-12 Линейная алгебра
  8. Классификация поликонденсации (гомополиконденсация, гетерополиконденсация, линейная, трехмерная, циклополиконденсация, равновесная и неравновесная поликонденсации).
  9. Контрольная работа по предмету «Линейная алгебра»
  10. ЛИНЕЙНАЯ АЛГЕБРА
  11. ЛИНЕЙНАЯ АЛГЕБРА И ГЕОМЕТРИЯ.
  12. Линейная алгебра и геометрия.

Алгебра линейной регрессии

 

В этой главе предполагается, что между переменными , j = 1 ,..., n существует линейная зависимость:

(6.1)

j =1

 

где α j, j = 1 ,..., n, β (угловые коэффициенты и свободный член) — параметры (коэффициенты) регрессии (их истинные значения), ε — случайная ошибка; или в векторной форме:

 

x α = β + ε, (6.2)

 

где x и α — соответственно вектор-строка переменных и вектор-столбец пара- метров регрессии.

Как уже отмечалось в пункте 4.2, регрессия называется линейной, если ее уравнение линейно относительно параметров регрессии, а не переменных. Поэтому предполагается, что xj, j = 1 ,..., n, могут являться результатом каких-либо функциональных преобразований исходных значений переменных.

Для получения оценок aj, j = 1 ,..., n, b, e, соответственно, параметров регрессии α j, j = 1 ,..., n, β и случайных ошибок ε используется N наблюде- ний за переменными x, i = 1 ,..., N, которые образуют матрицу наблюдений X

 

 

200 Глава 6. Алгебра линейной регрессии

 

размерности N × n (столбцы — переменные, строки — наблюдения). Уравнение регрессии по наблюдениям записывается следующим образом:

 

X α = 1 N β + ε, (6.3)

где, как и прежде, 1 N — вектор-столбец размерности N, состоящий из еди- ниц, ε — вектор-столбец размерности N случайных ошибок по наблюдениям; или в оценках:

 

Xa = 1 Nb + e. (6.4)

 

Собственно уравнение регрессии (без случайных ошибок) x α = β или xa = b определяет, соответственно, истинную или расчетную гиперплоскость (линию, плоскость, ...) регрессии.

Далее применяется метод наименьших квадратов: оценки параметров регрессии находятся так, чтобы минимального значения достигла остаточная дисперсия:

.
.
1 1

s 2


N
e = N e t e = N


a t X t− b 1t


(Xa − 1 Nb).


Из равенства нулю производной остаточной дисперсии по свободному члену b

следует, что

 

x ¯ a = b (6.5)

 

и

 

t
1 Ne = 0. (6.6)

 

 


Действительно,


s 2 2

 
e = r

b N N


 

 

(Xa − 1 Nb) =


 

 

− 2 (x ¯ ab),


N
− N 1r e.

 

Вторая производная по b равна 2, т.е. в найденной точке достигается минимум.

Здесь и ниже используются следующие правила матричной записи результатов диф- ференцирования линейных и квадратичных форм.

Пусть x, a — вектор-столбцы, α — скаляр, а M — симметричная матрица. То- гда:

dx α= x,x r a = a,x r M = M,x r Mx = 2 M x.

d α ∂ xxx

(См. Приложение A.2.2.)


 

 

6.2. Простая регрессия 201

 

Этот результат означает, что точка средних значений переменных лежит на расчетной гиперплоскости регрессии.

В результате подстановки выражения b из (6.5) через a в (6.4) получается другая форма записи уравнения регрессии:

X ˆ a = e, (6.7)

где X ˆ = X − 1 Nx ¯ — матрица центрированных значений наблюдений.

(6.3, 6.4) — исходная, (6.7) — сокращенная запись уравнения регрессии. Минимизация остаточной дисперсии по a без дополнительных условий приве-

дет к тривиальному результату: a = 0. Чтобы получать нетривиальные решения,

на вектор параметров α и их оценок a необходимо наложить некоторые огра- ничения. В зависимости от формы этих ограничений возникает регрессия разного вида — простая или ортогональная.

 

 


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 |

Поиск по сайту:



Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.006 сек.)