Линейная регрессия. Алгебра линейной регрессии

Алгебра линейной регрессии

В этой главе предполагается, что между переменными , j = 1 ,..., n существует линейная зависимость:

(6.1)

j =1

где α j, j = 1 ,..., n, β (угловые коэффициенты и свободный член) — параметры (коэффициенты) регрессии (их истинные значения), ε — случайная ошибка; или в векторной форме:

x α = β + ε, (6.2)

где x и α — соответственно вектор-строка переменных и вектор-столбец пара- метров регрессии.

Как уже отмечалось в пункте 4.2, регрессия называется линейной, если ее уравнение линейно относительно параметров регрессии, а не переменных. Поэтому предполагается, что xj, j = 1 ,..., n, могут являться результатом каких-либо функциональных преобразований исходных значений переменных.

Для получения оценок aj, j = 1 ,..., n, b, e, соответственно, параметров регрессии α j, j = 1 ,..., n, β и случайных ошибок ε используется N наблюде- ний за переменными x, i = 1 ,..., N, которые образуют матрицу наблюдений X

200 Глава 6. Алгебра линейной регрессии

размерности N × n (столбцы — переменные, строки — наблюдения). Уравнение регрессии по наблюдениям записывается следующим образом:

X α = 1 N β + ε, (6.3)

где, как и прежде, 1 N — вектор-столбец размерности N, состоящий из еди- ниц, ε — вектор-столбец размерности N случайных ошибок по наблюдениям; или в оценках:

Xa = 1 Nb + e. (6.4)

Собственно уравнение регрессии (без случайных ошибок) x α = β или xa = b определяет, соответственно, истинную или расчетную гиперплоскость (линию, плоскость, ...) регрессии.

Далее применяется метод наименьших квадратов: оценки параметров регрессии находятся так, чтобы минимального значения достигла остаточная дисперсия:

s 2

a t X t− b 1t

(Xa − 1 Nb).

Из равенства нулю производной остаточной дисперсии по свободному члену b

следует, что

x ¯ a = b (6.5)

и

Действительно,

∂ s 2 2

∂ b N N





(Xa − 1 Nb) =

− 2 (x ¯ a − b),

Вторая производная по b равна 2, т.е. в найденной точке достигается минимум.

Здесь и ниже используются следующие правила матричной записи результатов диф- ференцирования линейных и квадратичных форм.

Пусть x, a — вектор-столбцы, α — скаляр, а M — симметричная матрица. То- гда:

dx α= x, ∂ x r a = a, ∂ x r M = M, ∂ x r Mx = 2 M x.

d α ∂ x ∂ x ∂ x

(См. Приложение A.2.2.)

6.2. Простая регрессия 201

Этот результат означает, что точка средних значений переменных лежит на расчетной гиперплоскости регрессии.

В результате подстановки выражения b из (6.5) через a в (6.4) получается другая форма записи уравнения регрессии:

X ˆ a = e, (6.7)

где X ˆ = X − 1 Nx ¯ — матрица центрированных значений наблюдений.

(6.3, 6.4) — исходная, (6.7) — сокращенная запись уравнения регрессии. Минимизация остаточной дисперсии по a без дополнительных условий приве-

дет к тривиальному результату: a = 0. Чтобы получать нетривиальные решения,

на вектор параметров α и их оценок a необходимо наложить некоторые огра- ничения. В зависимости от формы этих ограничений возникает регрессия разного вида — простая или ортогональная.

Поиск по сайту: