Оценка дисперсии возмущений модели множественной регрессии

Оценка дисперсии возмущений выражается через сумму квадратов остатков регрессии:

∑e_t^2=e^T*e, гдеe=Y- =Y-X =Y-XAY=Y-NY=(I-N)Y=MY=M(Xβ+ɛ)=Mɛ

-n-мерный вектор-столбец остатков регрессии-случайный вектор (функция выборочных данных). Матрица M (как и матрица N) идемпотентная и симметричная. Действительно,

((I-N)^T)*(I-N)=(I^T)*I-(N^T)I-(I^T)*N+(N^T)*N=I-N,

так как

N^T=N, N=XA=X((X^T)*X^-1)*X^T,

N^T=(XA)^T=(A^T)*(X^T)=X*((X^T)*X)^-1)*(X^T)

Определим количественные характеристики случайного вектора e. Вектор математических ожиданий для остатков регрессии:

E{ e }=E{Mɛ}=M*E{ɛ}=0 -(1)

Автоковариационная матрица вектора остатков определяется по правилу

С _ee =Cov(Mɛ,Mɛ)=M*Cov(ɛ,ɛ)*M^T=M(σ^2)*IM^T=(σ^2)M(M^T)= (σ^2)M

в силу идемпотентности матрицы М. Несмещенной оценкой дисперсии возмущения множественной регрессии является оценка вида:

s^2=σ`^2=∑(e_t^2)/(n-k)=((e^T)*e)/(n-k), -(2)

где k-число параметров модели (столбцов матрицы регрессоров). Для доказательства несмещенности данной оценки покажем, что

E((e^T)*e)=(σ^2)(n-k)

Действительно,

E(e^Te)=E(Σe_t²)=ΣE[(e_t-E(e_t))²]=ΣVar(e_t),

с учетом (1). Дисперсии остатков e_t, t=1,2,…,nявляются диагональными элементами автоковариационной матрицы C_ee вектора остатков, следовательно, сумма дисперсий-это ее след:

(E(e₁²)…..E(e₁e_n))

ΣVar(e_t)=tr(C_ee)=tr(…………………),

(E(e_ne₁)….E(e_n²))

ТогдаE(e^Te)=tr(C_ee)=tr(σ²M)= σ²tr(M)=σ²tr(I-N)=σ²(tr(I)-tr(N))= σ²(n-k),

где tr(M) – след матрицы М. След матрицы N: N=XA, с учетом свойства следа равенtr(XA)=tr(AX)=tr(I_k)=k.

Легко проверить, что оценка (2) является несмещенной оценкой дисперсии возмущений: E(s²)=E(e^Te)/(n-k)= σ²(n-k)/(n-k)= σ².

Оценка автоковариационной матрицы оценок параметров получается из формулы

=Cov{ }=Cov{AY,AY}=ACov{Y,Y}A^T= σ² AA^T= σ²(X^TX)^-1 путем замены истинного значения дисперсии возмущений несмещенной оценкой (2):

=s²(X^TX)^-1. Таким образом, вектор оценок, в соответствии с основными предпосылками модели имеет нормальное распределение N(β,σ²(X^TX)^-1), и точечные МНК оценки параметров множественной регрессии являются линейными, несмещенными и эффективными.

Поиск по сайту: