Случайные составляющие коэффициентов регрессии

Коэффициент регрессии, вычисленный методом наименьших квадратов, -это особая форма случайной величины, свойства которой зависят от свойств остаточного члена в уравнении. Мы продемонстрируем это сначала теоретичес­ки, а затем посредством контролируемого эксперимента. В частности, мы уви­дим, какое значение для оценки коэффициентов регрессии имеют некоторые конкретные предположения, касающиеся остаточного члена.
В ходе рассмотрения мы постоянно будем иметь дело с моделью парной рег­рессии, в которой у связан с х следующей зависимостью:
y=α+βx+e
и на основе п выборочных наблюдений будем оценивать уравнение регрес­сии.

Мы также будем предполагать, что х — это неслучайная экзогенная пере­менная. Иными словами, ее значения во всех наблюдениях можно считать за­ранее заданными и никак не связанными с исследуемой зависимостью.
Во-первых, заметим, что величина y состоит из двух составляющих. Она включает неслучайную составляющую (α+βx), которая не имеет ничего общего с законами вероятности (а и b могут быть неизвестными, но тем не менее это постоянные величины), и случайную составляющую e.
Отсюда следует, что, когда мы вычисляем b по обычной формуле:
.
b также содержит случайную составляющую. Cov (x, у) зависит от значений у, а у зависит от значений e.
Если случайная составляющая принимает разные значения в п наблюдени­ях, то мы получаем различные значения у и, следовательно, разные величины Cov (х, у) и b.
Теоретически мы можем разложить b на случайную и неслучайную составля­ющие. Воспользовавшись правилом расчета ковариации получим:

По ковариационным правилам, ковариация Cov (x,α) равна нулю, ковариация Cov (x,βх) равна βCov (x, х). Причем Cov (x, х) это тож, что и D(x). Следовательно, мы можем записать:

Итак, мы показали, что коэффициент регрессии Ь, полученный по любой выборке, представляется в виде суммы двух слагаемых:

1. постоянной вели­чины, равной истинному значению коэффициента β;

2) случайной состав­ляющей, зависящей от Cov (x,e), которой обусловлены отклонения коэффи­циента b от константы β. Аналогичным образом можно показать, что а имеет постоянную составляющую, равную истинному значению α, плюс случайную составляющую, которая зависит от случайного фактора e.
Следует заметить, что на практике мы не можем разложить коэффициенты регрессии на составляющие, так как не знаем истинных значений α и β или фак­тических значений e в выборке. Они интересуют нас потому, что при опреде­ленных предположениях позволяют получить некоторую информацию о теоре­тических свойствах а и b.

Условия Гаусса–Маркова

Не будет преувеличением сказать, что именно понимание важности этих условий отличает компетентного исследователя, использующего регрессион­ный анализ, от некомпетентного. Если эти условия не выполнены, исследо­ватель должен это сознавать. Если корректирующие действия возможны, то аналитик должен быть в состоянии их выполнить. Если ситуацию исправить невозможно, исследователь должен быть способен оценить, насколько серь­езно это может повлиять на результаты.
Рассмотрим теперь эти условия одно за другим, объясняя кратко, почему они имеют важное значение. Три последних условия будут также подробно рассмотрены в следующих главах.
1-е условие Гаусса—Маркова: M(e_i) = 0 для всех наблюдений
Первое условие состоит в том, что математическое ожидание случайного члена в любом наблюдении должно быть равно нулю. Иногда случайный член будет положительным, иногда отрицательным, но он не должен иметь систематичес­кого смещения ни в одном из двух возможных направлений.
Фактически если уравнение регрессии включает постоянный член, то обыч­но бывает разумно предположить, что это условие выполняется автоматичес­ки, так как роль константы состоит в определении любой систематической тенденции в у, которую не учитывают объясняющие переменные, включен­ные в уравнение регрессии.
2-е условие Гаусса—Маркова: M(e_i²) постоянна для всех наблюдений
Второе условие состоит в том, что дисперсия случайного члена должна быть постоянна для всех наблюдений. Иногда случайный член будет больше, иногда меньше, однако не должно быть априорной причины для того, чтобы он по­рождал большую ошибку в одних наблюдениях, чем в других.
Эта постоянная дисперсия обычно обозначается σ², а условие записывается следующим образом:
M(e_i²)=σ²
Величина σ² конечно, неизвестна. Одна из задач регрессионного анализа состоит в оценке стандартного отклонения случайного члена.
Если рассматриваемое условие не выполняется, то коэффициенты регрес­сии, найденные по обычному методу наименьших квадратов, будут неэффек­тивны, и можно получить более надежные результаты путем применения мо­дифицированного метода регрессии.
3-е условие Гаусса—Маркова: Cov (e_i,e_j) = 0 (i≠j)
Это условие предполагает отсутствие систематической связи между значени­ями случайного члена в любых двух наблюдениях. Например, если случайный член велик и положителен в одном наблюдении, это не должно обусловливать систематическую тенденцию к тому, что он будет большим и положительным в следующем наблюдении (или большим и отрицательным, или малым и поло­жительным, или малым и отрицательным). Случайные члены должны быть аб­солютно независимы друг от друга.
В силу того, что Е (e_i) = Е(e_j) = 0, данное условие можно записать следую­щим образом:
M(e_ie_j) = 0 (i≠j).
Если это условие не будет выполнено, то регрессия, оцененная по обыч­ному методу наименьших квадратов, вновь даст неэффективные результаты. В следующих лекциях рассматриваются возникающие здесь проблемы и пути их преодоле­ния.
4-е условие Гаусса—Маркова: случайный член должен быть распределен независимо от объясняющих переменных
В большинстве глав книги мы будем в сущности использовать более сильное предположение о том, что объясняющие переменные не являются стохастичес­кими, т. е. не имеют случайной составляющей. Значение любой независимой пе­ременной в каждом наблюдении должно считаться экзогенным, полностью определяемым внешними причинами, не учитываемыми в уравнении регрес­сии.
Если это условие выполнено, то теоретическая ковариация между независи­мой переменной и случайным членом равна нулю. Так как Е(e) = 0, то
Cov(x_i,e_i) = M{(х_i – )(e_i)} = M(x_ie_i)- M(e_t) = M(x_iu_i).
Следовательно, данное условие можно записать также в виде:
M(x_ie_i) = 0
Предположение о нормальности
Наряду с условиями Гаусса—Маркова обычно также предполагается нормаль­ность распределения случайного члена. Читатели должны знать о нормальном распределении из вводного курса статистики. Дело в том, что если случайный член и нормально распределен, то так же будут распределены и коэффициенты регрессии. Это условие пригодится нам позже в данной главе, когда потребуется проводить проверку гипотез и определять доверительные интервалы для α и β, используя результаты построения регрессии.
Предположение о нормальности основывается на центральной предельной теореме. В сущности, теорема утверждает, что если случайная величина явля­ется общим результатом взаимодействия большого числа других случайных ве­личин, ни одна из которых не является доминирующей, то она будет иметь приблизительно нормальное распределение, даже если отдельные составляю­щие не имеют нормального распределения.
Случайный член и определяется несколькими факторами, которые не вхо­дят в явной форме в уравнение регрессии. Поэтому даже если мы ничего не знаем о распределении этих факторов (или даже об их сущности), мы имеем право предположить, что они нормально распределены. В любом случае вряд ли вы столкнетесь здесь с проблемами.

Поиск по сайту: