АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Оценка параметров парной регрессии методом наименьших квадратов(суть метода, вывод формул для нахождения оценок коэффициентов через систему нормальных уравнений)

Читайте также:
  1. C. Через 10 – 30 мин и длится 1 – 2 часа
  2. I. Расчет параметров железнодорожного транспорта
  3. II. Оценка эффективности инвестиционного менеджмента.
  4. II. Расчет параметров автомобильного транспорта.
  5. III. Расчет параметров конвейерного транспорта.
  6. IV.Оценка эффективности деятельности структурного подразделения организации
  7. PrPf употребляется в тех предложениях, которые можно адекватно переформулировать в виде предложений в настоящем иди будущем времени.2
  8. А. промывание полости носа методом перемещения
  9. А5. Умение представлять формульную зависимость в графическом виде
  10. Абсолютные и относительные показатели силы связи в уравнениях парной регрессии.
  11. Автокорреляция остатков модели регрессии. Последствия автокорреляции. Автокорреляционная функция
  12. Автокорреляция уровней временного ряда. Анализ структуры временного ряда на основании коэффициентов автокорреляции

Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК).

Метод наименьших квадратов позволяет получить такие оценки параметров a и b, при которых сумма квадратов отклонений фактических значений результативного признака y от расчетных (теоретических) ŷx минимальна:

(1)

Для того чтобы найти минимум функции (1), надо вычислить частные производные по каждому из параметров a и b и приравнять их к нулю. Тогда мы получаем следующую систему нормальных уравнений для оценки параметров a и b

Решая систему нормальных уравнений либо методом последовательного исключения переменных, либо методом определителей, найдем искомые оценки параметров a и b. Можно воспользоваться следующими формулами для a и b:

Эта формула получена из первого уравнения системы, если все его члены разделить на n:

где cov(x,y) — ковариация признаков; σх2— дисперсия признака х

Поскольку , получим сле­дующую формулу расчета оценки параметра b

Таким образом явный вид решения системы нормальных уравнений:

Свойство несмещенности состоит в том, что математиче­ское ожидание оценки должно быть равно истинному значению параметра.

Свойство состоятельности состоит в том, что с увеличе­нием наблюдений дисперсия оценки параметра стремится к ну­лю, т.е. оценка становится более надежной в вероятностном смысле (значения оценки более плотно концентрируются около истинного значения).

Оценка называется эффективной, если она имеет минимальную дисперсию по сравнению с любыми другими оценками этого параметра в классе выбранных процедур.

11. Матричная форма МНК: спецификация парной регрессионной модели в матричной форме, необходимые условия экстремума в матричном виде, вывод оценки вектора параметров модели.

 

Понятие статистической процедуры оценивания параметров эконометрической модели. Линейные статистические процедуры. Требования к наилучшей статистической процедуре: несмещенность и минимальные дисперсии оценок параметров.

Оценкой ân параметра a называют всякую функцию результатов наблюдений над случайной величиной X (иначе — статистику), с помощью которой судят о значениях параметра a.



Статистические проверки параметров регрессии основаны на непроверяемых предпосылках распределения случайной величины. Они носят лишь предвари­тельный характер. После построения уравнения регрессии про­водится проверка наличия у оценок тех свойств, которые предполагались. Связано это с тем, что оценки параметров регрессии должны отвечать определенным критери­ям: быть несмещенными, состоятельными и эффективными. Эти свойства оценок, полученных по МНК, имеют чрезвычайно важ­ное практическое значение в использовании результатов регрес­сии и корреляции.

В отличие от параметра, его оценка ã n — величина случай­ная. «Наилучшая оценка» ã n должна обладать наименьшим рас­сеянием относительно оцениваемого параметра a, например, наи­меньшей величиной математического ожидания квадрата отклонения оценки от оцениваемого параметра М(ã - a)2.

Оценка â n параметра a называется несмещенной, если ее мате­матическое ожидание равно оцениваемому параметру, т. е. М(ã) = a.

В противном случае оценка называется смещенной.

Если это равенство не выполняется, то оценка ã , получен­ная по разным выборкам, будет в среднем либо завышать значе­ние a (если М(ã) > a , либо занижать его (если М(ã) < 0). Та­ким образом, требование несмещенности гарантирует отсутствие систематических ошибок при оценивании.

Оценка â n параметра a называется состоятельной, если она удовлетворяет закону больших чисел, т.е. сходится по вероятно­сти к оцениваемому параметру:

В случае использования состоятельных оценок оправдывается увеличение объема выборки, так как при этом становятся ма­ловероятными значительные ошибки при оценивании. Поэтому практический смысл имеют только состоятельные оценки.

Несмещенная оценка ã n параметра a называется эффектив­ной, если она имеет наименьшую дисперсию среди всех возможных несмещенных оценок параметра a, вычисленных по выборкам одного и того же объема n.

Так как для несмещенной оценки M(ã n - a)2 есть ее дис­персия , то эффективность является решающим свойством, определяющим качество оценки.

Для нахождения оценок параметров (характеристик) генераль­ной совокупности используется ряд методов.

Указанные критерии оценок (несмещенность, состоятель­ность, эффективность) обязательно учитываются при разных способах оценивания.

 

13. Теорема Гаусса - Маркова.

Рассматривается модель парной регрессии, в которой наблюдения Y связаны с X следующей зависимостью: Yi = β1 + β2Xi + εi. На основе n выборочных наблюдений оценивается уравнение регрессии . Теорема Гаусса—Маркова гласит:
Если данные обладают следующими свойствами:

 

1 Модель данных правильно специфицирована;

2 Все Xi детерминированы и не все равны между собой;

3 Ошибки не носят систематического характера, то есть ;

4 Дисперсия ошибок одинакова и равна некоторойσ2;

5 Ошибки независимы, то есть ;

— то в этих условиях оценки метода наименьших квадратов эффективны в классе линейных несмещенных оценок:
Линейность оценок показана выражением

Также:
А). Оценки яв-ся несмещенными, т.е. Eb~=b и Eâ=a

Док-во: Введем wt=xt/∑xs2. При этом ∑wt=0; ∑wtxt=1; ∑wt2 =1/∑xt2; b~=b+∑wtεt. Таким образом

Б). Оценки являются состоятельными.

Условие - В качестве доказательства состоятельности оценок приведем формулы элементов ковариационной матрицы вектора b~, из которых видно, что дисперсии несмещенных оценок параметров с ростом объема выборки стрем-ся к 0:
Т.е. увелечение объема выборки приводит к устойчивости оценок коэф-в ур-ия. Считается, что объем выборки должен удовл-ть соот-ию n>3m-1, где m-кол-во объясняющих переем-х.

В). Оценки эфф-ны, т.е. они имеют наименьшую дисп-ию разброса отн-но теорет-х вел-н по сравнению с такими же оценками полученных с примен-м и люб др методов расчета. Эффективность оценки определяется критерием вида

Кому не понравилось, смотрим лекцию.

14. Основные числовые характеристики вектора оценок параметров классической множественной регрессионной модели.

Вектор оценок параметров модели – случайный вектор, его основными количественными характеристиками являются: вектор мат.ожиданий и матрица автоковариаций.

A=(XTX)-1XT

таким образом, МНК-оценки параметров множественной регрессии несмещенные.

Построим матрицу автоковариаций

, тк

Доказательство эффективности несмещенных оценок b~ выполняется путем сравнения их дисперсий Var(b^) с дисперсиями Var(b~) вектора линейных несмещенных оценок b~, определяемого выражением b~ =(A+C)Y, где С— произвольная (k*n)-матрица. Тогда, в силу несмещенности оценки b~ и равенства можно записать:

b=E(b~)= (A+C)E(Y) = (A+C)Xb = AXb +CXb = b + CXb, откудаследует: CX=0.

Определим автоковариационную матрицу вектора оценок b~:

Диагональные элементы автоковариационных матриц оценок параметров — их дисперсии. Диагональные элементы матрицы ССТ неотрицательны, поэтому Var(b^)>=Var(b~), т. е. оценка МНК является эффективной, имея минимальную дисперсию по сравнению с любыми несмещенными оценками неизвестного параметра в классе линейных процедур.


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 |


Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.008 сек.)