Метод наименьших квадратов. Метод наименьших квадратов является одним из наиболее распространенных и наиболее разработанных вследствие своейпростоты и эффективности методов оценки

Метод наименьших квадратов является одним из наиболее распространенных и наиболее разработанных вследствие своей простоты и эффективности методов оценки параметров линейных эконометрических моделей. Вместе с тем, при его применении следует соблюдать определенную осторожность, поскольку построенные с его использованием модели могут не удовлетворять целому ряду требований к качеству их параметров и, вследствие этого, недостаточно “хорошо” отображать закономерности развития процесса .

Рассмотрим процедуру оценки параметров линейной эконометрической модели с помощью метода наименьших квадратов более подробно. Такая модель в общем виде может быть представлена уравнением (1.2):

y_t = a₀ + a₁ х_1t +...+ a_n х_nt + ε_t.

Исходными данными при оценке параметров a₀ , a₁ ,..., a_n является вектор значений зависимой переменной y = (y₁, y₂,..., y_T )' и матрица значений независимых переменных

в которой первый столбец, состоящий из единиц, соответствует коэффициенту модели .

Название свое метод наименьших квадратов получил, исходя из основного принципа, которому должны удовлетворять полученные на его основе оценки параметров: сумма квадратов ошибки модели должна быть минимальной.

4. Оценка качества: коэффициент R².

Цель регрессионного анализа состоит в объяснении поведения зависимой переменной у. В любой данной выборке у оказывается сравнительно низким в одних наблюдениях и сравнительно высоким — в других. Мы хотим знать, по­чему это так. Разброс значений у в любой выборке можно суммарно описать с помощью выборочной дисперсии s_y². Мы должны уметь рассчитывать вели­чину этой дисперсии.
В парном регрессионном анализе мы пытаемся объяснить поведение>> путем определения регрессионной зависимости у от соответственно выбранной не­зависимой переменной х После построения уравнения регрессии мы можем разбить значение у, в каждом наблюдении на две составляющих — , и e_t:

Величина — расчетное значение у в наблюдении i — это то значение, кото­рое имел бы у при условии, что уравнение регрессии было правильным, и от­сутствии случайного фактора. Это, иными словами, величина у, спрогнозиро­ванная по значению х в данном наблюдении. Тогда остаток е, - это расхождение между фактическим и спрогнозированным значениями величины y. Это та часть у, которую мы не можем объяснить с помощью уравнения регрессии. Разложим дисперсию у:

Далее, оказывается, что должна быть равна нулю. Следовательно, мы получаем:

Это означает, что мы можем разложить D (у) на две части: — часть, которая «объясняется» уравнением регрессии в вышеописанном смысле, и D (е) — «необъясненную» часть¹.
Oтношение дисперсии у, объясненной урав­нением регрессии ко всей дисперсии, известно как коэффициент детерминации, и его обычно обозначают R²:

Максимальное значение коэффициента R ² равно единице. Это происходит в том случае, когда линия регрессии точно соответствует всем наблюдениям, так что , для всех i и все остатки равны нулю. Тогда и R²=1.
Если в выборке отсутствует видимая связь между у и х, то коэффициент R² будет близок к нулю.
При прочих равных условиях желательно, чтобы коэффициент R² был как можно больше. В частности, мы заинтересованы в таком выборе коэффициен­тов а и Ь, чтобы максимизировать R². Не противоречит ли это нашему крите­рию, в соответствии с которым а и b должны быть выбраны таким образом, чтобы минимизировать сумму квадратов остатков? Нет, легко показать, что эти кри­терии эквивалентны, если (используется как определение коэффици­ента R².
СВОЙСТВА КОЭФФИЦИЕНТОВ РЕГРЕССИИ И ПРОВЕРКА ГИПОТЕЗ
С помощью регрессионного анализа мы можем получить оценки параметров зависимости. Однако они являются лишь оценками. Поэтому возникает вопрос о том, насколько они надежны. Дадим сначала общий ответ, изучив условия несмещенности и факторы, определяющие дисперсию оценок. Основываясь на этом, мы будем совершенствовать способы проверки совместимости регресси­онной оценки с конкретной априорной гипотезой об истинном значении оце­ниваемого параметра. И следовательно, мы будем строить доверительный ин­тервал для истинного значения, который представляет собой множество всех возможных гипотетических значений, не противоречащих результатам экспери­ментов. Будет также показано, каким образом можно проверить, является ли качество подбора кривой более высоким, чем при чисто случайном подборе.

Поиск по сайту: