Линейная регрессия сущность, оценка параметров

Линейная регрессия сводится к построению уравнения вида y=a+b×x

Построение уравнения регрессии сводится в первую очередь к расчету его параметров - а и b. Они могут быть определены разными методами. Наиболее распространенным методом, является метод наименьших квадратов (МНК).

Допустим, что заданы n наблюдаемых значений результативного признака (у) и признака-фактора (х).

Следует отметить, что рассчитываются не истинные значения a и b, а только оценки, которые могут быть хорошими или плохими.

Возникает вопрос: существует ли способ достаточно точной оценки а и b алгебраическим путем?

Вначале на поле корреляции построим точки соответствующие наблюдаемым значениям х и у и прямую, выражающую линейную регрессию (рис.2.2).

Первым шагом является определение остатка для каждого наблюдения. Разность между фактическим и расчетным значением, соответствующим x_i, описывается как остаток в i-м приближении:

Рис.2.2 Точки рассеивания и прямая, выражающая линейную регрессию

Очевидно, что нужно построить такую линию регрессии, чтобы остатки были минимальными. Необходимо выбрать какой-то критерий подбора, который будет одновременно учитывать величину всех остатков.

Критерий минимизации суммы квадратов отклонений, фактических значений результативного признака (у) от расчетных (теоретических) :

заложен в основу МНК.

Обозначим через S, тогда

Чтобы найти min (2.4), надо вычислить частные производные по каждому из параметров а и b и приравнять их к нулю:

Преобразуя систему (2.5), получаем следующую систему нормальных уравнений для оценки параметров a и b:

Решая систему (2.6), получим

, , (2.7)

где ; ;

Параметр b называется коэффициентом регрессии. Его величина показывает, насколько единиц изменится результат с изменением фактора на одну единицу.

Параметр a, вообще говоря, не имеет экономической интерпретации. Например, если a <0, то попытка его экономической интерпретации приводят к абсурду.

Зато можно интерпретировать знак при параметре а. Если, а >0, то относительное изменение результата происходит медленнее, чем изменение фактора.

Пример 2.1. По группе предприятий, Выпускающих один и тот же вид продукции, рассматривается функция издержек у = а + bx + е. Необходимая для расчета оценок параметров а и b информация представлена в табл. 2.1.

Таблица 2.1

Расчетная таблица

Система нормальных уравнений будет иметь вид:

Решив ее, получим: а = - 5,79; b = 36,84.

Запишем уравнение регрессии:

Подставив в уравнение значения х, найдем теоретические значения у (см. последнюю графу табл. 2.1). В данном случае ве­личина параметра a, не имеет экономического смысла.

В рассматриваемом примере имеем:

То, что , соответствует опережению изменения результа­та над изменением фактора .

Если переменные х и у выразить через отклонения от средних уровней, то линия регрессии на графике пройдет через начало координат:

, где и

Оценка коэффициента регрессии при этом не изменится.

Оценку коэффициента регрессии можно получить проще, не обращаясь к методу наименьших квадратов. Альтернативную оценку параметра b можно найти исходя из содержания данного коэффициента: изменение результата сопоставляют с изменением фактора .

В нашем примере такого рода альтернативная оценка параметра b составит:

Эта величина является приближенной, ибо большая часть ин­формации, имеющейся в данных, не используется при ее расчете. Она основана только на минимаксных значениях переменных.

Поиск по сайту: