Линейная регрессионнная модель

Регрессионный анализ связан с методами корреляционного и дисперсионного анализа. В регрессионном анализе рассматривается односторонняя зависимость случайной зависимой переменной от одной или нескольких независимых переменных. Независимые переменные называю факторами, или предикторами, а зависимая переменная – результативным признаком, или откликом. Если число предикторов равно 1, регрессию называют простой, если число предикторов больше 1 – множественной. Множественная регрессия позволяет получить ответ на вопрос о том, «что является лучшим предиктором для..». Например, какие факторы являются лучшими предикторами успешной учебы в школе или вузе, или какие индивидуальные качества позволяют предсказать степень социальной адаптации выпускников средней школы.

Регрессионный анализ предполагает решение двух задач. Первая заключается в выборе независимых переменных, существенно влияющих на зависимую переменную и определение формы уравнения регрессии. Данная задача решается путем анализа изучаемой зависимости. Вторая задача – оценивание параметров – решается с помощью того или иного метода обработки данных наблюдения.

Функция , описывающая зависимость условного среднего значения результативного признака Y от заданных значений фактора, называется функцией (уравнением) регрессии. Для точного описания уравнения регрессии необходимо знать условный закон распределения результативного признака Y. В статистической практике строят подходящую аппроксимацию для функции , основанную на исходных статистических данных. Значения переменной в i-ом опыте обозначим через , соответствующие им значения величины через .
Для линейной модели предполагается, что наблюдаемые величины связаны между собой зависимостью вида , где неизвестные параметры (коэффициенты уравнения), – независимые нормально распределенные случайные величины с нулевым математическим ожиданием и дисперсией . Иногда называют ошибками наблюдения. Общая задача регрессионного анализа состоит в том, чтобы по наблюдениям оценить параметры модели ; проверить гипотезу о значимости уравнения и коэффициентов регрессии; оценить степень адекватности полученной зависимости и т. д.

Линейная модель с несколькими предикторами называется линейной множественной регрессионной моделью, , где неизвестные параметры модели, которые вычисляются при помощи систем нормальных уравнений.

Описание модуля Множественная Регрессия

Основные обозначения и понятия модуля Множественная регрессия.

Предсказанные значения (Predictable values) – значения Y, вычисленные по уравнению регрессии .

Остатки (Residuals) – разность между наблюдаемыми значениями и предсказанными .

SS - сумма квадратов , скорректированная на среднее:

, .

SSPr - cумма квадратов , скорректированная на среднее:

.

SSRes - сумма квадратов остатков .

Коэффициент детерминации: . Чем меньше разброс значений остатков около линии регрессии по отношению к общему разбросу значений, тем лучше прогноз. Например, если связь между предиктором и откликом У отсутствует, то отношение остаточной изменчивости переменной У к исходной дисперсии равно 1. Если и У связаны функциональной зависимостью, то остаточная изменчивость отсутствует, и отношение дисперсий равно 0. Если , то изменчивость значений переменной У около линии регрессии составляет 1-0,4 от исходной дисперсии; другими словами, 40 % от исходной изменчивости могут быть объяснены, а 60 % остаются необъясненными.

Adjusted R²= 1-(1 –R²)(n/(n-k))- скорректированное R² где к – число параметров в регрессионном уравнении.

Пример. Составить математическую модель зависимости месячных объемов продаж (млн. дол.) продукта компании «Петлокс» от цены за единицу (дол.), расходов на рекламу в предыдущем месяце (10 тыс. дол.) и количества работников, занятых сбытом продукции. Объем продаж - зависимая переменная(функция отклика); Розн. цена, Расх на рекламу, Кол. работ. – независимые переменные(предикторы).

Решение. Проверим, можно ли зависимость между функцией отклик а и предикторами описать линейной моделью:

Обьем продаж = Расх.на рекламу+

В меню STATISTICA выберем Множественная регрессия в меню Анализ. В появившемся окне, нажав кнопку Переменные, зададим зависимые и независимы е переменные.

Для задания дополнительных условий можно выбрать вкладку Advanced.

Установим флажок на Advanced Options – OK. Появится диалоговое окно Model definition (построение модели).

На вкладке Quik укажем метод – Forward Stepwise(пошаговый с включением) – OK. Откроется окно результатов.

Из приведенных результатов анализа что зависимость между откликом и предиктором сильная (R² ≥0,75); построенная линейная регрессия адекватно описывает взаимосвязь между откликом и предикторами, свободный член статистически значим.

Имя зависимой пременной – Объем продаж, число наблюдений -8, коэффициент множественной корреляции = 0,9646, R² – коэффициент детерминации= 0,9305. Если нажать на кнопку Summary Regression Results, появится таблица результатов с подробными статистиками:

Величина Вета позволяет сравнить вклады каждого предиктора в предсказание отклика, так, в зависимую переменную Объем продаж больший вклад вносит переменная Розн. цена, а меньший – Кол. работ. Отрицательный знак коэффициентов при этих переменных показывает, что с увеличением розничной цены и количества работников, занятых сбытом продукции, объемы продаж падают. Положительный знак коэффициентов при переменной Расх. на рекламу означает, что с увеличением затрат на рекламу в предыдущем месяце объемы продаж растут. Коэффициенты уравнения регрессии и свободный член статистически значимы на уровне значимости р=0,1; коэффициент уравнения регрессии статистически незначим, т.к. р≥0,1. Можно записать уравнение регрессии:

Объем продаж= 9,8059-5,9543Розн. Цена+0,1827Расх. на рекламу-0,039Кол.работ.

Далее в диалоговом окне Результаты множественной регрессии на вкладке Advanced выберем кнопку Частные корреляции, появится таблица:

Частные коэффициенты корреляции показывают степень влияния одного предиктора на отклик, в предположении, что остальные предикторы закреплены на прежнем уровне, т.е. контролируется их влияние на отклик. Из таблицы следует, что предикторы можно ранжировать в следующем порядке: Розн. цена, Расх. на рекламу, Кол. работ., причем, первые два предиктора оказывают на отклик сильное влияние, а третий – умеренное. Частные корреляции значимы для переменных Розн. цена, Расх. на рекламу на уровне значимости р=0,1.

Далее в диалоговом окне проведем анализ остатков. Применим статистику Дарбина -Уотсона

Статистика Дарбина -Уотсона имеет небольшое значение при умеренной сериальной корреляции =-0,2505. Это свидетельствует о некоторой зависимости наблюдений, следовательно, можно говорить о недостаточной устойчивости некоторых значений коэффициентов регрессии, а значит, о невысокой адекватности модели изучаемому процессу. Для графического сравнения значений отклика и наблюдаемых значений надо в диалоговом окне Анализ остатков выбрать вкладку Предсказанные и нажать кнопку Предсказанные независимые переменные.

Одним из условий корректности применения регрессионного анализа является соответствие закона распределения остатков нормальному закону. В диалоговом окне Multply Regression Results выбрать вкладку – Residuals/Assuptions/predictions – нажмите кнопку Perform Residial Analysis в открывшемся окне Residuals нажмите кнопку Histogram of results. Из построенного графика видно, что из-за очень малого числа наблюдений, распределение остатков не соответствует нормальному закону. Из приведенных результатов можно сделать вывод о невысокой адекватности построенной линейной модели зависимости обьемов продаж компании «Петлокс» от розничной цены продукта, расходов на рекламу в предыдущем месяце, количества работнико, занятых сбытом продукции. Линейная модель имеет вид:

Объем продаж= 9,8059-5,9543Розн.цена+ 0,1827Расх.на рекламу-0,039Кол.работ.

Последнее слагаемо – Кол.работ. из модели можно исключить, т.к. коэффициент 0,039 статистически незначим, те. Верна гипотеза о равенстве нулю. При помощи модуля Описательные статистики легко определить параметры изменения предикторов: наибольшее и наименьшее значения: 0,9≤ Розн. Цена ≤ 1,2; 5≤ Расх. на рекламу ≤10; 18≤ Кол.работ. ≤30

Поиск по сайту: