Линейная регрессия

Взаимосвязь между переменными величинами может быть описана разными способами. Например, как было показано в предыдущем разделе, эту связь можно описать с помощью различных коэффициентов корреляции (линейных, частных, корреляционного отношения и т.п.). В то же время эту связь можно выразить по-другому: как зависимость между аргументом (величиной) Xи функцией К В этом случае задача будет состоять в нахождении зависимости вида Y = F(X) или, напротив, в нахождении зависимости вида Х= F[i). При этом изменение функции в зависимости от изменений одного или нескольких аргументов называется регрессией.

Графическое выражение регрессионного уравнения называют линией регрессии. Линия регрессии выражает наилучшее предсказание зависимой переменной (У) по независимым переменным (А). Эти независимые переменные, а их может быть много, носят название предикторов.

Регрессию выражают с помощью двух уравнений регрессии, которые в самом простом случае выглядят, как уравнения прямой, а именно так:

В уравнении 12 1 Y — зависимая переменная, а X— независимая переменная, аО свободный член, а а1 — коэффициент регрессии, или угловой коэффициент, определяющий наклон линии регрессии по отношению к осям координат

В уравнении 12 2 X — зависимая переменная, a Y — независимая переменная, ЬО свободный член, а М - коэффициент регрессии, или угловой коэффициент, определяющий наклон линии регрессии по отношению к осям координат

Линии регрессии пересекаются в точке О (х, у), с координатами, соответствующими средним арифметическим значениям корреляционно связанных между собой переменных А'и Y Линия АВ, проходящая через точку О, соответствует линейной функциональной зависимости между переменными величинами X к Y, когда коэффициент корреляции между X ц Y равен г = 1 При этом наблюдается такая закономерность чем сильнее связь между А" и У, тем ближе обе линии регрессии к прямой АВ, и, наоборот, чем слабее связь между этими величинами, тем больше линии регресии отклоняются от прямой АВ При отсутствии связи между Хи Г линии регрессии оказываются под прямым углом по отношению друг к другу и в этом случае rxv = О

Количественное представление связи (зависимости) между X и У (между У \л X) называется регрессионным анализом Главная задача регрессионного анализа заключается, собственно говоря, в нахождении коэффициентов аО, ЬО, аI и Ы и определении уровня значимости полученных аналитических выражений (12 I) и (12 2), связывающих между собой переменные X и У

При этом коэффициенты регрессии а\ и Ы показывают, насколько в среднем величина одной переменной изменяется при изменении на единицу меры другой Коэффициент регрессии а\ в уравнении (12 1) можно подсчитать по формуле

а коэффициент b1 в уравнении (12 2) по формуле (12 4)

где г. — коэффициент корреляции между переменными X и У,

Sx — среднеквадратическое отклонение, подсчитанное для переменной X,

Sу — среднеквадратическое отклонение, подсчитанное для переменной У

Коэффициенты регрессии можно вычислить также без подсчета среднеквадратических отклонений по следующим формулам

В том случае, если неизвестен коэффициент корреляции, коэффициенты регрессии можно вычислить по следующим формулам:

Сравнивая формулы (11.1) (вычисление г), (12.7) и (12.8), видим, что в числителе этих формул стоит одна и та же величина: £(х, -х) {у, -у). Последнее говорит о том, что величины al, bl и г взаимосвязаны Более того, зная две из них — всегда можно получить третью. Например, зная величины al и Ы можно легко получить rxy:

Формула (12.9) достаточно очевидна, поскольку, умножив al, вычисленный по формуле (12.3) на Ы, вычисленный по формуле (12.24), получим:

Формула (12 9) очень важна, поскольку она позволяет по известным значениям коэффициентов регрессии al и b1 определить коэффициент корреляции, и, кроме того, сравнивая вычисления по формулам (11.1) и (12.9), можно проверить правильность расчета коэффициента корреляции Как и коэффициент корреляции, коэффициенты регрессии характеризуют только линейную связь и при положительной связи имеют знак плюс, при отрицательной — знак минус

В свою очередь свободные члены a0 и bО в уравнениях регрессии придется вычислять по следующим формулам Для подсчета свободного члена aО уравнения регрессии (12 1) используется формула1

Для подсчета свободного члена ЬО уравнения регрессии (12 2) используется формула

Вычисления по формулам (12 7) (12 8) (12 10) и (12 11) достаточно сложны поэтому при расчетах коэффициентов регрессии используют как правило более простои метод Он заключается в решении двух систем уравнений При решении одной системы на ходятся величины й0 и а! и при решении другой — ЬО и Ы Общий вид системы уравнений для нахождения величин aО и а 1 таков

попарное произведение всех элементов переменной X на соответствующие элементы переменной Y Приведем несколько примеров линейной регрессии

Пример 1. В исследовании Ф Гальтона (который и ввел в науку понятие регрессии) был измерен рост 205 родителей и 930 их взрослых детей (см таблицу 3 3) При этом, если за Y взять рост ребенка, а за 1 рост родителя, уравнение регрессии, связывающее рост ребенка с ростом родителей, имеет вид

где X и У средние по всей выборке испытуемых

Таким образом, зная величины средних по всей выборке и рост одного из родителей — Х:, из уравнения 12 14 можно подсчитать величину Yp т е рост ребенка

Пример 2. Психологи выявили взаимосвязь между успешностью обучения математике Y и показателем невербального интеллекта X Было получено следующее уравнение регрессии

Предположим, что показатель невербального интеллекта учащегося равен 132, тогда согласно уравнению регрессии (12 15) можно предсказать его показатель средней успеваемости по математике

У другого учащегося показатель невербального интеллекта оказался равен 82, тогда его средняя успеваемость по математике составит

Для закрепления основных понятий регрессионного анализа решим следующую задачу

Задача 12.1. У 8 подростков психолог сравнивает баллы по третьему субтесту теста Векслера (переменная X) и оценки по алгебре (переменная Y) (см задачу 11 9) Теперь его интересует вопрос на сколько баллов повысится успешность решения третьего субтеста Векслера, если оценки по алгебре повысятся на 1 балл9 Кроме того, его интересует вопрос, будет ли повышение успешности решения третьего субтеста Векслера на 1 балл влиять на повышение оценок по алгебре9 Решение. Ответы на эти вопросы психолог получит с помощью использования метода регрессии Расположим исходные данные в виде таблицы, в которой произведем предварительные необходимые вычисления

С помощью решения системы уравнений (12 12) необходимо найти уравнение регрессии Y на X, т е определить коэффициенты оО и й1, и таким образом ответить на вопрос — на сколько баллов повысится успешность решения третьего субтеста Векслера, если оценки по алгебре повысятся в среднем на 1 балл В системе уравнений (12 12) благодаря вычислениям, приведенным в таблице 12 1, нам известны все необходимые величины сумм и число N = 8, поскольку в эксперименте участвовало 8 человек. Итак, находим aО и a1 Для этого перепишем систему уравнений (12 12), учитывая данные таблицы 12 1

Решая эту систему уравнений, находим а0 = 3 и а1= 0,06 Следовательно, искомое уравнение регрессии Г на X будет иметь вид

Теперь найдем уравнение регрессии Л'на Г Для этого необходимо решить систему уравнений (12 13), чтобы определить величины ЬО и Ы Подставляем в систему уравнений (12 13) данные из таблицы 12 1 получаем

Решая эту систему уравнений, находим Ь0 = 9 и b1 = 1 Тогда искомое уравнение регрессии X на Y будет иметь вид

У нас получено два уравнения регрессии (12 17) и (12 19) Коэффициенты о1 и Ы в уравнениях регрессии показывают, насколько в среднем величина одного признака, например У, изменяется при изменении другого признака на единицу меры, например X

Иными словами, мы уже можем ответить на оба вопроса нашей задачи Так, согласно уравнению (12 17), увеличение иа 1 балл успешности решения третьего субтеста теста Векслера влечет за собой увеличение оценок по алгебре на 0,06 или на 6% В то же время, согласно уравнению регрессии (12 19), — увеличение на 1 балл оценки по алгебре влечет за собой увеличение оценок по третьему субтесту Векслера также на 1 балл

Читателю предлагается сравнить выводы, полученные при решении задач 11 9 и 12 1 и провести аналогию между результатами Регрессионные уравнения (12 17) и (12 19) можно получить также и другим способом на основе коэффициента корреляции Пирсона между признаками X и У (он был вычислен в задаче 11 9 и оказался равным 0,243) и дисперсиями переменных X и У

Подсчитаем дисперсии Sr и S по формуле (4 7) Они равны соответственно 4,27 и 1,04

Тогда коэффициент а1 для уравнения регрессии (12 17) подсчитывается согласно формуле (12 3) следующим образом

Аналогично коэффициент b1 для уравнения регрессии (12 19) подсчитывается по формуле (12 4) следующим образом

Выше было показано, что если известны два коэффициента регрессии для обеих линий регрессий (те Гпо А’и X по У), то на их основе можно получить коэффициент линейной корреляции между А' и Г по формуле (12 9) Проделаем эти вычисления

Для применения метода линейного регрессионного анализа необходимо соблюдать следующие условия:

1. Сравниваемые переменные X и Y должны быть измерены в шкале интервалов или отношений

2. Предполагается, что переменные X и Y имеют нормальный закон распределения

3. Число варьирующих признаков в сравниваемых переменных должно быть одинаковым

Поиск по сайту: