Оценка статистической значимости модели регрессии

Оценка статистической значимости модели регрессии заключается в проверке статистических гипотез об истинных значениях параметров модели и показателей тесноты связи между исследуемыми переменными.

Параметрической статистической гипотезой (далее статистической гипотезой) называют предположение о величине параметров известного распределения (генеральной совокупности). Проверка статистической гипотезы заключается в проверке соответствия выборочных данных выдвинутой гипотезе.

Параллельно с выдвигаемой гипотезой рассматривают и противоречащую ей гипотезу, которая считается справедливой, если выдвинутая гипотеза отвергается.

Выдвигаемую гипотезу называют нулевой, основной или проверяемой гипотезой и обозначают .

Гипотезу, противоречащую первоначальной, называют конкурирующей или альтернативной гипотезой и обозначают .

При проверке статистических гипотез можно допустить ошибки первого и второго рода. Ошибка первого рода возникает при опровержении верной гипотезы. Ошибка второго рода заключается в принятии ложной гипотезы:

Результат проверки	Верная гипотеза
верна	верно принята	неверно принята (Ошибка второго рода)
верна (	неверно отвергнута (Ошибка первого рода)	верно отвергнута

Уровнем статистической значимости (или просто уровнем значимости) называют вероятность совершения ошибки первого рода. Уровень значимости обозначают буквой . Величину уровня значимости обычно принимают близкой к нулю, поскольку, чем меньше его значение, тем меньше вероятность совершения ошибки первого рода, состоящей в опровержении верной нулевой гипотезы. В экономических исследованиях уровень значимости обычно принимают равным 0,05 или 5%.

Проверка статистических гипотез осуществляется с использованием статистических критериев. Статистическим критерием называют случайную величину, подчиняющуюся определенному закону распределения. Названия статистических критериев соответствуют законам распределения: F -критерий соответствует распределению Фишера-Снедекора, -критерий – -распределению, t -критерий – распределению Стьюдента, U -критерий – нормальному распределению.

Множество всех возможных значений статистического критерия можно разделить на два непересекающихся подмножества. Первое подмножество (область допустимых значений или область принятия гипотезы) включает в себя те значения критерия, при которых нулевая гипотеза принимается, а второе подмножество (критическая область) охватывает те значения критерия, при которых нулевая гипотеза отвергается. Значения статистического критерия, разграничивающие критическую область и область принятия гипотезы, называют критическими точками (значениями) или квантилями.

Наблюдаемым значением статистического критерия называется значение критерия, которое рассчитано по выборочной совокупности. Если наблюдаемое значение статистического критерия принадлежит критической области, то нулевая гипотеза отвергается. Если наблюдаемое значение статистического критерия принадлежит области принятия гипотезы, то нулевая гипотеза принимается.

Проверка статистической значимости модели регрессии в целом осуществляется путем проверки нулевой гипотезы о равенстве нулю коэффициента детерминации в генеральной совокупности:

при конкурирующей гипотезе:

Содержание нулевой гипотезы означает, что объясненная сумма квадратов отклонений ESS равна нулю, то есть в генеральной совокупности и не зависит от х. Очевидно, что в этой ситуации моделирование зависимости между выбранными переменными не имеет никакого смысла.

Сумма квадратов отклонений зависимой переменной TSS (а, следовательно, и ESS и RSS) является абсолютной величиной, которая среди прочего зависит от числа наблюдений. Для устранения влияния этого фактора при проверке нулевой гипотезы рассчитывают среднюю сумму квадратов отклонений (Middle Sum of Square, MSS) которая получила название дисперсии на одну степень свободы.

Степень свободы (degree of freedom, df) это количество значений в итоговом вычислении выборочного показателя, способных варьироваться. Применительно к регрессионному анализу, число степеней свободы показывает сколько независимых отклонений из n возможных необходимо для образования их суммы квадратов. Число степеней свободы различно для каждой из сумм квадратов отклонений.

Так число степеней свободы для TSS составляет n-1. Действительно, в силу необходимо знать только n-1 значение отклонений, чтобы рассчитать сумму их квадратов. Например, пусть значения переменной y, тогда сумму можно определить как , откуда

Число степеней свободы для ESS в модели парной линейной регрессии равно 1. Для доказательства этого утверждения запишем уравнение регрессии в следующем виде:

Таким образом, в модели парной регрессии величина определяется значением , которое при заданном наборе значений переменных x и y является функцией только одного параметра .

Следует отметить, что в общем случае, число степеней свободы для факторной суммы квадратов отклонений равно числу факторов, включенных в модель.

Число степеней свободы для RSS в модели парной линейной регрессии равно n-2. Эта величина определяется как разность между числом наблюдений и числом оцениваемых параметров, которое в модели парной линейной регрессии равно 2 ().

Число степеней свободы, как и суммы квадратов отклонений, можно складывать между собой:

Расчет дисперсии на одну степень свободы приводит суммы квадратов отклонений к сопоставимому виду:

- общая дисперсия на одну степень свободы (Total Middle Sum of Square, TMS):

- факторная дисперсия на одну степень свободы (Explained Middle Sum of Square, EMS):

- остаточная дисперсия на одну степень свободы (Residual Middle Sum of Square, RMS):

Разложение общей дисперсии признака на составляющее получило название дисперсионного анализа или ANOVA (ANalysis Of VAariance). Результаты дисперсионного анализа обычно оформляют в виде таблицы:

Источник вариации	Число степеней свободы (df)	Сумма квадратов отклонений (SS)	Дисперсия на одну степень свободы (MS)
Объясненная регрессией
Остаточная	n -2
Общая	n -1

Однако, величина дисперсии на одну степень свободы, даже после устранения влияния числа наблюдений, зависит от размерности результативной переменной. Поэтому для оценки значимости модели регрессии используют отношение факторной и остаточной дисперсии на одну степень свободы. Эта величина, подчиняющаяся распределению Фишера-Снедекора, в эконометрике называется F-критерием или F-критерием Фишера:

Критическое (табличное) значение F-критерия ( определяется по таблице распределения Фишера-Снедекора с учетом заданного уровня значимости и числа степеней свободы .

Область допустимых значений задается условием , а критическая область – условием .

Таким образом, если рассчитанное по выборочным данным значение F-критерия больше критического значения (), то нулевая гипотеза о равенстве нулю коэффициента детерминации, а, следовательно, случайном характере связи между переменными отвергается с вероятностью ошибки и модель регрессии в целом считается статистически значимой.

Если рассчитанное по выборочным данным значение F-критерия меньше или равно критическому значению (), то нулевая гипотеза о равенстве нулю коэффициента детерминации, а, следовательно, случайном характере связи между переменными принимается и модель регрессии в целом считается статистически незначимой.

Проверка статистических гипотез о значимости модели регрессии осуществляется при помощи параметрических критериев основанных на нормальном распределении. Следовательно, к предпосылкам применения МНК для оценки параметров регрессии добавляется еще одно допущение – о нормальном распределении ошибок регрессии. Статистические критерии, используемые для проверки нормальности распределения, будут рассмотрены нами далее. Сейчас же мы предполагаем, что рассматриваемая предпосылка выполняется.

Пример 2.7. Рассмотрим оценку статистической значимости модели парной линейной регрессии на примере зависимости между оборотом розничной торговли и доходами населения регионов Центрального федерального округа. Исходные данные для дисперсионного анализа результатов регрессии представлены в таблице 2.6.1.

Таблица 2.6.1

Исходные данные для дисперсионного анализа результатов регрессии

№ п/п	Среднедушевые доходы населения, тыс. руб. (x)	Ср.-месячный оборот розничной торговли на душу населения, тыс. руб. (y)
	16,6	7,8	8,7	0,38	2,16	0,73
	13,2	7,2	6,8	0,00	0,13	0,14
	12,5	5,6	6,4	2,52	0,55	0,72
	12,7	6,9	6,6	0,08	0,40	0,12
	10,9	5,6	5,6	2,52	2,57	0,00
	15,2	8,1	7,9	0,83	0,51	0,04
	12,7	5,7	6,6	2,21	0,40	0,73
	14,6	7,2	7,6	0,00	0,15	0,14
	15,7	8,4	8,2	1,47	0,97	0,05
	12,9	6,6	6,7	0,35	0,28	0,00
	13,3		6,9	0,04	0,10	0,01
	14,6	8,6	7,6	2,00	0,15	1,04
	13,6	7,5	7,0	0,10	0,02	0,21
	13,8	7,8	7,1	0,38	0,00	0,43
	15,3	8,1	8,0	0,83	0,59	0,02
	14,4	6,9	7,5	0,08	0,08	0,33
Всего:				13,78	9,05	4,73

Составим таблицу показателей дисперсионного анализа результатов регрессии (табл. 2.6.2).

Таблица 2.6.2

Дисперсионный анализ результатов регрессии

Источник вариации	Число степеней свободы (df)	Сумма квадратов отклонений (SS)	Дисперсия на одну степень свободы (MS)
Объясненная регрессией		9,05	9,05
Остаточная		4,73	0,34
Общая		13,78

Рассчитаем значение F-критерия по данным дисперсионного анализа:

Тот же результат получим, используя значения факторной и остаточной сумм квадратов отклонений:

Определим критическое значение F-критерия используя таблицу распределения Фишера-Снедекора с учетом заданного уровня значимости и числа степеней свободы :

Табличное и фактическое значение F-критерия можно представить графически:

Рис.2.6.1. Подмножества значений F-критерия

Рассчитанное по выборочным данным значение F-критерия равное 26,8 попадает в критическую область . Следовательно, нулевая гипотеза отвергается с вероятностью 95% (что равнозначно вероятности ошибки ). Это позволяет нам говорить о том, что связь между оборотом розничной торговли и доходами населения является неслучайной и построенное уравнение регрессии является статистически значимым.

Табличное значение F-критерия можно получить используя функцию FРАСПОБР из категории «Статистические» в Microsoft Office Excel:

В диалоговом окне функции необходимо:

1) в поле «Вероятность» - ввести уровень значимости (обычно 0,05 или 5%);

2) в поле «Степени_свободы1» ввести число степеней свободы для объясненной суммы квадратов отклонений (в модели парной линейной регрессии – 1);

3) в поле «Степени_свободы2» ввести число степеней свободы для остаточной суммы квадратов отклонений (в модели парной линейной регрессии – n -2, в нашем примере 16-2=14).

Полученное значение F-критерия равное 4,6 совпадает с тем значением, которое мы определили по таблице F-распределения.

С помощью функции FРАСПР входящей в категорию «Статистические» Microsoft Office Excel возможно по рассчитанному значению F-критерия определить соответствующий ему уровень значимости (р – значение):

В диалоговом окне функции необходимо:

1) в поле «Х» - ввести рассчитанное по выборочным данным значение F-критерия (в нашем примере 26,8);

2) в поле «Степени_свободы1» ввести число степеней свободы для объясненной суммы квадратов отклонений (в модели парной линейной регрессии – 1);

3) в поле «Степени_свободы2» ввести число степеней свободы для остаточной суммы квадратов отклонений (в модели парной линейной регрессии – n -2, в нашем примере 16-2=14).

p -величина представляет собой накопленную вероятность наблюдения рассчитанного уровня статистического критерия при принятии нулевой гипотезы. Если p -значение меньше выбранного нами уровня значимости , то нулевая гипотеза отвергается.

p -значение говорит нам о том, что вероятность ошибки при отклонении нулевой гипотезы составляет . Таким образом, вероятность того, что связь между оборотом торговли и доходами населения имеет неслучайный характер, составляет 99,99%.

Проверка статистической значимости параметра модели регрессии заключается в проверке нулевой гипотезы о равенстве нулю его значения в генеральной совокупности:

Для проверки выдвинутой гипотезы используется t -критерий, подчиняющийся распределению Стьюдента:

где – t-критерий для параметра ;

– оценка параметра в выборочной совокупности;

– стандартная ошибка параметра .

t -критерий показывает во сколько раз разность между оценкой параметра и его истинным значением больше стандартной ошибки параметра.

Учитывая, что согласно выдвинутой гипотезе , а стандартная ошибка параметра представляет собой стандартное отклонение его выборочной оценки , формулу для расчета t-критерия можно представить в следующем виде:

Критическое значение t-критерия () определяется по таблицам распределения Стьюдента для проверки двусторонних (two tailed) гипотез при заданном уровне значимости и числе степеней свободы . Если используются таблицы распределения Стьюдента для проверки односторонних (one tailed) гипотез, следует указывать уровень значимости .

Область допустимых значений задается условием , а критическая область – условием .

Таким образом, если рассчитанное по выборочным данным значение t-критерия больше критического значения (), то нулевая гипотеза о равенстве нулю параметра регрессии отвергается с вероятностью ошибки и параметр считается статистически значимым.

Если рассчитанное по выборочным данным значение t-критерия меньше или равно критическому значению (), то нулевая гипотеза о равенстве нулю параметра регрессии принимается и параметр регрессии считается статистически незначимым.

С учетом рассмотренных выше формул оценки дисперсии МНК-оценок параметров парной линейной регрессии, формулы для расчета t-критерия будут иметь следующий вид:

Пример 2.8. Рассмотрим оценку статистической значимости параметров модели парной линейной регрессии на примере зависимости между оборотом розничной торговли и доходами населения регионов Центрального федерального округа. Исходные данные для анализа представлены в таблице 2.6.3.

Таблица 2.6.3

Исходные данные для анализа статистической значимости параметров регрессии

№ п/п	Среднедушевые доходы населения, тыс. руб. (x)	Ср.-месячный оборот розничной торговли на душу населения, тыс. руб. (y)
	16,6	7,8	275,56	7,43	0,73
	13,2	7,2	174,24	0,46	0,14
	12,5	5,6	156,25	1,89	0,72
	12,7	6,9	161,29	1,38	0,12
	10,9	5,6	118,81	8,85	0,00
	15,2	8,1	231,04	1,76	0,04
	12,7	5,7	161,29	1,38	0,73
	14,6	7,2	213,16	0,53	0,14
	15,7	8,4	246,49	3,33	0,05
	12,9	6,6	166,41	0,95	0,00
	13,3		176,89	0,33	0,01
	14,6	8,6	213,16	0,53	1,04
	13,6	7,5	184,96	0,08	0,21
	13,8	7,8	190,44	0,01	0,43
	15,3	8,1	234,09	2,03	0,02
	14,4	6,9	207,36	0,28	0,33
Всего:			3 111,44	31,19	4,73

Определим критическое значение t-критерия по таблице распределения Стьюдента для проверки двусторонних гипотез:

Расчетное значение t-критерия для параметра попадает в область принятия гипотезы , следовательно мы не можем отклонить нулевую гипотезу о его равенстве нулю с приемлемой вероятностью ошибки. Однако ранее мы отмечали, что в построенной нами модели параметр не имеет экономического смысла и, соответственно, мы можем не делать никаких предположений относительно его значения.

Расчетное значение t-критерия для параметра попадает в критическую область , следовательно с вероятностью 95% мы отвергаем нулевую гипотезу о равенстве нулю коэффициента регрессии и считаем его статистически значимым.

Табличное значение t-критерия можно получить используя функцию СТЬЮДРАСПОБР из категории «Статистические» в Microsoft Office Excel:

В диалоговом окне функции необходимо:

1) в поле «Вероятность» - ввести уровень значимости (обычно 0,05 или 5%);

2) в поле «Степени_свободы» ввести число степеней свободы для объясненной суммы квадратов отклонений (в модели парной линейной регрессии – , в нашем примере 16-2=14).

Полученное значение t-критерия равное 2,14 совпадает с тем значением, которое мы определили по таблице t-распределения.

С помощью функции СТЬЮДРАСПР входящей в категорию «Статистические» Microsoft Office Excel возможно по рассчитанному значению t-критерия определить соответствующую ему р -величину:

В диалоговом окне функции необходимо:

1) в поле «Х» - ввести рассчитанное по выборочным данным значение t-критерия (в нашем примере 5,18);

2) в поле «Степени_свободы» ввести число степеней свободы для объясненной суммы квадратов отклонений (в модели парной линейной регрессии – , в нашем примере 16-2=14);

3) в поле «Хвосты» ввести число 2, поскольку t-критерий используется для проверки двухсторонней гипотезы.

р -значение говорит нам о том, что вероятность ошибки при отклонении нулевой гипотезы составляет . Таким образом, вероятность того, что коэффициент регрессии принимает значение, отличное от нуля, составляет 99,99%.

Проверка статистической значимости линейного коэффициента корреляции заключается в проверке нулевой гипотезы о равенстве нулю его значения в генеральной совокупности:

Учитывая, что стандартная ошибка коэффициента корреляции определяется по формуле:

расчетное значение t-критерия составит:

Порядок проверки нулевой гипотезы относительно значения коэффициента корреляции с использованием t-критерия аналогичен проверке гипотезы о значении параметров модели регрессии.

Применение t-критерия для проверки гипотезы о равенстве нулю коэффициента корреляции целесообразно при выполнении следующих условий:

1) значительное число наблюдений (объем выборки

2) абсолютное значение коэффициента корреляции значительно меньше 1 ().

Если указанные условия не выполняются, то распределение оценок коэффициента корреляции не подчиняется нормальному распределению, в силу того, что их значения ограничены интервалом .

Для решения данной проблемы Р. Фишером было предложено использовать вспомогательную нормально распределенную величину , имеющую стандартную ошибку .

Рассчитанное значение критерия:

сопоставляют с табличным значением, определенным по таблице нормального распределения с заданным уровнем значимости .

Пример 2.9. Рассмотрим пример оценки статистической значимости коэффициента корреляции между оборотом розничной торговли и величиной доходов населения, рассчитанным по данным 16 регионов Центрального федерального округа:

Рассчитанное значение превышает табличное значение при , и следовательно коэффициент корреляции между оборотом розничной торговли и величиной доходов населения является статистически значимым.

Однако исходные данные не удовлетворяют условиям использования t-критерия. Поэтому проведем оценку статистической значимости коэффициента корреляции с использованием преобразования Фишера:

Табличное значение критерия определим, используя функцию НОРМСТОБР входящую в категорию «Статистические» Microsoft Office Excel:

Поскольку проверяемая гипотеза является двухсторонней, а нормальное распределение – симметричным, в поле «Вероятность» необходимо указать величину .

Поскольку рассчитанное значение критерия (4,06) превышает табличное (1,96), нулевая гипотеза о равенстве нулю коэффициента корреляции отвергается с вероятностью ошибки 5%, и коэффициент корреляции между оборотом розничной торговли и доходами населения является статистически значимым.

Учитывая, что , а мы можем признать равносильными гипотезы . Таким образом, если уравнение парной регрессии в целом статистически значимо, то статистически значимыми являются коэффициент регрессии и коэффициент корреляции. Поскольку квадрат случайной величины имеющей распределение Стьюдента имеет распределение Фишера можно записать следующее соотношение:

Действительно:

Пример 2.10. В нашем примере:

При этом p -величина для рассчитанных значений критериев составила 0,0001 или 0,1%.

Поскольку t-критерий характеризует возможное отношение оценки параметра к его стандартной ошибке при заданном уровне значимости, табличное значение t-критерия можно построить использовать для построения доверительных интервалов параметров модели регрессии:

Тогда для модели парной линейной регрессии:

Пример 2.11. Рассчитаем интервальные оценки параметров модели регрессии оборота розничной торговли по величине доходов населения при уровне значимости :

Таким образом, с вероятностью 95% можно утверждать, что значения параметров модели регрессии находятся в следующих пределах:

Если доверительный интервал параметра модели регрессии включает в себя нулевое значение, то это говорит о том, что гипотеза о статистической незначимости параметра не может быть отвергнута при заданном уровне значимости .

7. Точечный и интервальный прогнозы для модели парной линейной регрессии

Одной из задач эконометрического моделирования выступает прогнозирование социально-экономических явлений и процессов. Эта задача может решаться на основе регрессионных моделей, с помощью которых прогнозируется поведение результативной переменной в зависимости от поведения факторных переменных, включенных в модель.

Точечный прогноз значения результативной переменной () при заданном значение факторной переменной () будет определяться по формуле:

При этом действительная величина будет определяться как:

Таким образом, истинное значение результативной переменной будет отклоняться от расчетного значения под влиянием ошибок параметров модели и случайной ошибки регрессии.

Запишем модель регрессии, используемую для прогнозирования, в следующем виде:

Отсюда следует, что стандартная ошибка регрессии в точке зависит от стандартной ошибки результативной переменной и стандартной ошибки коэффициента регрессии :

Теоретическое значение (математическое ожидание) результативной переменной в точке с вероятностью будет находиться в интервале, определяемом как:

В свою очередь, ошибка истинного значения результативной переменой будет зависеть от ошибки регрессии в точке и дисперсии ошибок регрессии:

Таким образом, истинное значение результативной переменной в точке с вероятностью будет находиться в интервале, определяемом как:

Другими словами фактических значений результативной переменной в генеральной совокупности будут находиться в пределах указанного интервала.

Из приведенных формул мы видим, что ошибка как теоретического, так и фактического значения результативной переменной зависят от трех параметров:

1. Значение стандартной ошибки регрессии . Стандартная ошибка регрессии представляет собой корень из остаточной дисперсии на одну степень свободы. Следовательно, чем выше качество регрессионной модели, тем точнее сделанный по ней прогноз.

2. Отклонение точки для которой рассчитывается прогнозное значение от среднего значения факторной переменной. Чем ближе к , тем точнее прогноз. Максимальная точность достигается в точке , то есть .

3. Дисперсии факторной переменной. Чем больше дисперсия x при фиксированном числе наблюдений, тем точнее прогноз зависимой переменной.

Пример 2.12. Рассмотрим пример нахождения доверительных интервалов для построенной нами модели парной линейной регрессии, описывающей зависимость оборота розничной торговли от доходов населения.

Необходимо найти прогнозное значение оборота розничной торговли на душу населения в регионе, при заданной величине среднедушевых денежных доходов населения 15,6 тыс. руб.

Занесем исходные данные в таблицу 2.7.1.

Таблица 2.7.1

Исходные данные для прогнозирования оборота розничной торговли

№ п/п	Показатель	Значение	Источник
		0,34	Таблица 2.6.2
		0,58	Расчет
		31,19	Таблица 2.6.3
		13,9	Таблица 2.2.1
		15,6	Исходные данные
	n		Исходные данные
		2,14	Таблица распределения Стьюдента

Теоретическое значение оборота розничной торговли на душу населения при среднедушевых доходах населения в размере 15,6 тыс. руб. составит:

Найдем 95% доверительные интервалы для этого значения:

Таким образом, в 95% выборок (и соответственно в построенных по этим данным моделях регрессии) прогнозное значение оборота розничной торговли при среднедушевых доходах населения в размере 15,6 тыс. руб. будет находиться в пределах от 7,6 тыс. руб. до 8,5 тыс. руб.

Определим 95% доверительные интервалы для фактического значения оборота розничной торговли при среднедушевых доходах населения в размере 15,6 тыс. руб.:

Следовательно, с вероятностью 0,95 мы можем утверждать, что фактическое значение оборота розничной торговли при среднедушевых доходах населения в размере 15,6 тыс. руб. будет находиться в пределах от 6,8 тыс. руб. до 9,4 тыс. руб.

Рассмотрим графическое изображение найденных доверительных интервалов значений результативной переменной (рис. 2.7.1).

Рис. 2.7.1. Доверительные интервалы для теоретических и фактических значений результативной переменной

(оборота розничной торговли на душу населения)

На рисунке 2.6.1 мы видим, что границы доверительных интервалов расширяются по мере удаления от центра распределения факторной переменной. При этом все фактические значения оборота розничной торговли на душу населения попадают в 95% доверительный интервал.

Поиск по сайту: