Исследование уравнения регрессии 1-го порядка

После того, как оценки коэффициентов уравнения регрессии найдены, требуется провести его статистическое исследование.

В соответствии со второй предпосылкой регрессионного анализа, ошибки представляют собой независимые нормально распределенные случайные величины с математическим ожиданием, равным нулю, и дисперсией, равной . Это предположение справедливо для многих реальных ситуаций. Если отклонение выходного параметра обусловлено большим количеством случайных факторов, эффект действия каждого из которых незначителен, то в соответствии с центральной предельной теоремой это отклонение будет нормально распределенной случайной величиной. Чем больше таких случайных факторов, тем ближе распределение суммарной ошибки к нормальному.

Пусть постулируется одномерная модель первого порядка, значения отклика

являются нормально распределенными случайными величинами с математическим ожиданием

и дисперсией

.

Если постулируемая модель является «истинной», то остаточная дисперсия служит оценкой .

Для МНК-оценок и справедливо , .

Дисперсии оценок и равны

, .

Для статистического исследования уравнения регрессии производится проверка статистических гипотез.

Выдвинутую гипотезу называют нулевой (основной). Конкурирующей (альтернативной) называют гипотезу , которая противоречит нулевой. Если гипотеза будет отвергнута, то принимается гипотеза .

Выдвинутая гипотеза может быть правильной или неправильной, поэтому возникает необходимость ее проверки. Проверку проводят на основании имеющегося экспериментального материала.

Для проверки нулевой гипотезы используют специально подобранные случайные величины, распределение которых известно. Их называют статистическими критериями.

Пусть в качестве критерия выбрана случайная величина . Необходимо задаться величиной вероятности того, что мы совершим ошибку и отвергнем гипотезу , которая верна. Эта величина называется уровнем значимости . Наиболее применяемые уровни значимости 0,05 или 0,01. Если, например, принят уровень значимости 0,05, то в пяти случаях из ста имеется риск отвергнуть правильную гипотезу. В зависимости от выбранного уровня значимости определяется критическая точка , которая разбивает множество всех возможных значений критерия на два непересекающихся подмножества: критическую область и область принятия гипотезы.

По имеющимся результатам эксперимента вычисляется наблюдаемое значение критерия – . Если наблюдаемое значение критерия попадает в область принятия гипотезы , то принимается гипотеза ; если в критическую область , то гипотеза отвергается и принимается гипотеза .

Величина подчиняется - распределению с степенями свободы – числом, на котором основана оценка . Поэтому для проверки гипотезы против при уровне значимости достаточно сравнить величину с критической точкой распределения Стьюдента . Если эта величина превышает критическое значение – гипотеза отвергается, то есть коэффициент считается значимым.

С другой стороны. доказано, что в случае, если , величина

(1)

подчиняется распределению -распределению Фишера с одной и степенями свободы.

Гипотезу против можно проверить, задавшись уровнем значимости и сравнив вычисленное по формуле (1) значение c критической точкой . Если расчетное значение превышает критическое значение, то мы отбрасываем гипотезу с риском ошибиться не более, чем .

В случае, когда гипотеза отвергнута, говорят, что регрессия значима.

Когда исследуется модель первого порядка, использование -критерия для проверки значимости регрессии равноценно использованию -критерия для коэффициента . Если уравнение регрессии содержит больше двух коэффициентов, то общий -критерий для регрессии не соответствует -критерию для коэффициента.

При некоторых обстоятельствах можно проверить адекватность (корректность) выбранной модели.

В случае, когда существует априорная оценка , можно проверить, значимо ли превышает эту априорную оценку. Если она значимо больше, то имеет место неадекватность и следует пересмотреть модель, так как в данной форме она не пригодна. Если такой оценки нет, но измерения отклика повторялись (два раза или более) при одинаковых условиях, то эти повторения (параллельные опыты) можно использовать для получения оценки . О такой оценке говорят, что она представляет собой «чистую ошибку», так как на результат двух наблюдений при одинаковых условиях могут влиять только случайные факторы.

Пусть при проведении эксперимента фиксировались значений фактора . Было сделано повторных наблюдений отклика при (), повторных наблюдений при () и так далее. Общее число опытов:

.

Найдем сумму квадратов, связанную с «чистой» ошибкой для каждого значения фактора, и просуммируем от 1 до :

.

Здесь – средние значения отклика в каждом из параллельных опытов. Величина представляет собой общую сумму квадратов «чистых» ошибок и имеет степеней свободы. Отсюда средний квадрат «чистых» ошибок равен:

и служит оценкой безотносительно к тому, корректна ли подобранная модель. Величину называют ошибкой опыта или дисперсией воспроизводимости.

Остаток каждого наблюдения можно записать в виде:

. (2)

Если возвести в квадрат обе части выражения (2), а затем просуммировать по и по , то получим:

, (3)

то есть

.

Слева в уравнении (3) стоит остаточная сумма квадратов . Первый член в правой части – это сумма квадратов «чистых» ошибок . Последний член назовем суммой квадратов неадекватности .

Найдем число степеней свободы суммы квадратов неадекватности. Так как для степеней свободы справедливы такие же соотношения, как и для сумм квадратов, запишем

,

Отсюда

Проверим гипотезу о том, что и средний квадрат неадекватности (дисперсия неадекватности), и ошибка опыта могут использоваться как оценки . Для этого найдем значение

и сравним его с критической точкой -распределения . Если рассчитанное значение меньше критического, то нет оснований сомневаться в адекватности модели. В качестве объединенной оценки рекомендуется использовать остаточную дисперсию . Если же рассчитанное значение превышает критическое, неадекватность значима. Тогда, например, можно повысить порядок модели и постулировать модель . В принципе, исследование остатков может подсказать пути улучшения модели.

Поиск по сайту: