Метод наименьших квадратов. В математической статистике методы получения наилучшего приближения к исходным данным в виде аппроксимирующей функции получили название регрессионного

В математической статистике методы получения наилучшего приближения к исходным данным в виде аппроксимирующей функции получили название регрессионного анализа

Основными задачами регрессионного анализа являются установление зависимости между переменными и оценка (прогноз) значений зависимой переменной

В экономических исследованиях часто заданному значению одной переменной может соответствовать множество значений другой переменной

Другими словами, каждому значению одной переменной соответствует условное распределение другой переменной

Графическая иллюстрация сказанного:

Зависимость, при которой каждому значению одной переменной соответствует условное математическое ожидание другой называется регрессионной:

Начнем с построения модели в виде линейного уравнения парной регрессии

Постановка задачи

Дано:

Выборка наблюдений за поведением переменных y_t и x_t

Найти:

1. Оценки значений параметров a₀ и a₁

2. Оценки точности σ(a₀) и σ(a₁).

3. Оценка рассеяния случайного возмущения σ_u

4. Оценку точности прогнозирования σ(y(x₀))

Введем следующие обозначения и определения

1. Выборка

2. Система уравнений наблюдений

3. В е к т о р а

4. Матрица коэффициентов при параметрах

Идея метода.

Пусть имеем выборку из 4-х точек (n=4):

P₁ =(x₁, y₁)

P₂ =(x₂, y₂)

P₃ =(x₃, y₃)

P₄ =(x₄, y₄)

На практике мы имеем возможность наблюдать только исходные точки

Предполагаем, что существует теоретическая прямая, которая наилучшим образом проходит через них

Задача: оценить с некоторой точностью, как может проходить эта прямая

Итак, оценки параметров модели парной регрессии согласно МНК будем искать из условия:

Условиями минимума функции являются равенство нулю первых производных и положительность вторых производных по ã₀ и ã₁

Система (6.3) называется системой нормальных уравнений для вычисления оценок параметров уравнения парной регрессии (6.1)

Упростим систему нормальных уравнений (6.3)

Убеждаемся, что решение системы уравнений (6.4) будет соответствовать минимуму функции (6.1)

Для этого вычисляем значения вторых частных производных функции (6.1)

Для решения системы (6.4) выразим из первого уравнения ã₀, подставим его во второе уравнение

Решив второе уравнение системы (6.5) получим:

Проанализируем выражение (6.6)

Для этого вычислим COV(x,y) и σ²(x)