Метод наименьших квадратов

Метод наименьших квадратов — один из методов теории ошибок для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки.

Метод наименьших квадратов применяется также для приближённого представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений.

Пусть в качестве исходных данных имеем таблицу, содержащую статистические данные, или данные экспериментов.

X			…
Y			…

Если в качестве X выступает время, то имеем динамический ряд (тогда размещены в возрастающем порядке). Необходимо получить аналитическую зависимость

, (*)

которая наилучшим образом описывает начальные данные. Словосочетание «наилучшим образом», будем понимать в смысле минимума суммы квадратов отклонений значений , данных в таблице от , рассчитанных по (*): (**)

Определение зависимости (*) необходимо, в т.ч., и для нахождения , что уже представляет собой задачу прогнозирования.

Нанесём точки из таблицы на координатную плоскость и сделаем предположение, что зависимость (*) является линейной , а отклонения от прямой вызваны случайными факторами.

Определим уравнение прямой (найдем значения коэффициентов a и b), так, чтобы получить решение задачи , т.е. необходимо найти минимум функции

.

Функция . Продифференцируем по a и по b. Получим:

,

.

Для того, чтобы найти минимум функции E(a,b), приравняем нулю производные и упростим систему:

Последнюю систему можно представить в матричном виде:

Решая её получим:

.

Вычислив a и b, получим функцию , которая в классе линейных функций наилучшим образом описывает табличную зависимость в смысле минимума суммы квадратов отклонений. Теперь можно рассчитать и прогноз

.

Пример 1. Приближение функции по методу наименьших квадратов.

Пусть функция задана таблицей своих значений:

Приблизим функцию многочленом 2-ой степени. Для этого вычислим коэффициенты нормальной системы уравнений:

, , ,

, ,

Составим нормальную систему наименьших квадратов, которая имеет вид:

Решение системы легко находится: , , .

Таким образом, многочлен 2-ой степени найден: .

Поиск по сайту: