АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Общая схема градиентного спуска

Читайте также:
  1. I. Раздел общая дерматология.
  2. III. Общая ответственность за вред
  3. III. Схематическое изображение накопления
  4. IV. МИРОВАЯ СХЕМАТИКА
  5. Базовая схема расчета налога на прибыль
  6. Билет №10. Пищевая промышленность. Общая хар-ка отрасли. Влияние на ОС.
  7. Блок 4- Общая и молекулярная генетика
  8. Блок 4- Общая и молекулярная генетика
  9. Блок 4- Общая и молекулярная генетика
  10. Блок-схема анализа риска
  11. Бухгалтерский баланс (схема)
  12. В 1. Перенос расплавленного металла в сварочной дуге. Силы, действующие в дуге на расплавленный металл, общая характеристика.

Лабораторная работа № 7

Тема: Методы минимизации функции многих переменной

Рассматриваемые вопросы:

- задачи многомерной оптимизации

- градиентные методы

- метод наискорейшего спуска

 

 

1. Постановка задачи многомерной оптимизации

Задача многомерной безусловной оптимизации формулируется в виде:

min f(x),

xÎX

где x={x(1), x(2),…, x(n)} – точка в n-мерном пространстве X=IRn, то есть целевая функция f(x)=f(x(1),…,f(x(n)) – функция n аргументов.

Будем рассматривать задачу оптимизации на примере задачи минимизации. Численные методы отыскания минимума, как правило, состоят в построении последовательности точек {xk}, удовлетворяющих условию f(x0)>f(x1)>…>f(xn)>…. Методы построения таких последовательностей называются методами спуска. В этих методах точки последовательности {xk} вычисляются по формуле:

хk+1 = xk + akpk, k=0,1,2,…,

где pk – направление спуска, ak – длина шага в этом направлении.

Различные методы спуска отличаются друг от друга способами выбора направления спуска pk и длины шага ak вдоль этого направления. Алгоритмы безусловной минимизации принято делить на классы, в зависимости от максимального порядка производных минимизируемой функции, вычисление которых предполагается. Так, методы, использующие только значения самой целевой функции, относят к методам нулевого порядка (иногда их называют также методами прямого поиска); если, кроме того, требуется вычисление первых производных минимизируемой функции, то мы имеем дело с методами первого порядка; если же дополнительно используются вторые производные, то это методы второго порядка и т. д.

 

2. Градиентные методы

Общая схема градиентного спуска

Как известно, градиент функции в некоторой точке xk направлен в сторону наискорейшего локального возрастания функции и перпендикулярен линии уровня (поверхность постоянного значения функции f(x), проходящей через точку xk). Вектор, противоположный градиенту , называется антиградиентом, который направлен в сторону наискорейшего убывания функции f(x). Выбирая в качестве направления спуска pk антиградиент - в точке xk, мы приходим к итерационному процессу вида:

xk+1 = xk - ak f’(xk), ak>0, k=0,1,2,….

 
 

В координатной форме этот процесс записывается следующим образом:

 

 

Все итерационные процессы, в которых направление движения на каждом шаге совпадает с антиградиентом функции, называются градиентными методами. Они отличаются друг от друга только способом выбора шага ak. Существует много различных способов выбора ak, но наиболее распространены: метод с постоянным шагом, метод с дроблением шага и метод наискорейшего спуска.

 


1 | 2 |

Поиск по сайту:



Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.003 сек.)