Методы безусловной оптимизации. Среди методов нулевого порядка в САПР находят приме­нение методы Розенброка, конфигураций (Хука-Дживса)

Среди методов нулевого порядка в САПР находят приме­нение методы Розенброка, конфигураций (Хука-Дживса), деформируемого многогранника (Нелдера-Мида), случайного поиска. К методам с использованием производных относятся методы наискорей­шего спуска, сопряженных градиентов, переменной метрики.

Метод Розенброка является улучшенным вариантом покоординатного спуска.

Метод покоординатного спуска характеризуется выбором направлений поиска поочередно вдоль всех п координатных осей, шаг рассчитывается на основе одномерной оптимизации, критерий окончания поиска | X_k-X_kn | <ε, где ε – заданная точность определения локального экстремума, п – размерность пространства управляемых параметров. Траектория покоординатного спуска для примера двумерного пространства управляемых параметров показана на рис. 7.21, где X_k –точки на траектории поиска, х_i –управляемые параметры. Целевая функция представлена своими линиями равного уровня, около каждой линии записано соответствующее ей значение F(X). Очевидно, что Э есть точка минимума.

Рисунок 7.21 – Траектория покоординатного спуска

При использовании метода покоординатного спуска велика вероятность "застревания" поиска на дне оврага вдали от точки экстремума. На рис. 7.22 видно, что после попадания в точку А, расположенную на дне оврага, дальнейшие шаги возможны лишь в направлениях аа или bb, но они приводят к ухудшению целевой функции. Следовательно, поиск прекращается в точке А.

Рисунок 7.22 - "Застревание" покоординатного

спуска на дне оврага

Примечание. Оврагом называют часть пространства управляемых параметров, в которой наблюдаются слабые изменения производных целевой функции по одним направлениям и значительные изменения с переменой знака – по некоторым другим направлениям. Знак производной меняется в точках, принадлежащих дну оврага.

В то же время при благоприятной ориентации дна оврага, а именно при положении одной из координатных осей, близком к параллельности с дном оврага, поиск оказывается весьма быстрым. Эта ситуация показана на рис. 7.23.

Рисунок 7.23 – Траектория покоординатного спуска при благоприятной ориентации координатных осей

Метод Розенброка заключается в таком повороте координатных осей, чтобы одна из них оказалась квазипараллельной дну оврага. Такой поворот осуществляют на основе данных, полученных после серии из п шагов покоординатного спуска. Положение новых осей s_i может быть получено линейным преобразованием прежних осей х_i: ось s₁ совпадает по направлению с вектором X_k+n -Х_k; остальные оси выбирают из условия ортогональности к X₁ друг к другу.

Другой удачной модификацией покоординатного спуска является метод конфигураций. В соответствии с этим методом вначале выполняют обычную серию из п шагов покоординатного спуска, затем делают дополнительный шаг в направлении вектора Х_k-X_k-n, как показано на рис. 7.24, где дополнительный шаг выполняют в направлении вектора Х₃- Х₁ что и приводит в точку Х₄.

Рисунок 7.24 – Иллюстрация метода конфигураций

Поиск экстремума методом деформируемого многогранника основан на построении многогранника с (n+ 1) вершинами на каждом шаге поиска, где п –размерность пространства управляемых параметров. В начале поиска эти вершины выбирают произвольно, на последующих шагах выбор подчинен правилам метода.

Эти правила поясняются рис. 7.25 на примере двумерной задачи оптимизации. Выбраны вершины исходного треугольника: X_l X₂, Х₃. Новая вершина Х₄ находится на луче, проведенном из худшей вершины X_t (из вершины с наибольшим значением целевой функции) через центр тяжести ЦТ многогранника, причем рекомендуется Х₄ выбирать на расстоянии d от ЦТ, равном ЩТ-XJ. Новая вершина Х₄ заменяет худшую вершину X_t. Если оказывается, что Х₄ имеет лучшее значение целевой функции среди вершин многогранника, то расстояние d увеличивают.

Рисунок 7.25 - Иллюстрация метода

деформируемого многогранника

На рисунке именно эта ситуация имеет место и увеличение d дает точку Х₅. В новом многограннике с вершинами Х₂, Х₃, Х₅ худшей является вершина Х₂, аналогично получают вершину Х₆, затем вер­шину Х₇ и т.д. Если новая вершина окажется худшей, то в многограннике нужно сохранить лучшую вершину, а длины всех ребер уменьшить, например вдвое (стягивание многогранника к лучшей вершине). Поиск прекращается при выполнении условия уменьшения размеров многогранника до некоторого предела.

Случайные методы поиска характеризуют­ся тем, что направления поиска g выбирают случайным образом.

Особенностью метода наискорейшего спуска является выполнение шагов поиска в градиентном направлении

Х_k+1 = Х_k + h gradF(X) / | gradF(X)|,

шаг h выбирается оптимальным с помощью одномерной оптимизации.

При использовании метода наискорейшего спуска, как и большинства других методов, эффективность поиска существенно снижается в овражных ситуациях. Траектория поиска приобретает зигзагообразный вид с медленным продвижением вдоль дна оврага в сторону экстремума. Чтобы повысить эффективность градиентных методов, используют несколько приемов.

Один из приемов, использованный в методе сопряженных градиентов (называемом также методом Флетчера-Ривса), основан на понятии сопряженности векторов. Векторы А и В называют Q-co-пряженными, если A^TQB=0, где Q–положительно определенная квадратная матрица того же порядка, что и размер N векторов А и В (частный случай сопряженности – ортогональность векторов, когда Q является единичной матрицей порядка N), А^т -вектор-строка, В – вектор-столбец.

Особенность сопряженных направлений для Q = Г, где Г – матрица Гессе, при в задачах с квадратичной целевой функцией F(X) заключается в следующем: одномерная минимизация F(X) последовательно по N сопряженным направлениям позволяет найти экстремальную точку не более, чем за N шагов.

Примечание. Матрицей Гессе называют матрицу вторых частных производных целевой функции по управля­емым параметрам.

Основанием для использования поиска по Г-сопряженным направлениям является то, что для функций F(X) общего вида может быть применена квадратичная аппроксимация, что на практике выливается в выполнение поиска более, чем за N шагов.

Пример. Поиск экстремума выполняют в соответствии с формулой

Направление S_i+1 поиска на очередном шаге связано с направлением поиска S_i,на предыдущем шаге соотношением

где w _i – коэффициент. Кроме того, учитывают условие сопряженности

и линейную аппроксимацию gradF(X) в окрестностях точки X_i

Поскольку шаг h рассчитывается исходя из условия одномерной оптимизации, то, во-первых, справедливо соотношение

во-вторых, имеем

X_i = X_i-l + h w_i-l S_i-l-hgradF(X_i-l)

откуда получаем

Алгоритм поиска сводится к применению формулы (7.43), пока не будет выполнено условие окончания вычислений

|grad F(X_k)| < ε

Чтобы определить коэффициент w_i решают систему уравнений (7.42)-(7.47) путем подстановки в (7.44) величин S_i+1 из (7.43) и S_i,из (7.42)

S_i+1^TГS_i = (w_i S_i - gradF(X_i))^T Г(Х_i - X_i-1) / h =

= (w _i S_i - gradF(X_i))^T ГГ^-1 (gradF(X_i) - gradF(X_i-1)) /h = Q;

или

(w _i S_i - gradF(X_i))^T(gradF(X_i) - gradF(X_i-1)) = 0,

откуда

w _i S_i^T(gradF(X_i) - gradF(X_i-1)) - gradF(X_i)^T gradF(X_i) + gradF(X_i)^T gradF(X_i-1) = 0

и с учетом (7.46) и (7.47)

w _i S_i^T grad F(X_i-1) + gradF(X_i)^T gradF(X_i) = 0.

Следовательно,

На первом шаге поиска выбирают S₁ = – gradF(X₀)и находят точку X₁. На втором шаге по формуле (7.48) рассчитывают w _i, по формулам (7.44) и (7.43) определяют S₂ и Х₂ и т.д.

Метод переменной метрики (иначе метод Девидона-Флетчера-Пауэлла) можно рассматривать как результат усовершенствования метода второго порядка – метода Ньютона. Метод Ньютона основан на использовании необходимых условий безусловного экстремума целевой функции F(X)

Выражение (7.49) представляет собой систему алгебраических уравнений, для решения которой можно применить известный численный метод, называемый методом Ньютона. Корень системы (7.49) есть стационарная точка, т.е. возможное решение экстремальной задачи. Метод Ньютона является итерационным, он основан на линеаризации (7.49) в окрестности текущей точки поиска Х_k.

Выражение (7.50) – это система линейных алгебраических уравнений. Ее корень есть очередное приближение Х_k к решению X_k+l = X_k - Г^-l(X_k) grad F(X_k).

Если процесс сходится, то решение достигается за малое число итераций, окончанием которых служит выполнение условия

| X_k+l - X_k | < ε.

Главный недостаток метода – высокая трудоемкость вычисления и обращения матрицы Г, к тому же ее вычисление численным дифференцированием сопровождается заметными погрешностями, что снижает скорость сходимости.

В методе переменной метрики вместо трудно вычисляемой обратной матрицы Гессе использу­ют некоторую более легко вычисляемую матрицу N, т.е.

X_k+l = X_k + grad F(X_k).

Введем обозначения:

dg_k = grad F(X_k) - grad F(X_k-1);

dX_k⁼ X_k - X_k-1;

E – единичная матрица. Начальное значение матрицы N₀ = Е. Матрицу N корректируют на каждом шаге, т.е.

N_k+1 = N_k+A_k^TB_k

где

A_k=dX_kdX_k^T/(dX^T dg_k),

B_k = N_k dg_k dg_k^T N_k^T / (dg_k^T N_k dg_k).

Поэтому

Можно показать, что А_i-стремится к Г^-1, В_i - к Е при k→п, где п – размерность пространства управляемых параметров. Спустя п шагов, нужно снова начинать с N_n+1 = Е.

Поиск по сайту: