Методы первого порядка
В методах первого порядка (градиентные методы) направление спуска совпадает с направлением антиградиента.
Напомним, что градиентом дифференцируемой функции в точке называется -мерный вектор , компоненты которого являются частными производными функции, вычисленными в этой точке.
Этот вектор перпендикулярен к плоскости, проведенной через точку , и касательной к поверхности уровня функции , проходящей через точку .
Вектор-градиент направлен в сторону наискорейшего возрастания функции в данной точке. Вектор, противоположный градиенту , называется антиградиентом и направлен в сторону наискорейшего убывания функции. В точке минимума градиент функции равен нулю.
Градиентные методы отличаются друг от друга способами выбора величины шага. 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | Поиск по сайту:
|