АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Усовершенствования алгоритма обратного распространения

Читайте также:
  1. LZW-модификация алгоритма Лемпеля-Зива
  2. T.5 Определение нормальной скорости распространения пламени и термодинамических параметров
  3. T.5. Определение нормальной скорости распространения пламени и термодинамических параметров.
  4. Zip–модификация алгоритма Лемпеля-Зива
  5. Алгоритм обратного распространения ошибки
  6. Ареалы распространения вирусов.
  7. Блок-схема алгоритма
  8. Взаимодействие с альтернативными каналами распространения (ADS)
  9. Вопрос №1 Эпидемиология как раздел общественного здоровья и здравоохранения, изучающий пути возникновения, распространения и меры общественной профилактики заболеваний.
  10. Вторичные пути распространения гнойных процессов
  11. Вы можете стремиться быть похожими на них, но не пытайтесь делать их похожими на себя, потому что у жизни нет обратного хода в прошлое.
  12. Идеальным источником распространения сведений, которые сообщаются

 

Функция энергии ошибки EP представляет собой довольно сложную овражистую поверхность с большим числом локальных минимумов (рис.3.3). Если при градиентном спуске попасть в такой минимум, то, очевидно, сеть не будет настроена на оптимальную производительность.

Рисунок 3.3 – Функция с овражным эффектом

 

Существует несколько путей решения проблем, связанных с локальными минимумами.

1. Простейший способ – это использование переменной скорости обучения η. В начале работы алгоритма ее величина представляет собой большое значение, близкое к 1, по мере сходимости η последовательно уменьшается. Это позволяет быстро подойти к минимуму, а затем точно попасть в него.

2. «Овражный» метод. Учитываются тенденции в поверхности добавлением момента инерции:

(3.13)

Где μ – положительное число, называемое постоянной момента.

Выражение (3.13) называют обобщённым дельта-правилом. Идея заключается в скачке через локальные минимумы в поверхности ошибки.

3. Метод сопряженных градиентов. Флетчер и Ривс предложили выбирать направление, сопряженное градиенту, более точно указывающее именно на минимум функции:

(3.14)

Где – векторный дифференциальный оператор;

4. Наиболее точное решение – это решение, которое позволяют получить так называемые методы второго порядка. Общий принцип работы основан на использовании матрицы вторых производных – гессиана .

 

Тема 4. Предобработка данных и конструирование ИНС

 


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 |

Поиск по сайту:



Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.004 сек.)