Причины неправильного обучения НС

1) выборка, по кот-й обуч-сь НС не дост-но полно отражает ПО (мало примеров)

2) выборка, по кот-й обуч-сь НС составлена тенденциозно, (из самых яркими представ-ми класса.)

3) обуч-я выборка имеет недост-е кол-во пар-ров и сеть не м. найти законом-ти м/у вх-ми сигналами и ответами.

4) при создании сети не рац-но были выбраны нек-е сетевые пар-ры – число нейронов, число тактов функционир-я и проч.

5) задана неверная классификационная модель при обучении классификатора.

№42 Методы обучения нейронных сетей ()

В контексте ИНС процесс обучения может рассматриваться как настрой­ка архитектуры сети и весов связей для эффективного выполнения специ­альной задачи. Обычно нейронная сеть должна настроить веса связей по имеющейся обучающей выборке. Функционирование сети улучшается по мере итеративной настройки весовых коэффициентов.

Существуют три парадигмы обучения: «с учителем», «без учителя» (самообучение) и смешанная.

Для обучения с учителем нужен «внешний» учитель, который оценивал бы поведение системы и управлял ее последующими модификациями. При обучении без учителя, сеть путем самоорганизации делает требуемые изменения. При смешанном обучении часть весов определяется посредством обучения с учителем, в то время как остальная получается с помощью самообучения.

Общая схема обучения нейросети: (спроси надо или нет эту схему)

6) Из обучающий выборке берется текущий пример, его входные параметры (представляющие совокупности вектор входных сигналов) подаются на входные синапсы обучаемой НС. Обычно кжд входной пар-р примера подается на один конкр. синапс.

7) НС производит заданное количество тактов функционирования. При этом вектор входящих сигналов распространяется по связям между нейронами. (прямое функц-ие НС) Процедура однократного прохождения сигналов по НС называется тактом функционирования

8) Изменяются сигналы, выданные теми нейронами, которые считаются выходными

9) Производится интерпретация выходных сигналов и выч-ся оценка, хар-ая различия м/у выданным сетью ответом и требуемым, имеющимся в примере. Оценка осущ-ся с пом. соотв-ей ф-ции оценки – методом наим. квадратов.

5) Проверяется значение оценки, если она меньше заданной точности, то обучение завершено. Иначе, на основании оценки вычисляются поправочные коэфф-ты для каждого синаптич. веса матрицы связей. После чего производится корректировка синаптических весов. (обратное функционирование НС).

10) Осуществляется период к следующему примеру задачника и вышеперечисленные операции повторяются.

Проход по всем примерам обучающей выборки с первого по последний считается одним циклом обучения.

!!

Метод обучения Хэбба. Его теория предполагает только локальное взаимодействие между нейронами при отсутствии глобального учителя; следовательно, обучение является неуправляемым.

- Метод сигнального обучения Хэбба

- Метод дифференциального обучения Хэбба

Существует ряд алгоритмов обучения жестко привязанных к архитектуре НС (Сеть Холфилда, Кохонена, многослойные сети). Основным для многослойной сети явл. метод обратного распространения ошибки, основанный на градиентных методах оптимизации.

Градиентные методы:

- метод наискорейшего спуска;

- модифицированный ParTan;

- квазиньютоновский и т.д.

Многими исследователями были предложены улучшения и обобщения основного алгоритма обратного распространения:

- метод ускорения сходимости алгоритма обратного распространения;

- метод улучшения характеристик обучения сетей обратного распространения.

Неградиентные методы:

1. Метод случайной стрельбы (представитель семейства методов Монте-Карло);

2. Метод покоординатного спуска (псевдоградиентный метод);

3. Метод случайного поиска (псевдоградиентный метод);

4. Метод Нелдера-Мида.

Имеется два класса обучающих методов: детерминистский и стохастический.

Стохастические методы полезны как для обучения искусственных нейронных сетей, так и для получения выхода от уже обученной сети. Стохастические методы обучения приносят большую пользу, позволяя исключать локальные минимумы в процессе обучения:

- Больцмановское обучение

- Обучение Коши

- Метод искусственной теплоемкости

Самоорганизация: метод динамических ядер.

Поиск по сайту: