Сети каскадной корреляции

Построение нейронных сетей по алгоритму каскадной корреляции начинается с персептрона. Алгоритм можно разбить на две части: обучение нейронов персептрона и создание новых нейронов.

На начальном этапе, когда обучается персептрон, после того, как в течение заданного числа эпох не происходит существенного уменьшения ошибки, принимается решение о создании нового нейрона.

Во второй части алгоритма новый нейрон-кандидат добавляется к существующей сети, причем его входы соединяются со всеми входами сети и выходами уже добавленных прежде нейронов-кандидатов. Входные веса кандидата настраиваются особым образом так, чтобы максимально уменьшить ошибку на выходе полученной сети. На рисунке 5.2 показана сеть с двумя добавленными нейронами.

Рисунок 5.2 – Сеть каскадной корреляции.

Метод получил такое название потому, что для настройки весов нейрона-кандидата используется сумма корреляций его выхода со значениями уже имеющихся нейронов:

где y_p – выход нейрона-кандидата;

– ошибка выходного нейрона j для образца p;

– усреднённые по выборке значения соответствующих величин.

Цель обучения – максимум функционала S. Для этого вычисляются его частные производные по весам нейрона-кандидата:

где λj – знак корреляции (+ или -) между y_p и ;

I – значение выхода нейрона, добавленного на предыдущем шаге.

Поиск по сайту: