Инстар и оутстар Гроссберга

Нейроны типа инстар и оутстар – это взаимодополняющие элементы. Инстар адаптирует веса сигналов, поступающих на сумматор нейрона, к своим входным сигналам, а оутстар согласовывает веса выходящих из нейронов связей, с узлами, в которых формируются значения выходных сигналов. Нейрон типа инстар был определен С.Гроссбергом [4]. На рис. 16 представлена структурная схема инстара.

Рисунок 16 – Структурная схема инстара

Сигналы , подаваемые с весовыми коэффициентами на вход i -го инстара, суммируются в соответствии с выражением

. (17)

В соответствии с функцией активации, на выходе нейрона вырабатывается выходной сигнал , равный . В инстаре применяется линейная функция активации, и тогда . Обучение инстара производится по правилу Гроссберга, где - коэффициент обучения, значение которого выбирается в интервале от 0 до 1. Результаты обучения по методу Гроссберга в значительной степени зависят от коэффициента обучения . При выборе веса становятся равными значениям уже после первой итерации. Ввод очередного входного вектора x вызовет адаптацию весов к новому вектору и абсолютное забывание предыдущих значений. Выбор приводит к тому, что в результате обучения весовые коэффициенты принимают усредненное значение обучающих векторов x.

Натренированный инстар функционирует как векторный классификатор, сопоставляющий очередной поданный на его вход вектор с вектором, сформированным в процессе обучения. В случае максимального совпадения этих векторов реакция инстара будет максимальной.

Если инстар обучался на группе достаточно похожих векторов с , то его весовые коэффициенты примут значение, усредненное по этим векторам, и в режиме классификации он будет лучше всего реагировать на входные векторы, значения которых наиболее близки ксредним значениям векторов, входящих в обучающую группу.

Инстар может обучаться как с учителем, так и без него. При обучении без учителя в качестве значения принимается фактически значение выходного сигнала.

Рисунок 17 – Структурная схема оутстара

Оутстар представляет собой комплементарное дополнение инстара. Если инстар обучается с целью распознавать вектор, подаваемый на его вход, то оутстар должен генерировать вектор, необходимый связанным с ним нейронам. Структурная схема оутстара представлена на рисунке 17. Нейрон – источник высылает свой выходной сигнал взаимодействующим с ним нейронам, выходные сигналы которых обозначены .

Оутстар является линейным нейроном. Обучение состоит в таком подборе весов , чтобы выходные сигналы оутстара были равны ожидаемым значениям взаимодействующих с ним нейронов:

. (18)

В режиме распознавания в моменты активации нейрона-источника оутстар будет генерировать сигналы, соответствующие ожидаемым значениям .

Отличительной особенностью нейронов типа инстар и оутстар заключается в том, что их весовые коэффициенты подстраиваются под входные или выходные векторы. Обучение может проводиться как с учителем, так и без него.

Нейроны типа WTA

Нейроны типа WTA (WinnerTakesAll–Победитель получает все) имеют входной модуль в виде стандартного сумматора, рассчитывающего сумму входных сигналов с соответствующими весами [10, 14, 17]. Выходной сигнал i – го сумматора рассчитывается по формуле:

. (19)

Группа конкурирующих между собой нейронов получает одни и те же входные сигналы . В зависимости от фактических значений весовых коэффициентов суммарные сигналы отдельных нейронов могут отличаться. По результатам сравнения этих значений победителем признается нейрон, значение которого оказалось наибольшим. Нейрон-победитель вырабатывает на своем выходе значение 1, остальные 0.

Для обучения нейрона типа WTA не требуется учитель. На начальном этапе случайным образом выбираются весовые коэффициенты. После подачи первого входного вектора x определяется победитель этапа. Победивший в этом соревновании нейрон переходит в состояние 1, что позволяет ему произвести уточнение весов его входных линий по правилу Гроссберга. Проигравшие нейроны формируют на своих выходах состояние 0, что блокирует процесс уточнения весовых коэффициентов. Схема соединений нейронов типа WTA представлена на рисунке 18.

Рисунок 18 -Схема соединения нейронов типа WTA

Вследствие бинарности значений выходных сигналов конкурирующих нейронов (0 или 1) правило Гроссберга может быть несколько упрощено:

. (20)

Победителем этапа оказывается нейрон, вектор весов которого оказывается наиболее близким к текущему обучающему вектору x. В результате победы нейрона уточняются его весовые коэффициенты, значения которых приближаются к значениям текущего обучающего вектора x. Если на вход будет подаваться множество близких по значению векторов, побеждать будет один и тот же нейрон, поэтому его веса станут равными усредненному значениям тех векторов, благодаря которым нейрон стал победителем. Проигравшие нейроны не изменяют свои веса. Следствием такой конкуренции становится самоорганизация процесса обучения.

Проблемой при обучении нейронов типа WTA является проблема «мёртвых» нейронов, которые после инициализации ни одного раза не победили в конкурентной борьбе и остались в состоянии, сформированном в начальный момент времени. Каждый мертвый нейрон уменьшает эффективное количество элементов, проходящих обучение, и увеличивает общую погрешность распознавания данных.

Для решения этой проблемы предлагается модифицированное обучение, основанное на учете побед каждого нейрона и временной дисквалификации тех, которые побеждали чаще всего. Она может осуществляться либо по достижении предельного числа побед, либо уменьшением фактического значения числа при нарастании числа побед нейрона.

Поиск по сайту: