Сети с самоорганизацией на основе конкуренции

Основу самоорганизации нейронных сетей составляет закономерность, что глобальное упорядочение сети становится возможным в результате самоорганизующих операций, независимо друг от друга происходящих в различных локальных сегментах сети [4]. В соответствии с поданными на вход сигналами осуществляется активация нейронов, которые вследствие изменения значений синаптических весов адаптируется к поступающим обучающим выборкам. В процессе обучения наблюдается тенденция к росту значений весов, из-за которой создается своеобразная положительная обратная связь: более мощные возбуждающие импульсы – более высокие значения весов – большая активность нейронов. При этом происходит естественное расслоение нейронов на различные группы. Отдельные нейроны или их группы сотрудничают между собой и активизируются в ответ на возбуждение, создаваемое конкретными обучающими выборками, подавляя своей активностью другие нейроны. При этом можно говорить как о сотрудничестве, так и о конкуренции между нейронами внутри группы и между различными группами.

Среди механизмов самоорганизации можно выделить два основных класса: самоорганизация, основанная на ассоциативном правиле Хебба, и механизм конкуренции между нейронами на базе обобщенного правила Кохонена. Независимо от способов обучения самоорганизующихся сетей важное значение имеет избыточность обучающих данных, без которой обучение просто невозможно. Основу обучения сетей с самоорганизацией составляет конкуренция между нейронами. Как правило, это однослойные сети, в которых каждый нейрон соединен со всеми компонентами N-мерного входного вектора x так, как это схематически изображено для N=2 на рисунке 29.

Рисунок 29 - Структура самоорганизующейся сети Кохонена

Веса синаптических связей нейронов образуют вектор . После нормализации входных векторов при активации сети вектором x в конкурентной борьбе побеждает тот нейрон, веса которого в наименьшей степени отличаются от соответствующих компонентов этого вектора. Для нейрона-победителя выполняется отношение

, (62)

где обозначает расстояние (в смысле выбранной метрики) между векторами , а – количество нейронов. Вокруг нейрона-победителя образуется топологическая окрестность с определенной энергетикой, уменьшающейся с течением времени. Нейрон-победитель и все нейроны, лежащие в пределах его окрестности, подвергаются адаптации, в ходе которой их векторы весов изменяются в направлении вектора x по правилу Кохонена [15]:

(63)

для , где – коэффициент обучения нейрона в окрестности в k-й момент времени. Значение уменьшается с увеличением расстояния между нейроном и победителем. Веса нейронов, находящихся за пределами , не изменяются. Размер окрестности и коэффициенты обучения нейронов являются функциями, значения которых уменьшаются с течением времени. Х. Риттер и К. Шультен в [18] доказали, что адаптация по формуле (63) эквивалентна градиентному методу обучения, основанному на минимизации целевой функции

, (64)

а представляет собой функцию определения окрестности, изменяющуюся в процессе обучения. Доказано [14, 15, 18], что при таком способе обучения функция плотности распределения векторов нейронов сводится к дискретизированной плотности распределения вынужденных векторов.

Процесс самоорганизации предполагает определение победителя каждого этапа, т.е. нейрона, вектор весов которого в наименьшей степени отличается от поданного на вход сети вектора x. В этой ситуации важной проблемой становится выбор метрики, в которой будет измеряться расстояние между векторами x и w. Чаще всего в качестве меры расстояния используется эвклидова мера:

d(x, w_i) = = (65)

При инициализации весов сети случайным способом часть нейронов может оказаться в области пространства, в которой отсутствуют данные или их количество ничтожно мало. Эти нейроны имеют мало шансов на победу и адаптацию своих весов, поэтому они остаются мертвыми. Таким образом, входные данные будут интерпретироваться меньшим количеством нейронов (мертвые нейроны не принимают участие в анализе), а погрешность интерпретации данных, иначе называемая погрешностью квантования, увеличится. Поэтому важной проблемой становится активация всех нейронов сети. Такую активацию можно осуществить, если в алгоритме обучения предусмотреть учет количества побед каждого нейрона, а процесс обучения организовать так, чтобы дать шанс победить и менее активным нейронам. Идея такого подхода к обучению возникла при наблюдении за поведением биологических нейронов. Такой способ учета активности нейронов будет называться в дальнейшем механизмом утомления. В другом очень удачном алгоритме обучения количество побед нейрона учитывается при подсчете эффективного расстояния между вектором весов и реализацией обучающего вектора x_i. Это расстояние модифицируется пропорционально количеству побед данного нейрона в прошлом. Если обозначить количество побед i -го нейрона N_i, такую модификацию можно представить в виде

. (66)

Активные нейроны с большим значением N_i штрафуются искусственным завышением этого расстояния. Следует обратить внимание, что модификация расстояния производится только при выявлении победителя. В момент уточнения весов учитывается фактическое расстояние. Модификация этой характеристики имеет целью активизировать все нейроны путем введения их в область с большим количеством данных. После решения этой задачи (обычно после двух или трех циклов обучения) модификация прекращается, что позволяет продолжить «честную» конкуренцию нейронов[20].

Целью обучения сети с самоорганизацией на основе конкуренции нейронов считается такое упорядочение нейронов (подбор значений их весов), которое минимизирует значение ожидаемого искажения, оцениваемого погрешностью аппроксимации входного вектора x, значениями весов нейрона-победителя в конкурентной борьбе. При p входных векторах x и применении эвклидовой метрики эта погрешность, называемая также погрешностью квантования, может быть выражена в виде

, (67)

где – это вес нейрона-победителя при предъявлении вектора .

В соответствии с алгоритмом WTA после предъявления вектора x рассчитывается активность каждого нейрона. Победителем признается нейрон с самым сильным выходным сигналом, это равнозначно наименьшему эвклидову расстоянию между входным вектором и вектором весов нейронов. Победитель получает право уточнить свои веса в направлении вектора x согласно правилу

. (68)

Веса остальных нейронов уточнению не подлежат. Алгоритм позволяет учитывать усталость нейронов путем подсчета количества побед каждого из них и поощрять элементы с наименьшей активностью для выравнивания их шансов. Как уже отмечалось ранее, такая модификация применяется чаще всего на начальной стадии обучения с последующим отключением после активизации всех нейронов.

Помимо алгоритмов WTA, в которых в каждой итерации может обучаться только один нейрон, для обучения сетей с самоорганизацией широко применяются алгоритмы типа WTM(англ.: Winner Takes Most – Победитель получает больше), в которых, кроме победителя, уточняют значения своих весов и нейроны из его ближайшего окружения. При этом, чем дальше какой-либо нейрон находится от победителя, тем меньше изменяются его веса. Процесс уточнения вектора весов может быть определен обобщенной зависимостью, которая представляется в виде

(69)

для всех i нейронов, расположенных в окрестностях победителя. В приведенной формуле коэффициент обучения каждого нейрона отделен от его расстояния до предъявленного вектора x функцией . Если определяется в форме

(70)

где обозначает номер победителя, то мы получаем классический алгоритм WTA.

Существует множество вариантов алгоритма WTM, отличающихся прежде всего формой функции . Рассмотрим классический алгоритм Кохонена. Алгоритм Кохонена относится к наиболее старым алгоритмам обучения сетей с самоорганизацией на основе конкуренции, и в настоящее время существуют различные его версии. В классическом алгоритме Кохонена сеть инициализируется путем приписывания нейронам определенных позиций в пространстве и связывания их с соседями на постоянной основе. В момент выбора победителя уточняются не только его веса, но также и веса его соседей, находящихся в ближайшей окрестности. Таким образом, нейрон-победитель подвергается адаптации вместе со своими соседями. В классическом алгоритме Кохонена функция соседства определяется в виде

(71)

В этом выражении может обозначать как эвклидово расстояние между векторами весов нейрона-победителя w и i -го нейрона, так и расстояние, измеряемое количеством нейронов. Коэффициент 1 выступает в роли уровня соседства, его значение уменьшается в процессе обучения до нуля. Соседство такого рода называется прямоугольным.

Другой тип соседства, часто применяемый в картах Кохонена, - это соседство гауссовского типа, при котором функция определяется формулой (72).

(72)

Степень адаптации нейронов-соседей определяется не только эвклидовым расстоянием между i -м нейроном и победителем (w- м нейроном), но также и уровнем соседства λ. В отличие от соседства прямоугольного типа, где каждый нейрон, находящийся в окрестности победителя, адаптировался в равной степени, при соседстве гауссовского типа уровень адаптации отличается и зависит от значения функции Гаусса. Как правило, гауссовское соседство дает лучшие результаты обучения и обеспечивает лучшую организацию сети, чем прямоугольное соседство.

Поиск по сайту: