Модели ассоциативной памяти

До настоящего момента мы рассматривали сети, в которых сигналы распространялись в прямом направлении, т.е. они не содержали обратных связей. Такие сети всегда устойчивы. В нейронных сетях с обратными связями допускается передача выходных сигналов на вход сети. Это приводит к переходным процессам в сети, после которых сеть может установиться в некоторое устойчивое состояние [6]. Однако возможна также ситуация, при которой в сети никогда не наступит состояние равновесия. В этом случае сеть является неустойчивой. Анализ устойчивости нейронных сетей с обратными связями представляет собой сложную теоретическую задачу и здесь подробно рассматриваться не будет. Мы ограничимся рассмотрением некоторого подкласса нейронных сетей с обратными связями, устойчивость которых при определенных условиях может быть доказана [6].

Рисунок 30 – Сеть Хопфильда

К таким сетям, в первую очередь, следует отнести сеть Хопфильда [21]. Это простая сеть показана на рисунке 30 и представляет собой один слой нейронов. Сигнал на выходе каждого нейрона формируется согласно выражению

(73)

где a_j(t) – выход нейрона j на такте t, f(x) – ступенчатая пороговая функция, принимающая значения ±1.

Сеть Хопфильда можно рассматривать как примитивную модель ассоциативной памяти, позволяющей по искаженному входному образу извлечь ближайший к нему эталон. Для этого сеть должна быть предварительно обучена на некоторой обучающей выборке. Обучение осуществляется без учителя путем предъявления сети серии входных образцов A_k, k=1, …, m. Предъявляемые образцы запоминаются в синаптической карте, которая формируется следующим образом:

(74)

Это выражение является матричной формой записи алгоритма обучения, согласно которому синаптические веса формируются путем вычисления корреляций между состояниями отдельных нейронов. Такое задание весов позволяет сети запомнить входные образы и обеспечить в дальнейшем возможность их извлечения по неполным и искаженным данным.

В процессе функционирования нейроны обученной сети активизируются некоторым входным образом, а затем сети предоставляется возможность опуститься в ближайший энергетический минимум. Теоретически было показано, что сеть всегда достигнет устойчивого состояния, если синаптическая карта симметрична и ее диагональные элементы равны нулю, т. е. , . Таким образом, алгоритм функционирования сети Хопфилда можно представить состоящим из шагов [6]:

1. Формирование синаптической карты сети W путем ее обучения по серии входных образцов

(75)

Здесь единичная матрица I введена для того, чтобы обеспечить равенство нулю диагональных элементов синаптической карты .

2. Начальная активация сети входным образом ,т.е. приведение нейронов сети в состояние

3. Интерационное вычисление выгодных сигналов сети до тех пор, пока сеть не достигнет установившегося состояния.

(76)

При использовании сети Хопфильда как ассоциативной памяти важно знать ее максимально допустимую емкость, т.е. максимальное количество сохраняемых образцов. Сеть из N нейтронов может иметь возможных состояний. Однако, как показали исследования, при слишком большом количестве образцов сеть может не стабилизироваться на некоторых из них либо выдавать образы, совершенно отличные от примеров. По утверждению Хопфильда такой нежелательной ситуации можно избежать, если количество запоминаемых классов не превосходит 0,15N.

Сеть Хопфильда является автоассоциативной сетью, в которой входные образы ассоциируются сами собой и не могут быть ассоциированы с другими (выходными) образами. Рассмотрим теперь гетероассоциативный механизм установления ассоциаций на примере нейронной сети, известной как двунаправленная ассоциативная память [6]. Такая сеть состоит из двух слоев нейронов (рис. 31).

Рисунок 31 – Двунаправленная ассоциативная память

В качестве функции активации нейронов используется ступенчатая пороговая функция. В процессе обучения сети предъявляются примеры (A,B), K=1, …,m ассоциированных образов и формируется ее веса

(77)

В соответствии со структурой сети прямым связям соответствует синаптическая карта W, а обратным связям – транспонированная синаптическая карта .

Функционирование сети осуществляется следующим образом:

1. Активация слоя сети входным образом , т.е. приведение нейронов входного слоя в начальные состояния: .

2. Вычисление сигналов на выходе нейронов выходного слоя согласно выражению

(78)

или в матричной форме . Затем внешнее возбуждение убирается.

3. Подача на выходы нейронов слоя сигналов с выходов нейронов слоя (по обратным связям) и вычисление новых состояний нейронов слоя по формуле

(79)

или в матричной форме .

4. Повторение шагов 2-3 до тех пор, пока сеть не достигнет стабильного состояния.

Таким образом, двунаправленная ассоциативная память обладает способностью к исправлению и обобщению. Если искаженный или незавершенный образ подаются на вход сети, то она, тем не менее, способна выдать запомненный ранее выходной образ, который, в свою очередь, стремится восстановить входной образ. Это может потребовать нескольких итераций, но, как правило, их количество не слишком большое, и сеть всегда является устойчивой. Устойчивость сети обеспечивается тем обстоятельством, что синаптическая карта в обратных связях сети выбирается равной транспонированной карте в прямых связях сети.

Аналогично сети Хопфильда для двунаправленной ассоциативной памяти также имеется ограничение на количество образов. Если это ограничение не выполняется, то сеть может выдавать неверные ассоциации. Для запоминания m ассоциаций количество нейронов N в наименьшем слое должно выбираться таким образом, чтобы выполнялось неравенство m<N/(2log₂N). Например, сеть с 1024 нейронами может запомнить не более 25 ассоциаций.

Когнитивные карты

Когнитивная карта – это ориентированный граф, узлы которого представляют собой некоторые объекты (концепты), а дуги – связи между ними, характеризующие причинно-следственные отношения [6]. Связи могут быть как положительные, так и отрицательные. Положительная причинная связь между двумя концептами существует в том случае, если увеличение (уменьшение) количественной характеристики одного концепта приводит к увеличению (уменьшению) другого концепта. В случае, когда увеличение (уменьшение) количества одного концепта приводит к уменьшению (увеличению) другого, имеет место отрицательная причинная связь. Когнитивные карты являются удобным средством для представления знаний в некоторой предметной области.

В качестве примера на рисунке 32 изображена когнитивная карта, характеризующая причинно-следственные зависимости между концептами: национальный доход , угроза войны , социальная устойчивость , жилищное строительство , преступность , научно-технический потенциал и развитие тяжелой промышленности .

Рисунок 32 – Когнитивная карта

Когнитивная карта полностью задается своей матрицей связей, которая для приведенного примера будет выглядеть следующим образом:

Элемент данной матрицы определяет связь от i-го элемента к j-му элементу, причем положительные связи кодируются 1, отрицательные -1, а отсутствие связей между концептами – 0.

Для составления подобных карт, как правило, привлекается эксперт, задачей которого является установление множества концептов, определяющих предметную область, и характера связей между ними. Использование когнитивных карт позволяет естественным образом объединять знания нескольких экспертов для более адекватного описания предметной области. При этом каждый эксперт выбирает свой набор концептов, характеризующих заданную предметную область, и характер связей между ними. Когнитивные карты каждого эксперта естественным образом могут быть объединены в одну итоговую карту, учитывающую мнения всех экспертов. Здесь мнения четырех экспертов представлены в виде четырех отдельных когнитивных карт, отличающихся как составом концептов, так и связями между ними. Полученные карты могут быть охарактеризованы следующими множествами концептов:

Таким образом, все эксперты признали весомость концептов C1 и С2, относительно же остальных концептов мнения разделились, например, первый эксперт признал важность концепта C4, второй – C5. Для представления общей картины, учитывающей мнения всех экспертов, данные множества объединяются

(80)

и формируются матрицы связей для каждой карты. Причем, если некоторая карта не содержит некоторых концептов из множества ψ, то соответствующие столбцы и строки матриц дополняются нулями. Например, для первой когнитивной карты матрица связей будет выглядеть следующим образом:

Для получения матрицы связей для итоговой карты выполняется суммирование всех , , что приводит к результату:

Так как полученная матрица отражает мнения всех экспертов. Она содержит не только элементы 1, 0, -1 и более полно отражает причинно-следственные зависимости между выбранными концептами.

Когнитивные карты по своей структуре напоминают нейронные сети, если рассматривать каждый концепт как отдельный нейрон, а коэффициенты связей между ними как синаптические веса. Такой подход, предложенный впервые Коско, оказался весьма полезным при построении экспертных систем, предназначенных для прогнозирования ситуаций по имеющимся данным. В таких системах используются так называемые экстраполирующие нейронные сети, являющиеся разновидностью уже известных нам моделей ассоциативной памяти. Рассмотрим особенности функционирования подобных сетей.

Пусть на вход сети поступает входной образ , у которого k компонент, составляющих множество , известны точно, а остальные неопределенны. В процессе функционирования сеть реконструирует недостающие компоненты по следующему алгоритму:

1.Начальная инициализация нейронов сети при t = 0:

(81)

2. Вычисление новых состояний нейронов сети для всех по формуле

(82)

где f(x) – ступенчатая функция активации.

3. Выполнение шага 2 до тех пор, пока сеть не достигнет устойчивого состояния.

Поиск по сайту: