Виды искусственных нейронных сетей

Различные способы объединения нейронов между собой и организации их взаимодействия привели к созданию сетей разных типов. Каждый тип сети, в свою очередь, тесно связан с соответствующим методом подбора весов межнейронных связей (т.е. обучения). Среди множества существующих видов сетей в качестве важнейших можно выделить линейные сети, радиальные сети, сети с самоорганизацией на основе конкуренции нейронов, а также рекуррентные сети, в которых имеются сигналы обратной связи. В данном разделе уделяется внимание перечисленным выше типам искусственных нейронных сетей, методам их обучения и практического использования при решении конкретных задач обработки информации.

Линейные сети

Линейные нейронные сети по своей структуре аналогичны персептрону и отличаются лишь функцией активации, которая является линейной. Выход линейной сети может принимать любое значение, в то время как выход персептрона ограничен значениями 0 или 1. Линейные сети, как и персептроны, способны решать только линейно отделимые задачи классификации. Настройка параметров сети выполняется таким образом, чтобы обеспечить минимум ошибки. При обучении сети используется правило обучения Уидроу-Хоффа [3].

На рисунке 24 показана структурная схема модели линейного нейрона с двумя входами. Он имеет структуру, сходную со структурой персептрона. Единственное отличие состоит в том, что используется линейная функция активации.

Рисунок 24 – Структурная схема модели линейного нейрона

Весовая матрица W в этом случае имеет только одну строку, и выход сети определяется выражением: . Подобно персептрону, линейная сеть задает в пространстве входов разделяющую линию, на которой функция активации равна 0 (рисунок 25).

Рисунок 25 – График разделяющей линии

Векторы входа, расположенные выше этой линии, соответствуют положительным значениям выхода, а расположенные ниже – отрицательным. Это означает, что линейная сеть может быть применена для решения задач классификации. Однако такая классификация может быть выполнена только для класса линейно отделимых объектов.

На рисунке 26 показана укрупненная структурная схема линейной сети. Данная сеть включает S нейронов, размещенных в одном слое и связанных с R входами через матрицу весов W.

Рисунок 26 – Структурная схема линейной нейронной сети

Как и для персептрона, применяется процедура обучения с учителем, которая использует обучающее множество вида: , где – входы сети, а –соответствующие целевые входы, Q –размерность обучающей выборки. Требуется минимизировать следующую функцию средней квадратичной ошибки

. (51)

Можно оценивать полную среднюю квадратичную погрешность сети, используя среднюю квадратичную погрешность на каждой итерации. Сформируем частную производную по весам и смещению от квадрата погрешности на k-й итерации:

(52)

Подставляя выражение для ошибки в форме

, (53)

получим

(54)

Здесь - j-й элемент вектора входа на k-й итерации. Эти соотношения лежат в основе обучающего алгоритма Уидроу-Хоффа:

(55)

Результат может быть обобщен на случай многих нейронов и представлен в следующей матричной форме:

(56)

Здесь ошибка и смещение - векторы; - параметр скорости обучения. При больших значениях обучение происходит быстро, однако при очень больших значениях может приводить к неустойчивости. Чтобы гарантировать устойчивость процесса обучения, параметр скорости обучения не должен превышать величины , где - собственное значение матрицы корреляций векторов входа.

Используя правило обучения Уидроу-Хоффа можно обучить сеть так, чтобы ее погрешность была минимальной.

Поиск по сайту: