Искусственная нейронная сеть

Исторически первой работой, заложившей теоретический фундамент для создания искусственных моделей нейронов и нейронных сетей, принято считать опубликованную в 1943г. статью теоретический фундамент для создания искусственных моделей нейронов и нейронных сетей, принято считать опубУоррена Мак-Каллока и Вальтера Питтса «Логическое исчисление идей, относящихся к нервной активности». Главный принцип их теории заключается в том, что произвольные явления, относящиеся к высшей нервной деятельности, могут быть проанализированы и поняты как некоторая активность в сети, состоящей из логических элементов, принимающих только два состояния (все или ничего). В качестве модели такого элемента, получившего в дальнейшем название «формальный нейрон», была предложена следующая схема, представленная на рисунке 6.

Рисунок 6 - Структурная схема искусственного нейрона

С современной точки зрения, формальный нейрон представляет собой математическую модель простого процессора, имеющего несколько входов и один выход. Вектор входных сигналов, поступающих через дендриты, преобразуется нейроном в выходной сигнал, распространяющийся по аксону, с использованием трех функциональных блоков: локальной памяти, блока суммирования и блока нелинейного преобразования.

Вектор локальной памяти содержит информацию о весовых множителях, с которыми входные сигналы будут интерпретироваться нейроном. Эти переменные веса являются аналогом чувствительности пластических синаптических контактов. Выбором весов достигается та или иная интегральная функция нейрона. Рассмотрим основные типы используемых переходных функций:

1. Пороговая функция:

.

2. Линейная функция:

3. Сигмоидальная функция:

В блоке суммирования происходит накопление общего входного сигнала, равного взвешенной сумме входов:

В модели Мак-Каллока и Питса отсутствуют временные задержки входных сигналов, поэтому значение определяет полное внешнее возбуждение, воспринятое нейроном. Отклик нейрона далее описывается по принципу «все или ничего», т.е. переменная подвергается нелинейному пороговому преобразованию, при котором выход устанавливается равным единице, если и в обратном случае. Значение порога также хранится в локальной памяти.

Формальные нейроны могут быть объединены в сети путем замыкания выходов одних нейронов на входы других, и такая кибернетическая система с надлежаще выбранными весами может представлять произвольную логическую функцию.

2.3 Принципы обучения искусственной нейронной сети

Способность к обучению является фундаментальным свойством мозга. В контексте ИНС процесс обучения может рассматриваться как настройка архитектуры сети и весов связей для эффективного выполнения специальной задачи. Обычно нейронная сеть должна настроить веса связей по имеющейся обучающей выборке. Функционирование сети улучшается по мере итеративной настройки весовых коэффициентов. Свойство сети обучаться на примерах делает их более привлекательными по сравнению с системами, которые следуют определенной системе правил функционирования, сформулированной экспертами. На рисунке 7 показан процесс обучения ИНС.

Рисунок 7 – Процесс обучения искусственной нейронной сети

Обучение сети состоит в подстройке весовых коэффициентов каждого нейрона. Пусть имеется набор пар векторов , называемый обучающей выборкой. Будем называть нейронную сеть обученной на данной выборке, если при подаче на входы сети каждого вектора на выходах всякий раз получается соответствующий вектор .

Предложенный Розенблаттом метод обучения состоит в итерационной подстройке матрицы весов, последовательно уменьшающей ошибку в выходных векторах. Алгоритм включает несколько шагов:

Шаг 0: Начальные значения весов всех нейронов полагаются случайными.

Шаг 1: Сети предъявляется входной образ , в результате формируется выходной образ .

Шаг 2: Вычисляется вектор ошибки , делаемой сетью на выходе. Дальнейшая идея состоит в том, что изменение вектора весовых коэффициентов в области малых ошибок должно быть пропорционально ошибке на выходе и равно 0, если ошибка равна 0.

Шаг 3: Вектор весов модифицируется по следующей формуле: , где - темп обучения. Данная формула учитывает следующие обстоятельства: модифицируются только компоненты матрицы весов, отвечающие ненулевым значениям входов; знак приращения веса соответствует знаку ошибки, т.е. положительная ошибка проводит усиление связи; обучение каждого нейрона происходит независимо от обучения остальных нейронов, что соответствует принципу локальности обучения.

Шаг 4: Шаги 1-3 повторяются для всех обучающих векторов. Один цикл последовательного предъявления всей выборки называется эпохой. Обучение завершается по истечении нескольких эпох, когда итерации сойдутся, т.е. вектор весов перестает изменяться, или когда полная просуммированная по всем векторам абсолютная ошибка станет меньше некоторого малого значения.

Для конструирования процесса обучения необходимо иметь модель внешней среды, в которой функционирует нейронная сеть – знать доступную для сети информацию. Эта модель определяет парадигму обучения. Во-вторых, необходимо понять, как модифицировать весовые параметры сети – какие правила обучения управляют процессом настройки. Алгоритм обучения означает процедуру, в которой используются правила обучения для настройки весов.

Существуют три парадигмы обучения: «с учителем», «без учителя» и смешанная. В первом случае нейронная сеть располагает правильными ответами (выходами сети) на каждый входной пример. Веса настраиваются так, чтобы сеть производила ответы близкие к известным правильным. Усиленный вариант обучения с учителем предполагает, что известна только критическая оценка правильности выхода нейронной сети, но не сами правильные значения выхода. Обучение без учителя не требует знания правильных ответов на каждый пример обучающей выборки. В этом случае раскрывается внутренняя структура данных или корреляция между образцами в системе данных, что позволяет распределить образцы по категориям. При смешанном обучении часть весов определяется посредством обучения с учителем, в то время как остальная получается с помощью самообучения.

Поиск по сайту: