Модели нейронов и методы их обучения

В соответствии с принципами функционирования биологических нейронов созданы различные математические модели, которыми в большей или меньшей степени реализуются свойства природной нервной клетки.

Персептрон

Простой персептрон – обычная модель МакКаллока-Питса с соответствующей стратегией обучения [16, 19]. Структурная схема и обозначения элементов i-го персептрона представлены на рисунке 9.

Рисунок 9 – Структурная схема персептрона

Нелинейная функция активации персептрона представляет собой дискретную функцию ступенчатого типа, где выходной сигнал принимает значения 0 либо 1, - пороговое значение для функции активации персептрона.

, (1)

(2)

Обучение персептрона требует наличие учителя и состоит в таком подборе весов, чтобы выходной сигнал был наиболее близок к целевому значению .

Обучение персептрона осуществляется по следующему алгоритму:

1) При первоначальных (случайных) наборах значений весов на вход подаётся обучающий вектор x и рассчитывается значение выходного сигнала ;

2) По результатам сравнения фактически полученного значения с заданным значением уточняются значения весов;

3) Если значение совпадает с ожидаемым значением , то весовые коэффициенты не изменяются;

4) Если =0, а , , где t обозначает номер предыдущего цикла, а (t+ 1) – номер текущего цикла;

5) Если , а , то ,где t обозначает номер предыдущего цикла, а (t+ 1) – номер текущего цикла.

По завершении уточнения весовых коэффициентов представляются очередной обучающий вектор x и связанное с ним ожидаемое значение , и значения весов уточняются заново. Этот процесс многократно повторяется на всех обучающих выборках, пока не будут минимизированы различия между всеми значениями и соответствующими им ожидаемыми значениями .

Правило персептрона представляет собой частный случай предложенного позже правила Видроу-Хоффа [23]. В соответствии с этим правилом подбор весовых коэффициентов нейрона проводится по формулам:

, (3)

. (4)

Отсюда, если сигналы и принимают только двоичные значения 0 и 1, то правило Видроу-Хоффа превращается в правило персептрона.

Характерная особенность как правила персептрона, так и обобщенного правила Видроу-Хоффа состоит в использовании для обучения информации только о текущем и ожидаемом значениях выходного сигнала. В связи с разрывностью нелинейной функции активации персептрона невозможно учитывать информацию об изменении значения . Минимизация различий между фактическими реакциями нейрона и ожидаемыми значениями может быть представлена как минимизация конкретной функции погрешности (целевой функции) Е, чаще всего определяемой как

, (5)

где р означает количество предъявляемых обучающих выборок. Минимизация при использовании правила персептрона проводится по методу безградиентной оптимизации.

Персептрон с одним слоем нейронов способен представлять ограниченный класс линейно разделимых образов [6]. Рассмотрим пример применения персептрона для решения задач дихотомии. Тогда на выходе нейрона получим

, (6)

где – выход нейрона, –ступенчатая функция активации, - значение порога.

Предположим, что входные сигналы принимают двоичные значения (0 или 1). В этом случае пространство входных признаков состоит из 4-х возможных комбинаций:

и может быть представлено на плоскости на рисунке10.

Рисунок 10 – Линейная разделяющая функция

В зависимости от конкретных значений весов и , а так же от значения порога уравнение будет определять прямую на плоскости, разбивающую плоскость признаков на две части, соответствующие двум классам выходных образов. Отсюда следует, что возможности персептрона ограничены классом линейно разделимых образов. Так, персептрон не может реализовать функцию исключающего «ИЛИ», т.к. в этом случае точки (0,0) и (1,1) должны находиться по одну сторону прямой, (1,0) и (0,1) – по другую, что невозможно. Данные рассуждения останутся справедливыми и в случае наличия произвольного числа признаков и выходных классов. Только в этом случае разделяющая функция будет представлять собой гиперплоскость в n -мерном пространстве признаков.

Поиск по сайту: