Сигмоидальный нейрон

Нейрон сигмоидального типа имеет структуру, подобную модели МакКаллока-Питса, с той разницей, что функция активации является непрерывной и может быть выражена в виде сигмоидальной униполярной или биполярной функции [10,17] (рис.11).

Рисунок 11 – Структурная схема сигмоидального нейрона

Униполярная функция представляется формулой

, (7)

биполярная функция задается в виде

. (8)

В этих формулах параметр подбирается пользователем. Его значение влияет на форму функции активации. На рисунках12,13 представлены графики сигмоидальной функции от переменной для различных значений , на рисунке 12 показана униполярная, а на рисунке 13 - биполярная. Графики обеих функций сильно зависят от значения . При малых величинах график функции достаточно пологий, но по мере роста значения крутизна графика увеличивается. При сигмоидальная функция превращается в функцию ступенчатого типа, идентичную функции активации персептрона. На практике чаще всего для упрощения используется значение .

Важным свойством сигмоидальной функции является ее дифференцируемость. Для униполярной функции имеем

, (9)

для биполярной функции

. (10)

Рисунок 12 – График униполярной сигмоидальной функции

Рисунок 13 – График биполярной сигмоидальной функции

И в первом и во втором случае график изменения производной относительно переменной x имеет колоколообразную форму, а его максимум соответствует значению .

Сигмоидальный нейрон, как правило, обучается с учителем по принципу минимизации целевой функции, которая для единичного обучающего кортежа i -го нейрона определяется в виде

, (11)

где

. (12)

Функция является сигмоидальной, где – это входной вектор, а –соответствующее ему ожидаемое значение на выходе i -го нейрона.

Поиск по сайту: