Сети на основе радиально-базисных функций

Основная идея сетей на основе радиальных базисных функций (RBF) состоит в нелинейном преобразовании входных данных в пространстве более высокой размерности. Теоретическую основу такого подхода составляет теорема Ковера о разделимости образов:

Нелинейное преобразование сложной задачи классификации образов в пространство более высокой размерности повышает вероятность линейной разделимости образов.

RBF-сети берут свое начало от теории точного приближения функций, предложенной Пауэлом в 1987 г. Пусть задан набор из N входных векторов xⁿ с соответствующими выходами yⁿ. Задача точного приближения функций – найти такую функцию y, чтобы y(xⁿ) = yⁿ, n = 1,...,N. Для этого Пауэл предложил использовать набор базисных функций вида , тогда получаем обобщённый полином вида:

(5.1)

Здесь w_n – свободно настраиваемые параметры.

Обычно в качестве базисной используют экспоненциальную функцию , также называемую функцией Гаусса, где μ и σ – регулирующие параметры, называемые соответственно центром и шириной окна функции.

Также в качестве базисных функций используются мультиквадратичная и обратная мультиквадратичная функции, соответственно:

Привмер аппроксимации неизвестной функции y(x) с помощью функций Гаусса показан на рисунке 5.1. На этом рисунке красная кривая представлена суммой синих гауссоид, ясно что для некоторой точки x основной вклад дают лишь несколько гауссоид, центры которых близки к этой точке. Поэтому такая аппроксимация называется локальной.

Рисунок 5.1 – Локальная аппроксимация функции.

Аппроксимация функции по формуле (5.1) дает плохие результаты для зашумленных данных, поэтому в 1988 г. Д. Брумхеад и Д. Лоув предложили модель RBF-сети. Сеть с радиальными базисными функциями (RBF-сеть) в наиболее простой форме представляет собой сеть с тремя слоями: входным слоем, одним скрытым слоем и выходным слоем. Скрытый слой выполняет нелинейное преобразование входного пространства в скрытое. В большинстве случаев, но не всегда, количество нейронов в скрытом слое больше размерности входного пространства. Выходной слой осуществляет линейное преобразование выхода скрытого слоя, т.е. в его нейронах всегда используется линейная функция активации.

С каждым скрытым элементом связывается радиальная базисная функция Φ(x). Каждая из этих функций берет комбинированный ввод и порождает значение активности, подаваемое на выход.

Связи элемента скрытого слоя определяют центр радиальной функции для данного скрытого элемента. В RBF-сети активизация нейронов задается дистанцией (евклидовой нормой) между весовым вектором и заданным в процессе обучения образцом:

(5.2)

Весовой вектор w_j служит центром радиально-базисной функции, соответствующей нейрону с номером j. Поэтому обозначим его как μ_j.

Поиск по сайту: