Тема 1.3. Основные направления применения нейронных сетей в экономике

Нейросетевые технологии оперируют биологическими термина­ми, а методы обработки данных получили название генетических алгоритмов, реализованных в ряде версий нейропакетов, известных в России. Это профессиональные нейропакеты Brain Maker Profes­sional v.3.11 и Neurofo-rester v.5.1, в которых генетический алгоритм управляет процессом общения на некотором множестве примеров, а также стабильно распознает и прогнозирует новые ситуации с вы­сокой степенью точности даже при появлении противоречивых или неполных знаний. Обучение сводится к работе алгоритма подбора весовых коэффициентов, который реализуется автоматически без участия пользователя-аналитика. Все результаты обработки пред­ставляются в графическом виде, удобном для анализа и принятия решений.(http://www.intuit.ru/department/ds/logneuronnets/3/)

Использование нейросетевых технологий как инструментальных средств перспективно в решении множества плохо формализуемых задач, в частности при анализе финансовой и банковской деятель­ности, биржевых, фондовых и валютных рынков, связанных с вы­сокими рисками моделей поведения клиентов, и т.д. Точность про­гноза, устойчиво достигаемая нейросетевыми технологиями при решении реальных задач, уже превысила 95%. На мировом рынке нейросетевые технологии представлены широко — от дорогих сис­тем на суперкомпьютерах до ПК, делая их доступными для прило­жений практически любого уровня [10].

К основным преимуществам нейронных сетей можно отнести:

- способность обучаться на множестве примеров в тех случа­ях, когда неизвестны закономерности развития ситуации и функции зависимости между входными и выходными дан­ными. В таких случаях (к ним можно отнести до 80% задач финансового анализа) неприменимы традиционные матема­тические методы;

- способность успешно решать задачи, опираясь на неполную, искаженную и внутренне противоречивую входную инфор­мацию;

- возможность эксплуатации обученной нейронной сети лю­быми пользователями;

- возможность исключительно легко подключать нейросетевые пакеты к базам данных, электронной почте и автомати­зировать процесс ввода и первичной обработки данных;

- внутренний параллелизм, присущий нейронным сетям, по­зволяющий практически безгранично наращивать мощность нейросистемы, т.е. сверхвысокое быстродействие за счет ис­пользования массового параллелизма обработки информации;

- толерантность к ошибкам — работоспособность сохраняется при повреждении значительного числа нейронов;

- способность к обучению — программирование вычисли­тельной системы заменяется обучением;

- способность к распознаванию образов в условиях сильных помех и искажений.

Появление столь мощных и эффективных средств не исключают использования традиционных математических и эконометрических методов технического анализа или высококлассных экспертов. В качестве нового эффективного средства для решения самых раз­личных задач нейронные сети просто создаются и используются людьми, помогая им решать многие профессиональные проблемы. Не обязательно насаждать нейронные сети или пытаться доказать их неэффективность путем выделения присущих им особенностей и недостатков — нужно просто относиться к ним как к неизбежному следствию развития вычислительной математики, информационных технологий и современной элементной базы.

Под нейрокомпьютером здесь понимается любое вычислитель­ное устройство, реализующее работу нейронных сетей, будь то спе­циальный нейровычислитель или эмулятор нейронных сетей на персональном компьютере. Под нейронной сетью (НС) понимается вид вычислительной структуры, основанной на использовании нейроматематики — нового направления, находящегося на стыке теории управления, численных методов и задач классификации, распозна­вания образов. Для решения конкретных задач используются паке­ты прикладных программ-эмуляторов работы нейронных сетей — нейропакеты, нейросетевые и гибридные экспертные системы, спе­циализированные параллельные вычислители на базе нейрочипов. Модели НС могут быть программного и аппаратного исполнения.

Несмотря на существенные различия, отдельные типы НС обла­дают несколькими общими чертами.

Основу каждой НС составляют относительно простые, в боль­шинстве случаев — однотипные, элементы (ячейки), имитирующие работу нейронов мозга. Далее под нейроном и будет подразумеваться искусственный нейрон, т.е. ячейка НС. Каждый нейрон характеризуется своим текущим состоянием по аналогии с нервными клетка­ми головного мозга, которые могут быть возбуждены или затормо­жены. Он обладает группой синапсов — однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон — выходную связь данного нейрона, с которой сигнал (возбуж­дения или торможения) поступает на синапсы следующих нейронов. Общий вид нейрона приведен на рис. 19. Каждый синапс характери­зуется величиной синаптической связи или ее весом w_h который по физическому смыслу эквивалентен электрической проводимости.

Рис19.Искуственный нейрон

Текущее состояние нейрона определяется как взвешенная сумма его входов.

В зависимости от функций, выполняемых нейронами в сети, можно выделить три типа нейронов:

- входные, на которые подается вектор, кодирующий входное воздействие или образ внешней среды; в них обычно не осуществляется вычислительных процедур, а информация передается с входа на выход путем изменения их активации;

- выходные, значения которых представляют выходы нейросети;

- промежуточные, составляющие основу нейронных сетей.

В большинстве нейронных моделей тип нейрона связан с его расположением в сети. Если нейрон имеет только выходные связи, то это входной нейрон, если наоборот — выходной нейрон. В про­цессе функционирования сети осуществляется преобразование входного вектора в выходной, переработка информации.

Каждый нейрон распознает и посылает сигнал об одном про­стом событии, он не посылает много сигналов и не распознает много событий. Синапс позволяет единственному сигналу оказы­вать разные воздействия на связанные с ним нейроны. Распознава­ние более сложных событий есть работа группы взаимосвязанных нейронов (НС), и несколько биологических нейронных сетей функ­ционируют взаимосвязано для обработки все более сложной ин­формации.

Нейронная сеть состоит из слоев нейронов, которые соединены друг с другом. Детали того, как нейроны соединены между собой, заставляют задуматься над вопросом проектирования НС. Некото­рые нейроны будут использоваться для связи с внешним миром, другие нейроны — только с нейронами. Они называются скрытыми нейронами.

Современные возможности аппаратной реализации НС можно обобщенно оценить следующим образом:

- число моделируемых нейронов — до 5 млн;

- число моделируемых связей — до 5 млн;

- скорость моделирования — до 500 млн переключений связей в секунду.

Для аппаратной реализации НС в настоящее время широко ис­пользуются процессорные СБИС (сверхбольшие интегральные схе­мы), обладающие максимальными коммуникационными возможно­стями и ориентированные на быстрое выполнение векторных опе­раций. К таким СБИС относятся транспьютеры фирмы INMOS (Т414, Т800, А100), сигнальные процессоры фирм Texas Instruments (IMS 320C40, IMS 320C80), Motorola, Analog Device. Отечественная эле­ментная база представлена нейрочипами на базе БМК «Исполин — 60Т».

Нейрокомпьютеры бывают:

- универсальные (позволяют реализовывать большое число мо­делей нейронных сетей и могут применяться для решения разнообразных задач);

- специализированные (предназначены для решения узкого, за­ранее заданного класса задач).

- Для любого алгоритма существует нейронная сеть, которая его реализует, т.е. нейронные сети являются универсальными вычисли­тельными устройствами. Однако существует очень много практиче­ских задач, которые могут быть эффективно решены на серийных компьютерах. Поэтому в настоящее время основное внимание уде­ляется разработке специализированных нейронных компьютеров.

- Существует несколько классификаций известных нейросетей.

- По типам структур нейронов:

- гомогенные сети (однородные) — состоят из нейронов одного типа с единой функцией активации;

- гетерогенные сети — входят нейроны с разными функ­циями активации.

- По типу оперируемых сигналов:

- бинарные — оперируют только двоичными сигналами, и
выход каждого нейрона может принимать значение либо
логического нуля (заторможенное состояние), либо ло­гической единицы (возбужденное состояние);

- аналоговые.
По переменам состояний:

- синхронные — в каждый момент времени лишь один нейрон меняет свое состояние;

- асинхронные — состояние меняется сразу у группы ней­ронов, как правило, у всего слоя. Алгоритмически ход времени в нейронных сетях задается итерационным вы­полнением однотипных действий над нейронами.

По возможностям обучения:

- предварительно обученные (неадаптивные);

- самообучающиеся (адаптивные). По архитектуре:

- полносвязные;

- многослойные или слоистые;

- слабосвязные (с локальными связями).

В полносвязных нейросетях каждый нейрон передает свой вы­ходной сигнал остальным нейронам, в том числе и самому себе. Все входные сигналы подаются всем нейронам. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети.

В многослойных нейронных сетях нейроны объединяются в слои. Слой содержит совокупность нейронов с едиными входными сигналами. Число нейронов в слое может быть любым и не зависит от числа нейронов в других слоях. В общем случае сеть состоит из Q слоев, пронумерованных слева направо. Внешние входные сигна­лы подаются на входы нейронов входного слоя (его часто нумеруют как нулевой), а выходами сети являются выходные сигналы послед­него слоя. Кроме входного и выходного слоев в многослойной ней­ронной сети есть один или несколько скрытых слоев. Связи от вы­ходов нейронов некоторого слоя q к входам нейронов следующего слоя (д+1) называются последовательными, а между нейронами од­ного слоя называются латеральными (боковыми).

Алгоритм решения задачи. Любая работа с нейросетью начинается с определения задач, которые она должна решать, т.е. с определения функций выходов с привлечением квалифицированных экспертов. Это первый этап алгоритма.

В общем случае сеть может решать задачи как классификации (дискретные выходы), так и предсказания (непрерывные выходы). Рассмотрим процесс обучения нейросети на примере прогнозиро­вания трейдером различных показателей.

При выборе функции выхода необходимо всегда проводить предварительный анализ и оценивать возможность его предсказа­ния. Примером может быть исследование прогнозирования цен High, Low, Close для российского рынка акций на день вперед. Це­на Close прогнозируется наихудшим образом и имеет наибольшую ошибку. А цены High и Low прогнозируются с переменным успе­хом для разных акций. Вывод о худшем прогнозировании цены Close можно обосновать тем, что в конце торгов последние сделки делают крупные операторы рынка и их поведение не поддается формализации.

Построение сети происходит в два этапа:

- выбор архитектуры сети (числа входов, передаточных функ­ций; способа соединения входов между собой, входов и вы­ходов сети);

- подбор весов (обучение) сети.

Каждая группа моделей нейронных сетей может быть использо­вана для решения лишь некоторого ограниченного класса практи­ческих задач. Так, многослойные и полносвязные нейронные сети с сигмоидальными передаточными функциями используются для рас­познавания образов и адаптивного управления; нейронные сети с локальными связями — для обработки изображений и некоторых других частных задач. Для решения задач линейной алгебры ис­пользуются многослойные сети с особыми передаточными функ­циями.

Выбор оптимальной архитектуры сети в настоящее время не имеет математического решения и проводится на основании опыта и знаний. Большой размер нейросети приводит к затруднению обучения (для сети с 50 входами и 20 нейронами это задача оптимизации в 1000-мерном пространстве). Также уменьшаются обобщающие свой­ства сети, она начинает просто запоминать обучающую выборку. Та­кая сеть будет отлично «прогнозировать» на обучающей выборке, но на новых данных прогноз будет плохим. Чтобы избежать эффекта за­поминания, объем данных должен быть достаточно большим. На­пример, для прогнозирования российских акций на день вперед ми­нимальный рекомендуемый размер выборки — около 200—250 дней.

Выбор структуры НС осуществляется в соответствии с особен­ностями и сложностью задачи. Для решения некоторых отдельных типов задач уже существуют оптимальные на сегодняшний день конфигурации. Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится синтезировать новую конфигурацию. При этом он руководствуется несколькими осново­полагающими принципами: возможности сети возрастают с увели­чением числа ее ячеек, плотности связей между ними и числом вы­деленных слоев; сложность алгоритмов функционирования сети (в том числе, например, введение нескольких типов синапсов — воз­буждающих, тормозящих и др.) также способствует усилению мощи НС. Вопрос о необходимых и достаточных свойствах сети для ре­шения того или иного рода задач представляет собой целое направ­ление нейрокомпыотерной науки. Так как проблема синтеза НС сильно зависит от решаемой задачи, дать общие подробные реко­мендации затруднительно. В большинстве случаев оптимальный ва­риант выбирается интуитивно.

Очевидно, что процесс функционирования НС, т.е. сущность действий, которые она способна выполнять, зависит от величин синаптических связей, поэтому, задавшись определенной структурой НС, отвечающей какой-либо задаче, разработчик сети должен найти оптимальные значения всех переменных весовых коэффициентов (некоторые синаптические связи могут быть постоянными).

Этот этап называется обучением НС, и от того, насколько каче­ственно он будет выполнен, зависит способность сети решать по­ставленные перед ней проблемы во время эксплуатации. На этапе обучения кроме параметра качества подбора весов важную роль иг­рает время обучения. Как правило, эти два параметра связаны об­ратной зависимостью и их приходится выбирать на основе компро­мисса.

Обучение НС может вестись с учителем или без него. В первом случае сети предъявляются значения как входных, так и желатель­ных выходных сигналов, и по некоторому внутреннему алгоритму система подстраивает веса своих синаптических связей. Во втором случае выходы НС формируются самостоятельно, а веса изменяют­ся по алгоритму, учитывающему только входные и производные от них сигналы.

Существует великое множество различных алгоритмов обуче­ния, которые делятся на два больших класса: детерминистские и стохастические. В первом из них подстройка весов представляет со­бой жесткую последовательность действий, во втором она прово­дится на основе действий, подчиняющихся некоторому случайному процессу.

Среди различных конфигураций искусственных нейронных сетей встречаются такие, при классификации которых по принципу обу­чения, строго говоря, не подходит обучение ни с учителем, ни без него. В таких сетях весовые коэффициенты синапсов рассчитывают­ся только единожды, перед началом функционирования сети на ос­нове информации об обрабатываемых данных, и все обучение сети сводится именно к этому расчету. С одной стороны, предъявление априорной информации можно расценивать как помощь учителя, но с другой — сеть фактически просто запоминает образцы до того, как на ее вход поступают реальные данные, и не может изменять свое поведение, поэтому говорить о звене обратной связи с «ми­ром» (учителем) не приходится. Из сетей с подобной логикой рабо­ты наиболее известны сеть Хопфилда и сеть Хэмминга, которые обычно используются для организации ассоциативной памяти.

Задача, решаемая данной сетью в качестве ассоциативной памя­ти, как правило, формулируется следующим образом. Известен не­который набор двоичных сигналов (изображений, звуковых оциф­ровок, прочих данных, описывающих некие объекты или характе­ристики процессов), которые считаются образцовыми. Сеть должна уметь из произвольного неидеального сигнала, поданного на ее вход, выделить («вспомнить» по частичной информации) соответст­вующий ему образец (если такой есть) или «дать заключение» о том, что входные данные не соответствуют ни одному из образцов.

Сети Хопфилда, Хэмминга позволяют просто и эффективно решить задачу воссоздания образов по неполной и искаженной ин­формации. Невысокая емкость сетей (число запоминаемых образов) объясняется тем, что сети не просто запоминают образы, а позво­ляют проводить их обобщение; например, с помощью сети Хэм­минга возможна классификация по критерию максимального прав­доподобия. Вместе с тем легкость построения программных и аппа­ратных моделей делает эти сети привлекательными для многих применений.

На втором, наиболее важном этапе проводится опреде­ление состава входов. Нейросеть умеет отсеивать незначимые вхо­ды, но каждый «лишний» вход утяжеляет сеть, затрудняет обучение, а главное — снижает качество прогноза. При большом числе «лиш­них» входов нейросеть чаще всего делает прогноз «сегодня будет, как вчера, завтра будет, как сегодня». Поэтому необходимо очень аккуратно подходить к добавлению новых входов. Вообще, на вхо­ды нейросетей можно подавать самую разнообразную информацию, как дискретную (различные события) так и непрерывную (цены, индексы, индикаторы). Состав входов обычно является наиболее «сокровенной» тайной разработчика нейросети и держится в секре­те. Наиболее значимыми входами являются индикаторы техниче­ского анализа и различные фондовые индексы.

При правильном обучении НС все основные ее ошибки связан­ны с недостатком входной информации и глобальным изменением состояния объекта прогнозирования. Например, прогноз макси­мальной цены на день вперед для НК ЛУКойл дает наибольшие ошибки прогноза в дни выхода каких-либо новостей, которые сильно влияли на российский рынок акций. НС не может прогно­зировать такие события, как отставки премьер-министров, начало войны, итоги собраний акционеров и другие фундаментальные факторы. Но и в этих случаях нейросеть будет полезной, если зара­нее получить два варианта прогнозов: без переломного события и с ним, — тогда у трейдера уже будут ценовые уровни при разных сценариях развития событий. И в зависимости от ситуации на рын­ке выбирается необходимый прогноз.

На третьем этапе проводится выбор типа нейросетевой технологии и метода ее обучения. Для решения практических задач часто требуются обучающие выборки большого объема, поэтому в ряде нейропакетов предусмотрены средства, облегчающие процесс формирования и использования обучающих примеров. Однако в настоящее время отсутствует универсальная методика построения обучающих выборок, и набор обучающих примеров, как правило, формируется индивидуально для каждой решаемой задачи.

Оказывается, что после многократного предъявления примеров веса сети стабилизируются, причем сеть дает правильные ответы на (почти) все примеры из базы данных. В таком случае говорят, что «сеть натренирована». В программных реализациях можно видеть, что в процессе обучения величина ошибки (сумма квадратов оши­бок по всем выходам) постепенно уменьшается. Когда величина ошибки достигает нуля или приемлемого малого уровня, трениров­ку останавливают, а полученную сеть считают натренированной и готовой к применению на новых данных.

Вся информация, которую сеть имеет о задаче, содержится в наборе примеров. Считается, что для полноценной тренировки тре­буется хотя бы несколько десятков-сотен примеров. Обучение сети — сложный и наукоемкий процесс.

Четвертый этап — подготовка данных. В последние го­ды конъюнктура финансовых рынков претерпела значительные из­менения, вследствие которых стала динамичнее. В связи с этим возникла необходимость использования специальных механизмов обучения (неравномерной выборки данных), при которых больший вес имеют более новые данные. Кроме этого, при подготовке дан­ных необходимо руководствоваться следующим правилом: исходные данные должны быть непротиворечивы. Для решения этой пробле­мы, возможно, потребуется увеличить число входов [8].

В процессе работы периодически по мере изменения рынка и его перехода на новые уровни (минимум или максимум) необходи­мо проводить переобучение нейросетей на новых данных.

Поиск по сайту: