Какие еще ошибки встречаются при оптимизации

Например, если при оптимизации используется недостаточная выборка данных, то оптимизация, скорее всего, даст слишком маленькое количество сделок, что не обеспечит статистическую значимость полученных результатов. Это в свою очередь не позволит нам спокойно спать по ночам, то есть метод не будет достаточно нами изучен, что бы у нас появилась в него вера. И при первом же неблагоприятном периоде мы откажемся от следования сигналам донной торговой методики.

Если оптимизация выполнена на нерепрезентативной выборке данных, модель с большой вероятностью покажет плохие результаты, когда неожиданно столкнется с другими условиями рынка или тренда. Это значит, что если мы взяли для тестирования слишком маленькую историю либо исторический период, в котором главенствовала лишь одна тенденция, то в будущем при смене рыночной тенденции наша система окажется не работоспособной, так как мы не учли при ее разработке все фазы рыночного цикла.

Ошибка при оптимизации приведет к такому явлению, которое называется «постройка под кривую доходности», об этом более подробно поговорим чуть позже.

Торговый метод, который прошел оптимизацию на большой и репрезентативной выборке исторических данных при достаточном числе степеней свободы, имеет устойчивые параметры, будет устойчиво повторять полученные показатели в условиях будущего поведения рынка.

Если наш торговый метод построен на индикаторах технического анализа, то у каждого индикатора есть период усреднения. Перебирать весь спектр величин усреднения не стоит, так как на эффективность нашего торгового метода влияют переменные в узком диапазоне. В процессе оптимизации следует использовать параметры метода, оказывающие наибольшее влияние на ее эффективность. Если параметр слабо влияет на эффективность, нет оснований делать его кандидатом на оптимизацию. Вместо этого ему следует присвоить на время оптимизации фиксированное значение (константу).

Если значимый спектр параметров метода неизвестны, то для его определения необходимы дополнительные шаги. Простейший способ сделать это — сканировать диапазон параметров для каждой переменной метода отдельно, один зараз. Остальным параметрам присвоить фиксированные значения (константы). Если сканирование определенного диапазона параметров показывает сильное изменение эффективности метода, то этот диапазон параметров усреднения значим. Если же сканирование показывает небольшое изменение эффективности или отсутствие такового, данная переменная не является значимой. Кроме того, при этом возникает вопрос, нужна ли вообще эта переменная в торговой модели. Опираясь на результаты предварительного сканирования, вы можете зафиксировать значения подобных параметров (присвоить им константу) или исключить их из модели.

При выборе пригодного диапазона для тестирования параметра руководствуйтесь двумя принципами. Первое, диапазон должен соответствовать данному индикатору, правилу или модели. Другими словами, сканирование диапазона от 1 до 1000 дней для краткосрочной скользящей средней противоречит понятию краткосрочности и выходит далеко за рамки обычного диапазона, применяемого для скользящих средних. Для краткосрочной скользящей средней более разумным был бы диапазон сканирования от 1 до 13 дней.

Если Вы решили перебрать при оптимизации большей спектр переменных, например, сканирование диапазона от 1 до 200 с шагом 1, то данная процедура займет большее количество времени. И более разумно, для экономии времени, сначала протестировать этот пласт с шагом 10. После выявления примерного диапазона, в котором при изменении параметра усреднения индикатора торговый метод остро на это реагирует провести сканирование этого диапазона с шагом 5, и так далее пока диапазон сканирования не сузится до того, что его можно уже будет сканировать с шагом 1.

Размер шага, с которым сканируется диапазон, важен не только с точки зрения потребности в машинном времени. Сканирование переменной от 1 до 200 с шагом 1 будет повышать вероятность подстраивания под кривую и снижать доверие к результатам. Слишком тщательное сканирование переменной может по невнимательности привести вас к «настраиванию на кривую», особенно если вами не были приняты надлежащие меры предосторожности от выбора всплеска прибыли вместо холма прибыли.

Отбор подходящих данных для тестирования и оптимизации подчиняется двум правилам: объем выборки должен быть достаточно большим, чтобы обеспечить статистическую достоверность, и выборка должна включать достаточно широкий диапазон рыночных условий. Эти факторы также взаимозависимы. Объем тестовых данных должен быть достаточным для генерации статистически значимой выборки сделок. В идеале, в выборке должно быть, как минимум 30 сделок, и чем больше, тем лучше. Выборка данных должна быть репрезентативной относительно рынка в целом. Она должна содержать как можно больше типов рынка: бычьего, медвежьего или застойного. Она также должна содержать максимально возможное число различных уровней волатильности: высоких, средних и низких.

При оптимизации так же необходимо выбрать метод оценки результатов. Цель — использовать метод оценки, отбирающий в процессе оптимизации наиболее устойчивую торговую модель. В зависимости от требований, предъявляемых разными типами торговых моделей, методы оценки тоже могут быть разными.

Результаты оптимизации требуют оценки. В первую очередь, необходимо оценить их на статистическую значимость. Если найден метод, у которого примерно 1% всех тестовых прогонов оказывается прибыльным, то, по всей вероятности, данный метод в статистическом плане является несостоятельным, а потому, скорее всего, не будет достаточно устойчивым. Аналогично, если лишь 5% всего теста будет иметь предельно-допустимую прибыльность, такой метод так же, скорее всего, будет статистической аномалией, не имеющей достаточной устойчивости.

Следовательно, чтобы иметь к найденным параметрам усреднения нашего торгового метода, а соответственно и ко всему методу, какое-то доверие, средний результат всех тестов должен быть прибыльным. Чем выше процент прибыльных периодов усреднения у нашего торгового метода, тем выше вероятность, что наш торговый метод состоятелен, если, конечно, тестовый диапазон был достаточно широким.

Второй способ оценки результатов оптимизации это графический и он описан выше. Так как является самым оптимальным способом выбора параметра усреднения нашей торговой методики.

Хорошая оптимизация должна начинаться с отбора включаемых в нее переменных — тех, которые наиболее значимы для результатов. Далее, для отобранных переменных должны быть определены подходящие диапазоны сканирования. Необходимо определить надлежащий объем выборки данных, чтобы охватить как можно больше разных состояний рынков. Для выбора наиболее устойчивой модели необходимо использовать правильный метод оценки модели. Доверие к произведенной оптимизации может быть обеспечена лишь посредством выполнения перечисленных шагов.

Так же для увеличения доверия к своему торговому методу можно провести мультирыночную имультипереодную оптимизацию. Цель такой оптимизации — получить более точное представление о прибыли и риске, исходя из эффективности модели с оптимальными параметрами. Чтобы определить универсальность и устойчивость торговой модели, ее оптимизируют на диверсифицированной корзине рынков. Чем больше рынков, на которых модель может торговать, тем она полезней. Тестирование на более широкой базе обеспечивает большую статистическую достоверность.

Также проводится оптимизация модели на наборе разных временных параметров. Тренды меняются. Волатильность меняется. Ликвидность меняется. Фундаментальные условия спроса и предложения тоже меняются. Следовательно, модель, торгующая хорошо лишь на некоторых временных периодах и плохо — на остальных, требует дальнейших исследований.

Так как оптимизация — это последний этап при построении торгового метода, и после этого этапа можно выходить на рынок с живыми деньгами, то требуется нечто, что подытожило процесс разработки торгового метода. К такому резюмированию можно отнести форвардный тест. Что такое форвардный тест? Это тест является критерием оценки пост оптимизационной эффективности. Форвардный тест состоит из двух шагов. Сна­чала торговый метод оптимизируется на некотором историческом отрезке. Затем она тестируется на новом отрезке истории. Основная цель форвардного теста — определить, реальна ли эффективность оптимизируемого торгового метода или она является результатом подстройки под кривую доходности.

Эффективность торгового метода считается «реальной», если метод показывает незначительные изменения своих параметров эффективности на оптимизационном и пост оптимизационном периоде. Если же результаты на обеих периодов различаются, то метод является подстроенным под кривую доходности, другими словами, ее пост оптимизационные, форвардные результаты явно ниже результатов, полученных во время оптимизации. Если торговая модель демонстрирует более низкую форвардную эффективность, трейдер должен, либо отказаться от нее, либо готовиться к принятию данного уровня доходности. Идеально разработанная и оптимизированная торговая модель будет иметь при пост оптимизационномтрейдинге аналогичную норму прибыли, что и при оптимизационном тестировании. Работоспособная торговая модель может превысить оптимизационную эффективность, если пост оптимизационные рыночные условия обеспечивают больший потенциал прибыли, чем рыночные условия на момент оптимизации.

Форвардный тест — это двух шаговый процесс: первый шаг — оптимизация, второй — тестирование значений параметров метода, определенных на стадии оптимизации на иных временных отрезках. Форвардный анализ строится так, чтобы выполнить достаточно большое число тестов для устранения случайности результатов. Добиться такой надежности позволяет тест, включающий не менее 10 форвардных тестов. Еще одна цель форвардного анализа — получить более точную картину профиля прибыли и риска на основе большей и более статистически достоверной выборки.

Форвардный анализ — это точная имитация торговли, которую оптимизируемый торговый метод будет показывать в реальной торговле. Возникает важный вопрос — как часто торговую систему следует реоптимизировать? Если система достигает пиковой эффективности, когда она посредством оптимизации адаптирована к текущим рыночным условиям, то в некоторый момент реоптимизация ей потребуется. Рыночные условия меняются. Торговая модель тоже должна меняться. В результате встает вопрос — когда ее следует реоптимизировать? Если размер тестового окна равен одному году, то реоптимизировать модель надо через семь-восемь месяца торговли, и точно так же если размер тестового окна равен восьми годам, то реоптимизировать модель надо через пять лет торговли.

Поиск по сайту: