Переобучение советника: возможности и ограничения форвард-теста

Переобучение происходит, когда выбор параметров соответствует истории, использованной для их выбора, но не может обобщать. Зарезервируйте нетронутый период, определите правила оценки перед настройкой и ведите учет каждого эксперимента, а не только выигрышных настроек.

Почему поиск большего количества комбинаций меняет вопрос

Предположим, вы тестируете 200 комбинаций параметров и представляете только лучшую. Выбранный результат отражает как стратегию, так и процесс поиска. Сильный на вид победитель, возможно, выиграл от особенностей, свойственных этому образцу.

Это наблюдение не является доказательством бесполезности данной стратегии. Это повод задаться вопросом, как был выбран кандидат и какие доказательства остаются независимыми от выбора. Запишите диапазоны поиска и количество попыток вместе с окончательной предустановкой.

Отдельная разработка от оценки

MT5 предоставляет опцию форвардного тестирования, которая резервирует более позднюю часть исторического интервала и оценивает выбранные результаты оптимизации там. См. официальное руководство по оптимизации и дальнейшему тестированию. Это исторический тест на устойчивость; это отличается от запуска демо-счета по мере поступления новых цен.

Для наглядного плана исследования разработайте январь-декабрь одного года и зарезервируйте следующие шесть месяцев. Эти даты являются примером, а не универсальным расколом. Доступная история, частота стратегий и изменения рыночных условий должны учитываться при разработке.

Напишите правила оценки, прежде чем искать

• Какие меры будут пересмотрены помимо прибыли?
• Какие затраты и правила определения размера позиции остаются фиксированными?
• Какое поведение заставило бы вас отвергнуть кандидата или начать расследование?
• Как будет сообщаться о небольшом количестве сделок или неполных данных?

Не изменяйте параметры повторно после проверки «нетронутого» периода и описывайте его как независимый. Как только они повлияют на ваши решения, они станут данными разработки. Сохраните эту историю в протоколе и ищите новые доказательства для следующей оценки.

Проверьте чувствительность к параметрам

Попробуйте близкие значения параметров в качестве упражнения на чувствительность. Если изменение порога с 20 на 19 или 21 приводит к резкому изменению, выясните, почему. Более широкая область подобного поведения может быть более информативной, чем один изолированный пик, хотя ни один из них не доказывает надежность в будущем.

Затем изменяйте по одному предположению о выполнении за раз. Кандидат, который зависит от необычайно выгодных затрат, заслуживает более пристального внимания. Сохраняйте все намеренно подчеркнутые настройки помеченными, чтобы их не перепутали с исходной спецификацией брокера.

Используйте демонстрационное наблюдение для другого вопроса

Несогласные с историей спрашивают, ведут себя ли выбранные правила аналогичным образом в другой истории. Демонстрационное наблюдение может выявить эксплуатационные проблемы, такие как планирование, ведение журнала и поведение при повторном подключении. Справочник тестера MQL5 документирует различия между средой тестирования и нормальной работой.

Создайте краткий журнал исследований с указанием кандидата, периода отбора, периода ожидания, предположений, результатов и следующих действий. Оставьте также неудавшихся кандидатов. Продолжить с Анализ стоимости исполнения при рассмотрении многообещающего результата и не рассматривайте форвардное тестирование или демо-счет как сертификат прибыльности.

Вернуться к началу