Обучение

Бэктест vs живая торговля — какая часть разрыва уже была в тесте

Вы вышли в живую торговлю, и кривая умерла. Первые подозреваемые в выдаче — проскальзывание и психология; оба настоящие, но ни один не диагноз. Разрыв между бэктестом и живым счётом — это как минимум две разные проблемы под одним именем, и лечение зависит от того, в какой половине вы находитесь.

Первая половина: бэктест врал — исполнение той же свечи, неоплаченные издержки, Sharpe, оказавшийся лучшим из многих попыток. Вторая: бэктест был честным, а живая торговля всё равно отличается, потому что исполнение, режим рынка и ёмкость полностью не моделируются. Судимый бэктест уже снимает большую часть первой половины — поэтому полезный вопрос не «есть ли разрыв», а «какая часть моего разрыва уже была в тесте».

Сначала разложите разрыв, потом ищите виноватых

Каждая строка ниже живёт либо внутри теста, либо снаружи. Сводить их к одному числу — почему трейдеры продолжают покупать более качественные данные, когда проблема была в модели исполнения.

Часть разрываЧто этоСудимый тест это убирает?
Исполнение той же свечиОрдер закрыт по цене бара, который дал сигналДа — заменено открытием следующего бара
Неоплаченные издержкиКомиссия, спред и проскальзывание отсутствуют в кривойДа — профиль издержек на каждый ордер, тропа напечатана
Удачный Sharpe на множестве попытокЛучший результат многих прогонов выдаётся за ожиданиеДа — порог растёт вместе с числом попыток
Задержка и маршрутизацияЖивой ордер доходит до площадки позже, чем считал тестНет
Режим спредаВаше время торговли шире исторической моделиЧастично — модельный спред, оптимистичный профиль помечен
ЁмкостьВаш размер съедает больше доли объёма бараЧастично — лимит объёма с частичными исполнениями
Режим рынкаЖивой период ведёт себя иначе, чем тестовыйНет — это проверяет только форвардный трек
Ваше собственное исполнениеСомнения, ручные переопределения, смена размераНет

Первые три строки и есть причина, по которой существует судимый бэктест. Если ордер всё ещё закрывается по закрытию сигнального бара, комиссии нет, а в отчёте лучший из сорока наборов параметров, разрыв, который вы увидите в живой торговле, был произведён на графике, а не на рынке.

Что честный тест уже содержит

Трёх поправок достаточно, и каждая снимает целый класс неожиданностей.

Fill по следующей свече. Сигнал сформирован на баре i, ордер отправлен после этого, исполнение — на открытии бара i+1 плюс модельное проскальзывание. Вы теряете закрытие сигнального бара, и это честная цена за то, что вы не заглядываете вперёд. Живая торговля добавит сверху ещё задержку, но теперь разница — прибавка, а не пропасть.

Издержки на каждом исполнении. Комиссия, половина спреда не в вашу пользу и слагаемое проскальзывания списываются со сделки, а отчёт печатает, сколько годовых они съели, строкой cost_drag_pct. Стратегия, которая убыточна только с издержками, никогда не была прибыльной — в тесте она просто торговала бесплатно.

Порог, который следует за числом попыток. Sharpe без числа прогонов за ним — это подпись, а не измерение. Планка пересчитывается от количества испытаний (сколько бэктестов уже слишком), а та же мысль про саму метрику — в статье про коэффициент Шарпа.

Что остаётся после честной модели исполнения

Честная логика исполнения всё равно остаётся моделью, и за ней остаются три остатка.

Качество исполнения. Открытие следующего бара — приближение живого рыночного ордера, а не его копия: площадка видит ваш ордер на несколько миллисекунд позже, луч уже ушёл, и на быстрых инструментах этот уход стоит реальных денег, которые тест оценить не может. Гэпы через стоп живут по тем же законам. Стоп висит на 100, рынок открывается на 94 — исполнение будет на 94, а не на 100. Тест об этом честно сообщает, и живая торговля сообщает то же самое, поэтому убыток выглядит одинаково и всё равно удивляет.

Размер и ёмкость. У бара есть объём, и ордер не может съесть больше фиксированной его доли — 10% дневного бара и 1% минутного как рабочее правило по умолчанию. Излишек исполняется частичными кусками на следующих барах или отменяется. Ваш живой счёт упирается в это раньше, чем вы думаете: ту же ликвидность забирают ещё участники.

Режим. Бэктест, какой бы судимый он ни был, проигрывает одну историю. Если живой период открывается в другом режиме волатильности, внутри теста узнать об этом было нечем — это проверяет только будущее, ради чего и затевается форвардный трек из вневыборочного теста.

Численный пример — арифметика, а не измерение. Пусть протестированная стратегия делает 120 сделок в год, а разрыв в 10 процентных пунктов годовых вы разбираете по статьям: 120 сделок × 3.5 базисных пункта дополнительного живого проскальзывания дают 4.2 пункта; более широкий спред в вашем торговом окне — 2.8 пункта; одна неблагоприятная полоса режима — 3 пункта. Сумма сходится, и вывод напрашивается первый: правьте исполнение, потому что это единственная статья, которой вы управляете. Суть в методе: раскладывайте разрыв на оценочные слагаемые раньше, чем придумываете нарратив.

Опубликованное независимое наблюдение

Самое сильное публичное свидетельство того, что красивые бэктесты протекают, приходит извне маркетинга нашей отрасли. Опубликованное независимое 30-дневное исследование одного популярного сервиса портфельной торговли зафиксировало: бэктесты обещали годовые 11.4%, 13.1% и 16.8%, а живой счёт отстал на 8–15 процентных пунктов в год, и исследование прямо назвало причину — исполнение шло по тем ценам, которые бэктест принял на веру. Относитесь к этому как к датированному стороннему наблюдению, а не как к ориентиру для любой платформы, включая эту: ценность здесь в задокументированном механизме, а перед цитированием числа его стоит сверить с первоисточником.

Вывод работает независимо от точной цифры: доминирующая часть разрива обычно приходится на цену, по которой тест предположил вам торговаться. Это проблема модели исполнения, и она относится к первой половине разрыва — той, что судимый бэктест снимает ещё до выхода в живую.

Бумажная торговля — это ни live, ни holdout

Бумага на живой ленте выглядит компромиссом между бэктестом и реальностью, и она им является, но не покупает то свойство, которое в ней ищут. Лента живая, процесс — нет: после неудачной недели можно перенастроить правило, знание о нём остаётся полным, а модель исполнения и очередь на исполнение всё так же считает симулятор по-своему. Бумага сразу после настройки — это не вневыборочный тест, это дополнительное инсэмпл-время в живой цене, без печати описанный в статье про запечатанный holdout.

Бумага приносит пользу только после регистрации: заморозьте правило, прогнайте его на бумаге без изменений и сравните результат с тем, что обещал бэктест. В наших отчётах это сравнение называется «форвард против ожидания», и оно держится именно потому, что во время накопления данных ничего не правилось.

Чего эта платформа не закроет

Normal Trading — исследовательская лаборатория, а не площадка исполнения, и говорить об этом точно — часть продукта. Маршрутизация, работа со стаканом, позиция в очереди, частичные исполнения по лучу и приоритет на бирже по определению лежат вне барного replay. Мы считаем исполнение на открытии следующего бара с профилем издержек, ограничиваем заявку долей объёма бара и помечаем в отчёте оптимистичные настройки; дальше качество исполнения — работа вашего брокера.

Если ваше преимущество живёт в стакане — маршрутизация с задержкой меньше секунды, приоритет в очереди, маркетмейкинг, — никакая барная платформа этот разрыв не закроет, и правильный переезд в среду исполнения к брокеру или к стеку исследований через код. Если преимущество — это правило на барах, лаборатория подходит, а тот разрыв, который важен, судимый тест уже оценил.

Как читать разрыв после выхода в живую

  1. Сверьте живые исполнения с принятыми в тесте — по каждой сделке. Разница в базисных пунктах на круг и есть ваша реальная цена исполнения.
  2. Проверьте, была ли протестированная метрика нетто издержек и прочитана рядом с порогом по числу попыток. Если нет — это был не бэктест, а демонстрация.
  3. Убедитесь, что поведение стопов совпадает: гэп через стоп исполняется на следующем открытии — в тесте и на вашем счёте одинаково.
  4. Спросите, не превышает ли ваш размер ту долю объёма, которую тест разрешал. Если превышает, тестился другой, более мелкий вариант стратегии.
  5. И только потом режим рынка — единственная статья, которую нельзя оценить заранее и единственная, которую имеет смысл переждать.

Если судимый бэктест уже проваливается, выход в живую «посмотреть, что будет» покупает дорогую версию того же ответа, а просадка за него считается на нетто-кривой (максимальная просадка). Если он прошёл, следующий честный шаг — форвардный трек на замороженном правиле, и начать его можно с одного зарегистрированного replay по адресу /chart.