Вы вышли в живую торговлю, и кривая умерла. Первые подозреваемые в выдаче — проскальзывание и психология; оба настоящие, но ни один не диагноз. Разрыв между бэктестом и живым счётом — это как минимум две разные проблемы под одним именем, и лечение зависит от того, в какой половине вы находитесь.
Первая половина: бэктест врал — исполнение той же свечи, неоплаченные издержки, Sharpe, оказавшийся лучшим из многих попыток. Вторая: бэктест был честным, а живая торговля всё равно отличается, потому что исполнение, режим рынка и ёмкость полностью не моделируются. Судимый бэктест уже снимает большую часть первой половины — поэтому полезный вопрос не «есть ли разрыв», а «какая часть моего разрыва уже была в тесте».
Сначала разложите разрыв, потом ищите виноватых
Каждая строка ниже живёт либо внутри теста, либо снаружи. Сводить их к одному числу — почему трейдеры продолжают покупать более качественные данные, когда проблема была в модели исполнения.
| Часть разрыва | Что это | Судимый тест это убирает? |
|---|---|---|
| Исполнение той же свечи | Ордер закрыт по цене бара, который дал сигнал | Да — заменено открытием следующего бара |
| Неоплаченные издержки | Комиссия, спред и проскальзывание отсутствуют в кривой | Да — профиль издержек на каждый ордер, тропа напечатана |
| Удачный Sharpe на множестве попыток | Лучший результат многих прогонов выдаётся за ожидание | Да — порог растёт вместе с числом попыток |
| Задержка и маршрутизация | Живой ордер доходит до площадки позже, чем считал тест | Нет |
| Режим спреда | Ваше время торговли шире исторической модели | Частично — модельный спред, оптимистичный профиль помечен |
| Ёмкость | Ваш размер съедает больше доли объёма бара | Частично — лимит объёма с частичными исполнениями |
| Режим рынка | Живой период ведёт себя иначе, чем тестовый | Нет — это проверяет только форвардный трек |
| Ваше собственное исполнение | Сомнения, ручные переопределения, смена размера | Нет |
Первые три строки и есть причина, по которой существует судимый бэктест. Если ордер всё ещё закрывается по закрытию сигнального бара, комиссии нет, а в отчёте лучший из сорока наборов параметров, разрыв, который вы увидите в живой торговле, был произведён на графике, а не на рынке.
Что честный тест уже содержит
Трёх поправок достаточно, и каждая снимает целый класс неожиданностей.
Fill по следующей свече. Сигнал сформирован на баре i, ордер отправлен после этого, исполнение — на открытии бара i+1 плюс модельное проскальзывание. Вы теряете закрытие сигнального бара, и это честная цена за то, что вы не заглядываете вперёд. Живая торговля добавит сверху ещё задержку, но теперь разница — прибавка, а не пропасть.
Издержки на каждом исполнении. Комиссия, половина спреда не в вашу пользу и слагаемое проскальзывания списываются со сделки, а отчёт печатает, сколько годовых они съели, строкой cost_drag_pct. Стратегия, которая убыточна только с издержками, никогда не была прибыльной — в тесте она просто торговала бесплатно.
Порог, который следует за числом попыток. Sharpe без числа прогонов за ним — это подпись, а не измерение. Планка пересчитывается от количества испытаний (сколько бэктестов уже слишком), а та же мысль про саму метрику — в статье про коэффициент Шарпа.
Что остаётся после честной модели исполнения
Честная логика исполнения всё равно остаётся моделью, и за ней остаются три остатка.
Качество исполнения. Открытие следующего бара — приближение живого рыночного ордера, а не его копия: площадка видит ваш ордер на несколько миллисекунд позже, луч уже ушёл, и на быстрых инструментах этот уход стоит реальных денег, которые тест оценить не может. Гэпы через стоп живут по тем же законам. Стоп висит на 100, рынок открывается на 94 — исполнение будет на 94, а не на 100. Тест об этом честно сообщает, и живая торговля сообщает то же самое, поэтому убыток выглядит одинаково и всё равно удивляет.
Размер и ёмкость. У бара есть объём, и ордер не может съесть больше фиксированной его доли — 10% дневного бара и 1% минутного как рабочее правило по умолчанию. Излишек исполняется частичными кусками на следующих барах или отменяется. Ваш живой счёт упирается в это раньше, чем вы думаете: ту же ликвидность забирают ещё участники.
Режим. Бэктест, какой бы судимый он ни был, проигрывает одну историю. Если живой период открывается в другом режиме волатильности, внутри теста узнать об этом было нечем — это проверяет только будущее, ради чего и затевается форвардный трек из вневыборочного теста.
Численный пример — арифметика, а не измерение. Пусть протестированная стратегия делает 120 сделок в год, а разрыв в 10 процентных пунктов годовых вы разбираете по статьям: 120 сделок × 3.5 базисных пункта дополнительного живого проскальзывания дают 4.2 пункта; более широкий спред в вашем торговом окне — 2.8 пункта; одна неблагоприятная полоса режима — 3 пункта. Сумма сходится, и вывод напрашивается первый: правьте исполнение, потому что это единственная статья, которой вы управляете. Суть в методе: раскладывайте разрыв на оценочные слагаемые раньше, чем придумываете нарратив.
Опубликованное независимое наблюдение
Самое сильное публичное свидетельство того, что красивые бэктесты протекают, приходит извне маркетинга нашей отрасли. Опубликованное независимое 30-дневное исследование одного популярного сервиса портфельной торговли зафиксировало: бэктесты обещали годовые 11.4%, 13.1% и 16.8%, а живой счёт отстал на 8–15 процентных пунктов в год, и исследование прямо назвало причину — исполнение шло по тем ценам, которые бэктест принял на веру. Относитесь к этому как к датированному стороннему наблюдению, а не как к ориентиру для любой платформы, включая эту: ценность здесь в задокументированном механизме, а перед цитированием числа его стоит сверить с первоисточником.
Вывод работает независимо от точной цифры: доминирующая часть разрива обычно приходится на цену, по которой тест предположил вам торговаться. Это проблема модели исполнения, и она относится к первой половине разрыва — той, что судимый бэктест снимает ещё до выхода в живую.
Бумажная торговля — это ни live, ни holdout
Бумага на живой ленте выглядит компромиссом между бэктестом и реальностью, и она им является, но не покупает то свойство, которое в ней ищут. Лента живая, процесс — нет: после неудачной недели можно перенастроить правило, знание о нём остаётся полным, а модель исполнения и очередь на исполнение всё так же считает симулятор по-своему. Бумага сразу после настройки — это не вневыборочный тест, это дополнительное инсэмпл-время в живой цене, без печати описанный в статье про запечатанный holdout.
Бумага приносит пользу только после регистрации: заморозьте правило, прогнайте его на бумаге без изменений и сравните результат с тем, что обещал бэктест. В наших отчётах это сравнение называется «форвард против ожидания», и оно держится именно потому, что во время накопления данных ничего не правилось.
Чего эта платформа не закроет
Normal Trading — исследовательская лаборатория, а не площадка исполнения, и говорить об этом точно — часть продукта. Маршрутизация, работа со стаканом, позиция в очереди, частичные исполнения по лучу и приоритет на бирже по определению лежат вне барного replay. Мы считаем исполнение на открытии следующего бара с профилем издержек, ограничиваем заявку долей объёма бара и помечаем в отчёте оптимистичные настройки; дальше качество исполнения — работа вашего брокера.
Если ваше преимущество живёт в стакане — маршрутизация с задержкой меньше секунды, приоритет в очереди, маркетмейкинг, — никакая барная платформа этот разрыв не закроет, и правильный переезд в среду исполнения к брокеру или к стеку исследований через код. Если преимущество — это правило на барах, лаборатория подходит, а тот разрыв, который важен, судимый тест уже оценил.
Как читать разрыв после выхода в живую
- Сверьте живые исполнения с принятыми в тесте — по каждой сделке. Разница в базисных пунктах на круг и есть ваша реальная цена исполнения.
- Проверьте, была ли протестированная метрика нетто издержек и прочитана рядом с порогом по числу попыток. Если нет — это был не бэктест, а демонстрация.
- Убедитесь, что поведение стопов совпадает: гэп через стоп исполняется на следующем открытии — в тесте и на вашем счёте одинаково.
- Спросите, не превышает ли ваш размер ту долю объёма, которую тест разрешал. Если превышает, тестился другой, более мелкий вариант стратегии.
- И только потом режим рынка — единственная статья, которую нельзя оценить заранее и единственная, которую имеет смысл переждать.
Если судимый бэктест уже проваливается, выход в живую «посмотреть, что будет» покупает дорогую версию того же ответа, а просадка за него считается на нетто-кривой (максимальная просадка). Если он прошёл, следующий честный шаг — форвардный трек на замороженном правиле, и начать его можно с одного зарегистрированного replay по адресу /chart.