Почти все частные бэктесты делят историю одинаково: последние 30% — «под проверку». Такой разрез не заменяет печать ни в одном месте. Вы уже пролистали весь график и составили мнение об его окончании. Граница задана процентом, поэтому доливка новых баров двигает её молча. И сделка, открытая в обучающей выборке, часто закрывается уже в тестовой — цены проверяемого периода возвращаются в решения обучающего.
Вневыборочный тест — это не кусок данных, который отрезают, когда закончили настраивать. Это протокол: даты фиксируются в момент регистрации, на стыках выбрасываются бары, правило сохраняется как хеш, запечатанный holdout открывается один раз. Порядок здесь не формальность, и статья идёт в том же порядке, в каком нужно действовать.
Обучающая, валидационная и тестовая выборка: кто что видел
Различие — не в названии, а в ответе на один вопрос: была ли часть решения принята на этих данных.
| Выборка | Кто её видел | Что здесь можно менять | Как часто открывается |
|---|---|---|---|
| Обучающая (in-sample) | вы, сколько угодно раз | правило, параметры, фильтры, размер позиции | без ограничений |
| Валидационная | вы, после фиксации кандидатов | выбор между несколькими замороженными вариантами | во время настройки |
| Тестовая (holdout) | никто | ничего | один раз, на вердикте |
| Форвард | никто — таких данных ещё не было | ничего | по мере наступления времени |
Обучающая выборка — место, где стратегии разрешено ошибаться: меняйте параметры там хоть каждый день, вы тратите только время. Тестовая выборка — место, где задают вопрос. Как только число изменилось из-за того, что вы увидели в holdout, это окно стало обучающим, и никакая статистика это не откатывает.
Поэтому повторная настройка после просмотренного holdout — самое частое нарушение протокола в рознице: трейдер правит один фильтр, перезапускает и сообщает второй результат так, будто первого взгляда не было. Каждый лишний взгляд — лишнее испытание, а число испытаний поднимает планку, которую нужно пройти (сколько бэктестов уже слишком).
Процентный разрез не заменяет печать
Три механики ломают разрез в процентах, и ни одна из них не требует недобросовестности.
Первая: доливка истории переразрезает всё заново. «Последние 30%» — это формула, а не окно. Приехали новые бары — граница уехала, а окно, которое вы считали закрытым, оказалось в другом месте. Holdout, который двигается под ногами, никогда не был holdout. Вторая: предварительный просмотр портит независимо от кода. Если вы выбрали фильтр, глядя на конец графика, информация уже ушла в правило, и разрез её не вернёт. Третая: правило, которое ещё правится после разреза, делает разрез декоративным — утечка именно в правке, и дата на графике её не покажет.
Регистрация меняет формулы на даты. В момент регистрации штампуются четыре отрезка — обучающая, валидационная, тестовая, форвард, — правило сохраняется как хеш, а открытие holdout становится одним записанным событием. Новая история продолжает только форвардный трек: запечатанное окно сохраняет исходные даты, и прогон через год судится по тем же барам.
Что должно лежать в записи регистрации, проверяется быстро: четыре даты, хеш правила, версия движка, профиль издержек и номер испытания, которое добавляет прогон. Если хоть одно из этих полей меняется без изменения записи, у печати есть вторая дверь — протокол, который нельзя проверить, нельзя и доверять, когда результат разочарует.
Purge и embargo на стыках
Утечка на границе устроена механически. Правило с горизонтом удержания в 20 баров, открытое на последнем баре обучения, закрывается на двадцатом баре валидационной. Его результат посчитан из цен, которые обучающая выборка не должна была видеть, а любой выбор параметра после этого молча их усвоил.
Purge (очистка) убирает из обучения все наблюдения, чей интервал [t, t+h] заходит за стык, где h — горизонт удержания или горизонт разметки признака. Embargo (пауза) затем выбрасывает полосу баров сразу после стыка — размером с максимум из примерно 1% окна и самого горизонта. Оба стыка получают одинаковую обработку: обучение к валидации, валидация к тесту. Горизонт режет в обе стороны: признак, чья метрика собирается из следующих 20 баров, течёт ровно так же, как позиция, продержанная 20 баров, поэтому в h считается и окно разметки.
Численный пример. Горизонт h = 20 баров, обучающее окно T = 6 000 баров. Purge снимает последние 20 баров обучения. Embargo снимает max(0.01 × 6 000, 20) = 60 баров после стыка. Итого 80 баров — около 1.3% окна. Это дешёвая цена за вердикт, посчитанный не на утёкших ответах.
Walk-forward или скан стабильности
Скользящие переходы из инсэмпла во внеоборотные данные являются вневыборочными только при условии: параметры выбираются отдельно внутри каждого собственного обучающего окна фолда либо зафиксированы заранее, до того как нарисован первый фолд. Тогда каждый фолд проверяет решение, которое ему не разрешалось принимать.
Численный пример: шесть лет дневных баров, окно обучения 12 месяцев, тестовое окно 3 месяца с шагом в месяц. Получается 12 фолдов и 36 месяцев склеенной тестовой кривой, причём параметры каждого фолда взяты только из его собственных 12 месяцев.
Два окна допустимы, и выбор делается до чтения результатов. Скользящее окно постоянной длины забывает далёкое прошлое и честнее для инструментов со сменой режима; растущее обучается с начала истории и подходит медленным стратегиям, которым нужно десятилетие. Указать, какое использовали вы, — часть отчёта.
Смотреть нужно на отношение склеенного тестового Шарпа к инсэмпл-Шарпу (что вообще измеряет это число — коэффициент Шарпа). Ниже примерно 0.5 — процедура подбора ловит преимущественно шум. Это утверждение о процессе, а не о конкретных значениях параметров, поэтому фиксация одного параметра его не лечит.
Если границы фолдов нарисованы после того, как вы просмотели весь ряд, или параметры перебирались после взгляда на склеенную кривую, у вас перед глазами скан стабильности. Он честно показывает, как правило ведёт себя по истории, и в отчёте так и должен называться — а не выдаваться за невидимые данные.
Три отчёта подряд
Research первым: есть ли вообще эффект — издержки в стороне, счётчик испытаний молчит, прогон дешёвый и одноразовый. Run вторым: издержки применены, счётчик испытаний увеличен, рядом с заглавным числом печатается порог — в интерфейсе это выглядит как Sharpe 0.94 против требуемых 1.47 при 11 эффективных испытаниях, пример интерфейса из демо-копии, а не живой счёт. Вердикт третьим: форвард против ожидания, со штампом и без возможности правки задним числом.
«Прошёл Research, провалил Run» — самый частый честный исход, и проваливаться дешевле всего именно здесь. Три числа, которые стоит прочитать в Run: метрику после вычета издержек (издержки бэктеста), просадку на нетто-кривой (максимальная просадка) и порог, который требует ваше число попыток. Вердикт без одного из трёх — вердикт о кривой, а не о стратегии.
Форвард: данные, которых ещё не было
Единственная честная кнопка сброса называется временем. Заморозьте правило, зарегистрируйте его — и дальше просто ждите, пока накопятся месяцы. Форвард невозможно подогнать под себя, потому что в момент настройки его не существовало: никакая дисциплина не создаёт такое свойство, только календарь.
Штамп на форварде отвечает на другой вопрос, чем любой holdout. Тестовый разрез спрашивает, пережила ли стратегия историю, которую ей запретили подгонять; форвард спрашивает, пережила ли она время после того, как правило стало известно, — в том числе вам самим. Это более трудный вопрос, и именно он решает, увеличивать ли размер; контраст разобран в бэктест vs живая торговля.
Размер выборки честен в обе стороны. Три месяца форварда не могут ни осудить стратегию, ни оправдать её, а новые данные копятся медленнее всего. Поэтому форвардный трек сравнивается не с нулём, а с ожиданием: бэктест сказал, что должно произойти, форвард измерил, что произошло, и расстояние между ними — единственное сравнение, которое эта выборка выдерживает.
Как проверить протокол
Прежде чем доверять любому числу вневыборочного теста, ответьте на семь вопросов:
- Границы отрезков хранятся как даты, заштампованные при регистрации, или как проценты, которые едут при доливке данных?
- Правило сохранено как хеш и не изменилось между регистрацией и вердиктом?
- Holdout открыт один раз, и это открытие записано как прогон вердикта?
- На каждом стыке лежит полоса purge не короче горизонта удержания, а после неё — embargo?
- Параметры выбраны внутри каждого фолда по обучающим данным или зафиксированы заранее — а набранные на глаз фолды названы сканом стабильности?
- Метрика в отчёте прочитана после издержек, и рядом стоит порог с учётом числа испытаний?
- Форвардный трек идёт на данных, которых не было в момент регистрации?
Normal Trading регистрирует граф один раз, превращает проценты в даты для всех четырёх отрезков и держит запечатанное окно закрытым до вердикта — увидеть штамп периода, не открывая holdout, можно на replay по адресу /chart.