Стратегия зарабатывала, но доказать это не получилось
На истории она обгоняла рынок и пережила реальные издержки. Но вы перебрали 18 вариантов, прежде чем нашли этот, — и при таком переборе похожий результат мог получиться сам собой.
- Сделок хватает
- История достаточно длинная
- Запас по комиссиииздержкиКомиссия, спред, проскальзывание и финансирование — вычитаются до расчёта любой метрики, поэтому отчёт показывает ту кривую, с которой вы реально жили бы.Издержки бэктеста — комиссия, проскальзывание и модель исполнения
- Издержки заметныиздержкиКомиссия, спред, проскальзывание и финансирование — вычитаются до расчёта любой метрики, поэтому отчёт показывает ту кривую, с которой вы реально жили бы.Издержки бэктеста — комиссия, проскальзывание и модель исполнения
- Чувствительна к задержке
- Ниже планки переборачисло испытанийКаждый прогон с изменёнными числами — ещё одна попытка. Чем их больше, тем выше планка, которую обязан перевалить результат: случайные правила тоже выглядят удачливыми.Сколько бэктестов уже слишком — ответ зависит от того, сколько раз вы искали
- Нестабильна по годам
- Форвард не проверялсяфорвардТе же замороженные правила на данных, которых не было в момент регистрации гипотезы. Подогнать их под эти данные невозможно.Бэктест vs живая торговля — какая часть разрыва уже была в тесте
Восемь проверок: три пройдены, две с оговорками, две не пройдены, одна ещё впереди.
Покупка на пробое утреннего диапазона
Первые полчаса торгов рынок часто ходит в узком коридоре. Идея в том, что выход цены за границы этого коридора задаёт направление на остаток дня. Если цена поднимается выше максимума первых 30 минут — покупаем на открытии следующей свечи. Дальше ждём одного из трёх: цель, стоп или конец сессии.
Одна сделка в день максимум. Если к закрытию сессии не сработали ни цель, ни стоп — позиция закрывается по рынку. Ночных переносов нет.
- Событие
Цена поднялась выше максимума первых 30 минут сессии
high > max(high[09:30..10:00]) - Фильтр
Только обычная и высокая волатильность
ATR(14) ≥ 40-й процентиль за 60 дней - Вход
Покупка на открытии следующей свечи после сигнала
без заглядывания в текущий бар - Стоп
−0.4 % от цены входа
проверяется по low каждой свечи - Цель
+0.8 % от цены входа
проверяется по high каждой свечи - Выход
Цель, стоп или закрытие сессии 16:00 ET — что наступит раньше
- Позиция
1 контракт, без наращивания и реинвестирования
фиксированный размер на всём периоде - Направление
Только длинные
зеркальная версия для коротких не проверялась
Правила в каноническом виде
- хеш правил
- 7f3a91c4e08dпо нему стратегия восстанавливается однозначно
- параметров
- 4окно диапазона (30 мин), стоп (0.4 %), цель (0.8 %), порог фильтра (40-й перцентиль)
- свободных параметров на сделку
- 103412 сделок / 4 параметра = 103 наблюдения на параметр
Вы искали слишком долго, чтобы верить находке
Каждый новый вариант, который вы пробуете, повышает шанс наткнуться на удачную кривую случайно. Восемнадцать попыток — это уже много: примерно так же выглядел бы лучший результат из восемнадцати бессмысленных правил. Чтобы отличить вашу стратегию от такого совпадения, ей нужно было показать заметно больше.
Как это посчитано
- метрикаКоэффициент ШарпаПрибыль на единицу волатильности. Сам по себе он не говорит, сколько вариантов правил вы перебрали, прежде чем получилось это число.Что такое коэффициент Шарпа — и почему красивое число может быть шумом
- deflated Sharpe = 0.94порог 1.47
- испытанийчисло испытанийКаждый прогон с изменёнными числами — ещё одна попытка. Чем их больше, тем выше планка, которую обязан перевалить результат: случайные правила тоже выглядят удачливыми.Сколько бэктестов уже слишком — ответ зависит от того, сколько раз вы искали
- 18 сырых → 11 эффективныхсобственные значения корреляционной матрицы вариантов
- формула порогачисло испытанийКаждый прогон с изменёнными числами — ещё одна попытка. Чем их больше, тем выше планка, которую обязан перевалить результат: случайные правила тоже выглядят удачливыми.Сколько бэктестов уже слишком — ответ зависит от того, сколько раз вы искали
- E[max SR] + 1.645σE[max SR] ≈ σ·√(2·ln N_eff)
- блочный перестановочный тест
- p = 0.087913 из 1000 подделок хуже
За четыре года счёт вырос бы примерно в полтора раза
Это после всех комиссий и проскальзывания. Для сравнения: если бы вы те же четыре года просто купили и держали, счёт вырос бы меньше — но разница не такая большая, как кажется по картинке. Всё, что стратегия добавила сверх простой покупки, — это примерно 16 000 ₽ в год на счёт в 300 000 ₽.
Капитал и просадка
январь 2021 — декабрь 2024 · старт 100Цифрами
- чистая доходность
- +11.8 % годовыхитог за период +56.2 %
- бенчмарк
- buy & hold +34.9 %SR 0.55 · альфа ≈ 5.3 п.п. годовых
- сделок
- 412прибыльных 46 % · профит-фактор 1.24
- время в рынке
- 6.8 %в среднем 47 минут на сделку
Год вы бы сидели в минусе от своего максимума
Худший момент — май 2022-го: счёт упал на 14.7 % от достигнутого пика. На 300 000 ₽ это минус 44 000 ₽. И вернуться к прежнему максимуму получилось только через год. Именно в такие месяцы большинство закрывает стратегию руками — и тогда обещанные 11.8 % годовых просто не наступают.
Цифрами
- максимальная просадкамаксимальная просадкаСамое глубокое падение от пика до следующего дна. Именно из-за неё закрывают стратегию руками, а в бэктесте видны только те просадки, которые попали в выборку.Что такое максимальная просадка — и почему бэктест её занижает
- 14.7 %пик 05.2022 → дно 09.2022 → возврат 05.2023
- у бенчмарка
- 14.6 %за тот же период — риск сопоставим, отличается только доходность
- худший месяц
- −7.4 %лучший +8.7 %
- максимум убыточных подряд
- 9 сделок
Почти треть заработка уходит брокеру
До комиссий стратегия давала 16.7 % годовых, после — 11.8 %. Разница 4.9 пункта, или около 15 000 ₽ в год с вашего счёта. Пока запас есть: стратегия выходит в ноль только при комиссии в 2.6 раза выше вашей. Но если вы смените брокера на более дорогого или начнёте торговать менее ликвидный инструмент — запаса не станет.
Цифрами
- валовая → издержки → чистаяиздержкиКомиссия, спред, проскальзывание и финансирование — вычитаются до расчёта любой метрики, поэтому отчёт показывает ту кривую, с которой вы реально жили бы.Издержки бэктеста — комиссия, проскальзывание и модель исполнения
- 16.7 % → 4.9 п.п. → 11.8 %издержки съели 29 % валовой прибыли
- критическая комиссияиздержкиКомиссия, спред, проскальзывание и финансирование — вычитаются до расчёта любой метрики, поэтому отчёт показывает ту кривую, с которой вы реально жили бы.Издержки бэктеста — комиссия, проскальзывание и модель исполнения
- $5.80 за кругпри вашей $2.25 — запас 2.6× (гейт требует 1.5×)
- стресс: издержки ×2
- +5.9 %годовых вместо 11.8
- стресс: вход на бар позжеКоэффициент ШарпаВход на 5 минут позже сигнала: чувствительность к задержке.Прибыль на единицу волатильности. Сам по себе он не говорит, сколько вариантов правил вы перебрали, прежде чем получилось это число.Что такое коэффициент Шарпа — и почему красивое число может быть шумом
- 0.71было 0.94 — падение на четверть
Почти весь заработок — в двух годах из четырёх
2021-й и 2023-й дали вместе +56 %, а 2022-й был убыточным, 2024-й — в нуле. Стратегия, у которой прибыль собрана в паре удачных лет, может оказаться памятью об этих годах, а не правилом рынка. Отличить одно от другого на истории нельзя — только временем.
Цифрами
- прибыльных лет
- 3 из 4но 93 % результата приходится на два
- по режимам рынка
- высокая +0.142 %обычный день +0.071 % · низкая +0.019 %
- PBOхолдаутКусок истории, запечатанный в момент регистрации гипотезы. Открывается один раз — к вердикту, — чтобы правила нельзя было подогнать под него.Вневыборочный тест, который правда слепой — holdout, walk-forward, purge и embargo
- 0.31вероятность, что выбранный вариант окажется хуже среднего вне выборки
- MinTRL
- 1.58 годапри имеющихся 1.67 — длины истории впритык хватает
Отказ — это про доказательство, а не про идею
Мы не говорим, что стратегия не работает. Мы говорим, что по этим данным и при таком количестве попыток это невозможно доказать. У вас три выхода, и у каждого честная цена.
Что изменило бы вердикт
- при 2 испытаниях вместо 18число испытанийКаждый прогон с изменёнными числами — ещё одна попытка. Чем их больше, тем выше планка, которую обязан перевалить результат: случайные правила тоже выглядят удачливыми.Сколько бэктестов уже слишком — ответ зависит от того, сколько раз вы искали
- порог 0.81результат прошёл бы
- при SR 1.47 вместо 0.94Коэффициент ШарпаПрибыль на единицу волатильности. Сам по себе он не говорит, сколько вариантов правил вы перебрали, прежде чем получилось это число.Что такое коэффициент Шарпа — и почему красивое число может быть шумом
- прошёл быпри нынешнем переборе
- при подтверждении форвардомфорвардТе же замороженные правила на данных, которых не было в момент регистрации гипотезы. Подогнать их под эти данные невозможно.Бэктест vs живая торговля — какая часть разрыва уже была в тесте
- вердикт не зависит от Nчерез 1.6 года
На чём считали
Расчёт сделан по снимку истории, зафиксированному в момент регистрации гипотезы. Данные с тех пор пополнялись, но этот отчёт от этого не изменился и не изменится: пересчёт год спустя даст те же числа.
- Инструмент
- ES — фьючерс на индекс S&P 500, биржа CMEнепрерывный контракт
- Склейка
- Ролл за 5 дней до экспирации, корректировка разностнаяback-adjusted, спред ролла учтён в издержках
- Период
- 04.01.2021 — 12.12.20243 года 11 месяцев · 987 торговых сессий
- Бары
- 5-минутные, только основная сессия 09:30–16:00 ET77 025 баров · премаркет и постмаркет исключены
- Пропуски
- 0.02 % баров отсутствуют — сокращённые предпраздничные сессиипропущены, а не достроены — интерполяция запрещена движком
- Качество
- Проверено на нулевые объёмы, ценовые выбросы свыше 10σ и разрывы в нумерации барованомалий не найдено
- Источник
- Лицензированный поставщик рыночных данныхснимок snap-2024-12-14 · sha256 a91c…4e08
Как считалась каждая сделка
Все правила ниже — пессимистичные по умолчанию. Там, где исход неоднозначен, движок выбирает худший для вас вариант. Так лучше отклонить хорошую идею, чем пропустить плохую.
- Сигнал
- Считается только по закрытым свечаминдикаторы не видят текущий бар — заглядывание вперёд невозможно по конструкции
- Исполнение
- По цене открытия следующей свечиникогда по закрытию сигнальной
- КомиссияиздержкиКомиссия, спред, проскальзывание и финансирование — вычитаются до расчёта любой метрики, поэтому отчёт показывает ту кривую, с которой вы реально жили бы.Издержки бэктеста — комиссия, проскальзывание и модель исполнения
- $2.25 за кругбиржевой и клиринговый сбор + брокер
- ПроскальзываниеиздержкиКомиссия, спред, проскальзывание и финансирование — вычитаются до расчёта любой метрики, поэтому отчёт показывает ту кривую, с которой вы реально жили бы.Издержки бэктеста — комиссия, проскальзывание и модель исполнения
- 0.25 тика на каждую сторону, то есть $12.50 за кругфиксированное, не зависит от объёма
- Стоп и цель в одной свече
- Если внутри одной свечи задеты оба уровня — засчитывается стопхудший исход, 11 таких случаев из 412
- Частичные исполнения
- Не моделируются: позиция в 1 контракт всегда исполняется целикомдопущение в вашу пользу, отмечено сознательно
- Маржа
- Проверяется на каждом баре, маржин-коллов за период не возникало
- Детерминизм
- Тот же снимок и тот же хеш правил дают побитово тот же результатгенератор случайных чисел не используется нигде, кроме перестановочного теста, где зерно записано
Что здесь допущение, а не факт
- проскальзывание фиксированное — на тонком рынке реальное будет выше
- исполнение всегда полное — для 1 контракта на ES это близко к правде, для большего объёма уже нет
- задержка не моделируется — отдельно проверено стрессом «вход на бар позже»: SR падает до 0.71
Этот отчёт можно перепроверить
Всё, что нужно для точного повторения расчёта через год, записано ниже. Если пересчёт не сойдётся бит в бит — ошибка у нас, и мы хотим о ней знать.
- снимок данных
- snap-2024-12-14
- хеш правил
- 7f3a91c4e08d
- обучение
- 2021-01-04 — 2023-06-30
- валидация
- 2023-07-06 — 2024-06-30
- холдаутхолдаутОткрыт один раз — в момент вердикта.Кусок истории, запечатанный в момент регистрации гипотезы. Открывается один раз — к вердикту, — чтобы правила нельзя было подогнать под него.Вневыборочный тест, который правда слепой — holdout, walk-forward, purge и embargo
- 2024-07-08 — 2024-12-12 · вскрыт
- форвардфорвардПравила заморожены 14.12.2024.Те же замороженные правила на данных, которых не было в момент регистрации гипотезы. Подогнать их под эти данные невозможно.Бэктест vs живая торговля — какая часть разрыва уже была в тесте
- с 2024-12-14 · идёт
- испытанийчисло испытанийСчётчик не обнуляется и не сбрасывается по запросу.Каждый прогон с изменёнными числами — ещё одна попытка. Чем их больше, тем выше планка, которую обязан перевалить результат: случайные правила тоже выглядят удачливыми.Сколько бэктестов уже слишком — ответ зависит от того, сколько раз вы искали
- 18 сырых / 11 эффективных
- модель издержекиздержкиКомиссия, спред, проскальзывание и финансирование — вычитаются до расчёта любой метрики, поэтому отчёт показывает ту кривую, с которой вы реально жили бы.Издержки бэктеста — комиссия, проскальзывание и модель исполнения
- $2.25 за круг + 0.25 тика
Проверьте свою идею
Те же правила, тот же счётчик испытаний и тот же вердикт — на ваших данных. Отчёт собирается автоматически, посмотреть на него можно бесплатно.
Проверить идеюПример отчёта Пример отчёта. Числа согласованы между собой, но получены на демонстрационных данных и не являются результатом реальной проверки.