Вы поменяли пару значений скользящей средней, перезапустили тест и оставили результат получше. Сделайте это десяток раз — и вопрос уже не «хорошие ли это правила», а «честный ли был поиск». Универсального ответа на «сколько бэктестов уже слишком» нет, и дело не в том, что вопрос расплывчатый: предел двигается вместе с длиной выборки, независимостью вариантов и тем Шарпом, который вы заявляете.
Ниже — как этот предел считают на самом деле: почему сырой счёт запусков преувеличивает проблему, почему удачливейший вариант большого перебора выглядит эффектно даже при полном отсутствии края, и как счётчик попыток превращает это в порог, который можно прочитать, вместо нотаций о дисциплине.
Универсального предела нет
Самая цитируемая отправная точка — работа Bailey и Lopez de Prado: на пяти годах дневных данных более примерно 45 независимых вариантов уже делают появление Шарпа 1 и выше вероятным просто за счёт случайности. Это не закон бэктестинга. Это одна точка на поверхности с тремя переменными.
Длина выборки. Короткая выборка даёт более шумную оценку Шарпа, поэтому каждое дополнительное испытание привносит больше возможной удачи. Год дневных данных допускает куда меньше попыток, чем десять лет тех же данных, прежде чем даёт ту же ложную уверенность.
Независимость. Сорок пять действительно независимых идей — это не сорок пять настроек параметров одной идеи. Испытания с общей структурой схлопываются друг в друга, и имеет значение именно эффективный счёт.
Заявленный Шарп. Скромное утверждение переживает больший перебор, чем эффектное. Порог стоит не на отметке «N тестов» — он рождается из взаимодействия всех трёх факторов.
Поэтому честный ответ на вопрос из заголовка — это формула, а не число. Остаётся оценить два наблюдаемых входа: сколько испытаний вы провели и насколько их сходство считается одной идеей.
У этой формулы есть и практическая сторона: совет «просто не перебирай» не работает, потому что не фиксирует границу. Трейдер, остановившийся на десятке вариантов, не знает, был ли десятый пределом методики или просто тем моментом, когда кончилось терпение. Счёт делает поиск измеримым: любое правило теперь существует вместе с числом попыток, которые до него привели, и это число нельзя подогнать задним числом. Измеримый поиск можно улучшить; немеряемый всегда выглядит успешным.
Сырые запуски и эффективные испытания
Стоп 0,40% и стоп 0,41% — почти одно правило. Прогнать оба и оставить лучшее — это не два независимых эксперимента, а один эксперимент с разницей в округлении; считать его двумя — значит раздуть свой штраф и ничего не понять. То же с быстрой средней 10 против 11 или тейк-профитом 1,5% против 1,6%.
Стандартное лекарство — отношение доли участия, вычисленное по собственным числам матрицы доходностей: запуски, чьи кривые двигаются вместе, учитываются как доля одного испытания, а не как одно каждое. Набор из 18 запусков с сильно перекрывающимися кривыми схлопывается в 11 эффективных испытаний — пример интерфейса, который счётчик и предназначен показывать, а не результат какого-либо живого счёта.
Работает это в обе стороны, и это стоит проговорить. Низкий эффективный счёт — более мягкий приговор: поиск получился небольшим и коррелированным, исправление минимально. Высокий эффективный счёт рядом со скромным Шарпом — приговор болезненный, потому что говорит: искали широко, а найденное не уникально. В любом случае число существует, даже если его никто не записал — счётчик лишь мешает делать вид, что это не так.
Ожидаемая лучшая удача
Почему сам перебор рождает красивые результаты при отсутствии края? Потому что максимум многих выборок растёт, даже когда выборки центрированы на нуле. Приблизительно: ожидаемая лучшая из N шумовых выборок лежит примерно на √(2 · ln N) стандартных отклонений выше среднего, а роль того стандартного отклонения играет стандартная ошибка Шарпа.
Слайдер на нашей посадочной странице использует интерфейсное приближение 0,45 · sqrt(2 · ln N), где 0,45 — уровень шума короткой выборки на уровне сделок. Это дизайн-приближение, а не статистическая гарантия; оно нужно, чтобы показать форму проблемы:
| Проверено вариантов N | sqrt(2 · ln N) | Ожидаемая лучшая (приближение слайдера) |
|---|---|---|
| 1 | 0,00 | 0,00 |
| 10 | 2,15 | 0,97 |
| 100 | 3,04 | 1,37 |
| 1000 | 3,72 | 1,67 |
Последнюю строку читайте как предупреждение об отборе, а не как прогноз: после 1000 комбинаций параметров самая удачная показывает Шарп около 1,67 просто потому, что это максимум из 1000 выборок. Правила от этого не стали лучше. Сам коэффициент Шарпа ни при чём — он лишь отражает значение варианта, который вы оставили.
Разбор на числах для вашей выборки
Возьмём пять лет дневных данных, T ≈ 1260, и заявленный Шарп 1,15. Стандартная ошибка оценки — приблизительно sigma_SR = sqrt((1 + SR^2 / 2) / T) = sqrt(1,66 / 1260) ≈ 0,036. Проверили 60 наборов параметров, которые схлопнулись в 40 эффективных испытаний. Полоса удачи: 0,036 × sqrt(2 · ln 40) = 0,036 × 2,72 ≈ 0,10 — то есть примерно десятая часть заявленного 1,15 даётся уже самим фактом отбора лучшего из 40.
Теперь прогоните тот же поиск на году дневных данных: T = 252, sigma_SR растёт примерно до 0,081, и те же 40 эффективных испытаний дают полосу удачи 0,081 × 2,72 ≈ 0,22. Те же правила, тот же счёт, вдвое больший шум. Именно поэтому «я проверил всего сорок вариантов» на короткой выборке не является защитой.
| Эффективных испытаний N_eff | sqrt(2 · ln N_eff) | Полоса удачи: 5 лет дневных данных | Полоса удачи: 1 год дневных данных |
|---|---|---|---|
| 5 | 1,79 | 0,06 | 0,15 |
| 11 | 2,19 | 0,08 | 0,18 |
| 40 | 2,72 | 0,10 | 0,22 |
| 100 | 3,04 | 0,11 | 0,25 |
| 400 | 3,46 | 0,13 | 0,28 |
| 1000 | 3,72 | 0,13 | 0,30 |
С ростом выборки столбцы сближаются — в этом и весь аргумент за длинные тесты: удачу они не убирают, но делают её дешевле.
Обесцененный Шарп одним экраном
Вычтем из наблюдаемого Шарпа ожидаемую лучшую удачу — получим обесцененный Шарп, а практический результат этого расчёта один: порог. Значение, которое запуску нужно пройти при данном числе испытаний, чтобы результат вообще считался свидетельством. Движок за кулисами работает со строгим требованием — обесцененный Шарп не ниже 0,95, — а интерфейс говорит об этом обычным языком.
Как пример интерфейса — числа, которые экран и предназначен показывать, а не результаты живого счёта: запуск со значением Шарп 0,94 при требуемых 1,47 на 11 эффективных испытаниях либо формулировка вида «нужно 1,90 при 41 испытании». Это одно и то же утверждение в двух одеждах: метрика сверяется с порогом, который сдвинулся из-за вашего поиска, а не с нулём.
Чего это не делает: не прощает запуск и не обнуляется, когда вы закрыли вкладку. Высокий требуемый порог — это информация о поиске, а не наказание для стратегии. Когда барьер недостижим, честные пути два — более длинная выборка или правила, ставшие менеечисленными и более различными; оба уменьшают N_eff с другой стороны. Переживёт ли то, что осталось, решает всё та часть данных, которая поиска не видела: вневыборочный тест.
Вероятность переобучения бэктеста одним абзацем
Обесцененный Шарп отвечает на вопрос, велико ли число. Вторая проверка отвечает на вопрос, стабилен ли победитель: в методе комбинаторически симметричной кросс-валидации данные делят на блоки, выбирают лучшее правило на одной половине блоков и смотрят, где оно оказывается на другой. Если чемпион половины данных на остальных блоках падает ниже медианы, стратегия не найдена — найден лишь самый удачный порядок блоков. Доля таких разбиений и есть вероятность переобучения бэктеста, а разумный порог — не выше 0,5: лучше монетки при собственном перемешивании данных. Практический смысл проверки в том, что она ловит не ошибку расчёта, а нестабильность: правило может честно пройти на всех данных и при этом держаться на одном удачном участке, и только разделение это покажет.
Как считает Normal Trading
Платформа считает счётчик бухгалтерией, а не советом:
- Каждый Run увеличивает счёт. Категории «на тренировке», которая не идёт в книги, не существует.
- Похожие варианты схлопываются в эффективные испытания, поэтому наращивать поиск почти одинаковыми копиями знаменатель не раздувает.
- Счётчик нельзя обнулить, и платный план приговор не смягчает: порог считается от поиска, а не от подписки.
- Отчёт Research молчит о качестве стратегии и просто показывает, что измерено; вердикт принадлежит порогу, а не оценке.
Отдельная ценность счётчика в том, что она снимает спор о морали. Вопрос «сколько бэктестов уже слишком» перестаёт быть разговором о характере и становится арифметикой: одно и то же правило на 41 испытании получает один порог, на 11 — другой. Если результат порог не проходит, это не приговор стратегии, а запись о том, сколько раз на неё смотрели.
Счётчик — это защита, а не паейвол. Поиск, который невозможно посчитать, всегда расскажет вам то, что вы хотели услышать, — именно так неучтённые издержки и оптимистичные цены исполнения и выживают до финальной проверки.
Как проверить это самостоятельно
- Запишите все варианты, которые гоняли по одной стратегии, включая брошенные на середине. Это ваш сырой N.
- Честно схлопните список: варианты, отличающиеся только округлённым параметром, — одно испытание, а не два.
- Проверьте длину выборки под заявление. Высокий счёт испытаний на короткой выборке — худшая комбинация в таблице выше.
- Читайте Шарп рядом с требуемым порогом для данного числа испытаний, а не рядом с нулём.
- Отвергните запуск, если те же правила не проходят на половине данных, которая их не отбирала.
- Убедитесь, что эффект переживает издержки и хотя бы один прогон в режиме живого исполнения, прежде чем верить хоть чему-то.
Чтобы увидеть механизм, а не читать о нём, откройте симулятор Replay, скопируйте сохранённый граф, измените один период и посмотрите, как счётчик испытаний и требуемый порог двигаются вместе.