Почему нам можно верить

Короткий ответ: на слово - не нужно. Ниже описано, по каким правилам здесь появляются числа, что делается с теми, которые не подтвердились, и где посмотреть данные самому. Если после этого текста вы будете доверять сайту меньше - значит, он свою работу сделал.

Два гейта, через которые проходит всё

У нас два разных барьера, и их постоянно путают - в том числе те, кто продаёт индикаторы.

• Гейт прибора: причинность. Сигнал считается на закрытом баре и не меняется задним числом. Проверяется машинно, подробности - в методологии. Инструмент, прошедший этот гейт и честно показавший пустоту, - рабочий инструмент, а не сломанный.
• Гейт результата: перевес. Даёт ли инструмент преимущество на данных, которых он не видел. Пройденный первый гейт об этом не говорит ничего. Порог здесь такой: нижняя граница доверительного интервала средней сделки выше нуля, знак результата совпадает на обеих половинах выборки, а плюс выживает без пяти процентов лучших сделок. Сколько для этого нужно сделок, считается из разброса самих сделок, а не назначается заранее; меньше тридцати - не результат в любом случае.

До 2 сентября 2026 года здесь стояло другое правило - «30 сделок живого форварда с профит-фактором выше 1». Мы сняли его сами: на тридцати сделках отличить среднюю сделку +0,1R от нуля невозможно в принципе, и порог, звучавший строго, пропускал шум. Новый строже - и первым под него не прошёл наш собственный лучший результат.

Первый гейт проходят почти все наши разработки. Второй - на сегодня ни один. Ближе всех Channel: 108 сделок, профит-фактор 1,27, итог +19,1R. Выглядит как успех, а при пересчёте - нет: t = 1,05, доверительный интервал средней сделки [-0,15 .. +0,51] накрывает ноль, и без пяти лучших сделок от +19,1R остаётся +1,6R на 103 сделках. Чтобы такая средняя сделка вообще что-то значила, нужно около 400 сделок, а для заявки о преимуществе - около 890. У нас 108. И это демо-счёт.

Раньше на этом месте стояло, что Channel гейт прошёл. По старому правилу это было правдой; вместе с правилом мы пересчитали и его.

Кладбище важнее витрины

Отбор по результату - главный способ соврать, не сказав ни слова неправды: достаточно показывать только то, что сработало. Поэтому провалы у нас опубликованы наравне с удачами, с числами и методом проверки:

• семь популярных индикаторов из чужих «топ-рейтингов» через один станок - выживших ноль. До замера дошли четыре: у двух нет сигнального буфера, один падает при загрузке, и это «не измерен», а не «не выжил»;
• пробой лондонского диапазона (ORB) - все четыре варианта провалены, тема закрыта;
• фейд ценового шпиля - ни одной работающей ячейки из двадцати;
• конфлюэнс как усилитель сигнала - не подтвердился: согласие панелей не повышает точность входа, оно работает только как вето;
• собственный советник Fusion - минус 7,1R, снят с работы и с витрины;
• криптовалютная ветка TrendPulse - минус 20R, закрыта;
• сторонний платный скальпер, купленный для проверки, - минус 28,4% на контрольном отрезке.

Собственные разработки судятся ровно теми же критериями, что чужие. Fusion был нашим, писался месяцами и всё равно похоронен - потому что цифры сказали хоронить.

Как устроена проверка

Любой фильтр «помогает», если сравнивать его с отсутствием фильтра: сделок становится меньше, а из оставшихся легко задним числом сложить красивую картину. Поэтому в стенд встраивается контрольная рука - тот же вход, но с перевёрнутым условием. Если перевёрнутая версия работает не хуже, значит эффекта нет, а есть подгонка. Дважды именно так закрывались идеи, которые «работали» при сравнении с пустым местом.

Второй - контрольная строка с намеренной утечкой будущего. В код проверки специально вносится подглядывание вперёд, и проверка обязана его поймать. Без этой строки первая ничего не значит: «расхождений нет» одинаково читается и как «прибор причинный», и как «проверка сломана».

Третий - раздельные половины истории. На первой настраиваем, на второй проверяем. Если знак результата меняется - это была подгонка. Так закрылись те самые индикаторы из подборок.

Ещё правило: издержки считаются в долях риска, а не в пунктах. Пятьдесят пунктов спреда - это 0,145R на высокой волатильности и 0,352R на низкой; идея, живая летом, может быть мертва зимой ровно по этой причине.

Чем меряется, что результат не случаен

Всё выше отвечает на вопрос «не обманывает ли себя сама проверка». Остаётся второй вопрос, и он отдельный: а число, которое проверка выдала, вообще отличимо от нуля? До 2 сентября 2026 года мы отвечали на него порогом «30 сделок и профит-фактор выше 1» и отвечали неправильно.

Тридцать сделок не решают ничего. Разброс отдельной сделки у нас около 1,7R; чтобы средняя сделка в +0,18R отстояла от нуля хотя бы на две стандартные ошибки, нужно около четырёхсот сделок. На тридцати профит-фактор 1,3 выпадает из чистой случайности регулярно - это не редкий случай, а обычный.

Поэтому рядом с каждым числом теперь стоит его погрешность:

• t-статистика - во сколько стандартных ошибок результат отстоит от нуля.
• Доверительный интервал - непараметрический, bootstrap на 10 000 пересборок выборки. Распределение сделки хвостатое, предполагать нормальность нельзя.
• Раскол по половинам - весь ли плюс сделан на одном отрезке. Если знак меняется, это была подгонка.
• Срез верхних 5% - выживает ли результат без лучших сделок. У нашего лучшего советника не выживает: без пяти сделок от +19,1R остаётся +1,6R.
• Минимальная длина трека - сколько сделок нужно, чтобы наблюдаемая средняя вообще что-то значила. У нас это t-аналог, а не формула PSR: смысл заимствован, выкладки свои, и в коде это написано.
• Поправка на перебор - Šidák по числу проверенных ячеек. Когда решётка перебирает шестьдесят вариантов, максимум по ним положителен даже на чистом шуме, и порог для «лучшей» ячейки уже не 2, а 3,3.

Отдельно про сам порог. Для заявки о преимуществе мы держим t не ниже 3, а не привычные 2. Это не наша строгость: Харви, Лю и Чжу разобрали 316 опубликованных факторов и показали, что при таком объёме перебора двойки не хватает. К отрицательному выводу порог не применяется - похоронить идею можно и при t = 2, потому что отрицательный знак от смены методики не переворачивается.

Прибор проверен на известном ответе: пересчёт стороннего платного скальпера воспроизвёл прежний замер до последнего знака (642 сделки, средняя -0,1144R, профит-фактор 0,82) и добавил к нему t = -3,44 на объединённой выборке.

Как это выглядит на живой выборке целиком, со всеми шестью числами и тем, что от результата остаётся после каждой проверки, разобрано в статье «Профит-фактор: почему 1,27 может означать ноль».

Из всего этого следует свойство, неприятное лично для нас: метод хорошо убивает и плохо подтверждает. Похоронить идею статистически дешевле, чем доказать. Поэтому кладбище здесь длинное, а витрина пустая - это не поза, а арифметика.

Чего в нашей проверке нет

Список того, что мы не делаем, но что делают в каноне. Он тут потому, что страница без него была бы ровно тем, против чего написана.

• Walk-forward-анализа нет. История делится один раз: на первой части настраиваем, на второй проверяем. Канон требует скользящего окна с многократной перенастройкой; у нас одиночный сплит плюс раскол по половинам.
• White Reality Check и Deflated Sharpe не считаются. Вместо них грубая поправка Šidák по числу ячеек: она консервативна в одну сторону и слепа к тому, что ячейки между собой коррелируют.
• Вероятность переподгонки считается прикидкой. Настоящий расчёт требует, чтобы стенд отдавал доходность каждой ячейки по временным срезам, а не одним числом. Пока смотрим на деградацию из первой половины во вторую.
• Реальные тики не везде. Часть прогонов идёт на минутных барах. Там, где стоп и цель могут быть задеты внутри одного бара, это завышает результат.
• Пересчёт архива завышает t. Он восстанавливает разброс по упрощённой модели исхода, а живые сделки включают выход по времени и разбросаны сильнее. Живой прогон дал t = 1,20 там, где приближение обещало 2,45. То есть настоящая картина слабее даже пересчитанной.

Список неполный по определению и будет расти по мере того, как мы находим у себя новые дыры. Предыдущая версия этой страницы обещала порог, который статистически не значил ничего, и продержалась два месяца.

На что это опирается

Не на собственную выдумку. Выходные данные сверены поиском, а не по памяти: в четырёх случаях наша первоначальная ссылка оказалась неточной, и это тоже показательно.

• White, H. (2000). A Reality Check for Data Snooping. Econometrica. Формальный ответ на вопрос «я проверил 500 ячеек, лучшая дала профит-фактор 1,3 - это преимущество или перебор?». Сам тест у нас не считается: его заменяет более грубая поправка Šidák.
• Hansen, P. R. (2005). A Test for Superior Predictive Ability. JBES. Уточнение теста White: меньше теряет мощности. Взято как ориентир, в коде не реализовано.
• Harvey, C. R., Liu, Y., Zhu, H. (2016). … and the Cross-Section of Expected Returns. RFS. Отсюда порог t не ниже 3 для новой гипотезы - взято и стоит в коде.
• Bailey, D. H., López de Prado, M. (2014). The Deflated Sharpe Ratio. JPM. Насколько скинуть заявленный результат, зная, сколько конфигураций перебрано. Не реализовано: у нас поправка на число ячеек, а не пересчёт коэффициента.
• Bailey, D. H., Borwein, J. M., López de Prado, M., Zhu, Q. J. (2017). The Probability of Backtest Overfitting. JCF. То, что мы пока считаем прикидкой.
• Bailey, D. H., López de Prado, M. (2012). The Sharpe Ratio Efficient Frontier. Journal of Risk. Отсюда идея минимальной длины трека. Взят смысл, не выкладки: у нас t-аналог, а не формула PSR.
• López de Prado, M. (2018). Advances in Financial Machine Learning. Wiley (по ссылке первая глава в открытом доступе). Purging, embargo и комбинаторная кросс-валидация вместо одиночного сплита - то, чего у нас нет.
• Aronson, D. (2006). Evidence-Based Technical Analysis. Wiley Trading. Ближайшая к нам работа: более 6 400 правил теханализа прогнаны через поправку на перебор, не выжило ничего. Наше кладбище - тот же результат в миниатюре.
• Masters, T. (2018). Testing and Tuning Market Trading Systems: Algorithms in C++. Apress. И его же «Permutation and Randomization Tests» (2020). Пермутационные тесты и оценка смещения от перебора, с кодом. Пермутационный тест у нас не реализован - вместо него поправка Šidák.
• Pardo, R. (2008). The Evaluation and Optimization of Trading Strategies, 2nd ed. Wiley. Канон walk-forward - тот самый, которого у нас нет.

Что показывает витрина и чего она не показывает

Блок результатов на главной собирается автоматически из журналов сделок: советник сам пишет каждую закрытую позицию - вход, выход, R, причину выхода. Руками туда ничего не вносится.

• Один счёт, одна валюта. В публичный агрегат идёт только демо-счёт Альфа-Форекс. Смешивать два счёта и две валюты - значит получить бессмысленные метрики.
• Только полная выборка. Без вырезанных периодов и без отбора удачных советников. Портфель показывается вместе с разбивкой по каждому движку, включая отстающие.
• Результат в R, а не в деньгах. R - это риск на сделку. Деньги зависят от размера счёта и плеча, R - нет, и только он сопоставим между инструментами.
• Метка протухания. Если данные перестали обновляться, блок говорит об этом прямо и меняет статус на «форвард остановлен». Так и произошло: в конце августа сбор данных встал на три недели, и мы это обнаружили не сразу - теперь за молчанием следит отдельный сторож, а витрина не выдаёт историю за живой результат.

Чего витрина не показывает: доходности в процентах и в деньгах. Это сознательно. Процент прибыли зависит от выбранного риска и легко превращается в рекламный аргумент, а R - нет.

Редакционные стандарты

По этим правилам пишутся статьи и страницы сайта.

1. Число без метода не публикуется. Рядом с любой цифрой указывается, на чём она получена: инструмент, период, таймфрейм, учтённые издержки. «Индикатор показал 80% точности» без этого - не факт, а слоган.
2. Тексты сайта отражают поведение кода. Если формулировка описывает возможность, которой в коде нет, правится текст, а не совесть. Несколько раз правились именно тексты.
3. Ошибки не затираются. Когда мы ошиблись, статья правится с указанием даты обновления, а не переписывается задним числом. Собственный баг, из-за которого целый слой индикатора восемь версий был мёртв, разобран отдельной статьёй, а не тихо исправлен.
4. Автор и даты у каждой статьи. Указаны автор, дата публикации, дата обновления и уровень подготовки, на который текст рассчитан.
5. Чужие утверждения проверяются, а не пересказываются. Если мы пишем о чужом индикаторе или сигнальном сервисе, значит он прогнан через наш стенд. Рерайт чужих обзоров мы не публикуем.
6. Прогнозов цены здесь нет. Разборы того, куда смотрит рынок, - есть; обещаний, куда он пойдёт, - нет. Точность чужих прогнозов мы, наоборот, измеряем.
7. Тексты готовятся с помощью инструментов автоматизации, включая языковые модели. Факты, числа и выводы при этом берутся из наших собственных замеров и проверяются перед публикацией; ответственность за них несёт автор, а не инструмент.
8. Реклама маркируется. Партнёрские ссылки помечены как реклама с идентификатором. Купленных отзывов, отфильтрованных отзывов и счётчиков вроде «97% покупают» на сайте нет и не будет.

Конфликт интересов - он есть

Я разрабатываю торговые инструменты и намерен их продавать. Это значит, что у меня есть прямой интерес показать их в хорошем свете, и никакая декларация этого интереса не отменяет. Что с этим делается:

• свои приборы проходят те же гейты, что чужие, и отправляются на кладбище с той же лёгкостью;
• пока инструмент не прошёл гейт результата, он не называется продуктом и не продаётся как решение;
• отрицательные результаты собственных советников публикуются на главной странице, а не прячутся в блоге;
• у каждого продукта на сайте написано, чего он не делает, - и это не фигура речи: у ручной системы нет автоматической торговли, а у индикаторов нет предсказания.

Проверять всё это удобнее всего по несостыковкам: если однажды с сайта исчезнет неудобное число или появится обещание доходности - значит, правила перестали работать, и доверять тут больше нечему.

Материал носит образовательный характер и не является индивидуальной инвестиционной рекомендацией. Торговля сопряжена с риском потери капитала; прошлые результаты не гарантируют будущих.