L'honnete resultat negatif : des dizaines de milliers de backtests, cinq majors, aucun edge robuste

Fait partie de la serie "Des backtests sans illusions".

Le resultat que nous ne voulions pas

Cette serie a consacre plusieurs articles a construire des instruments pour attraper un mensonge : le biais de look-ahead qui fabrique un Sharpe de 15 a partir d'une fuite d'une seule barre, le Deflated Sharpe Ratio qui donne son juste prix au vainqueur d'une recherche, la Probability of Backtest Overfitting qui donne son juste prix a la recherche elle-meme. Chacune de ces pieces etait, en un sens, une repetition. Celle-ci est la representation : nous braquons tout l'appareillage sur une vraie famille de strategies que nous voulions reellement trader, et nous le laissons rendre le verdict pour lequel il a ete concu — meme quand le verdict est non.

Voici d'emblee l'honnete conclusion. Nous avons lance des dizaines de milliers de backtests sur cinq grandes cryptos, en configurations double et triple timeframe, a la recherche d'un edge robuste. Nous n'en avons trouve aucun. Pas "nous avons trouve un petit edge et reduit la position". Nous n'avons trouve rien qui survive au contact de la machinerie — aucune configuration a la fois profitable sur plusieurs instruments et defendable apres correction pour les tests multiples. Ce n'est pas un echec de l'experience. C'est cela, l'experience qui reussit.

La partie seduisante — celle qui aurait pousse une equipe moins bien equipee a allouer du capital — c'est qu'une lecture naive semblait vraiment bonne :

Lisez cette premiere ligne comme nous l'avons lue au depart : une strategie de croisement de moyennes mobiles, calibree sur ETHUSDT sur une grille en double timeframe, affichant +16,35 % sur des donnees jamais vues pendant la recherche, et conservant un +2,62 % positif sur une seconde fenetre que nous avions entierement isolee. Si vous vous arretez la — et la plupart des backtests publies s'arretent la — vous le deployez. Le reste de cet article, c'est la machinerie qui nous a dit de ne pas le faire, et pourquoi elle avait raison.

Acte 1 — Le vainqueur tentant

La famille de strategies est deliberement ordinaire : un croisement de moyennes mobiles de Hull, evalue sur barres cloturees, avec un modele d'execution honnete (decision a la cloture de la barre i, execution a l'ouverture de i+1 — la discipline de la barre unique sur laquelle cette serie ne transigera pas). "Double timeframe" signifie que le signal est filtre par la tendance d'un timeframe plus lent ; "triple" en ajoute un troisieme, plus lent encore. Chaque timeframe ajoute des parametres libres, et les parametres libres sont exactement ce qu'une recherche convertit en performance apparente.

L'etude mono-symbole a tourne sur ETHUSDT. Le protocole etait deja de la bonne espece : un decoupage walk-forward glissant (une fenetre de rodage, plusieurs plis in-sample, une fenetre test out-of-sample), plus une fenetre holdout finale que la recherche avait interdiction de toucher jusqu'a la toute fin. Une recherche Sobol/QMC a explore l'espace des parametres ; le survivant etait la configuration au meilleur score walk-forward, et il a ete porte une fois — exactement une fois — sur le holdout.

Le survivant ressemblait a un edge :

• +16,35 % sur la fenetre de test out-of-sample — des donnees utilisees uniquement pour noter les configurations, jamais pour les ajuster.
• +2,62 % sur le holdout intact — un second mur, franchi.

C'est le moment qui decide si un processus de recherche est honnete ou theatral. Le profit out-of-sample est reel au sens etroit ou les chiffres ne sont pas fabriques et ou il n'y a pas de fuite de look-ahead — nous avons verifie. Mais "chiffres reels, pas de fuite" est une barre bien plus basse que "vrai edge". Entre les deux se trouve ce dont parle toute cette serie : la selection. Nous n'avons pas evalue une seule strategie pour constater qu'elle rapportait 16 %. Nous avons evalue un nombre enorme de strategies et reporte les 16 % de la meilleure. La fenetre out-of-sample etait propre de tout look-ahead, mais elle n'etait pas propre de selection — parce que nous avons choisi le vainqueur en partie sur la base de sa performance a cet endroit. Le seul instrument capable de distinguer ces deux histoires est celui qui sait combien de fois nous avons regarde.

Acte 2 — La deflation : ~37 000 essais, DSR = 0,00

Comptez les regards. A travers les plis, les combinaisons de timeframes et la grille de parametres, la recherche en double timeframe a evalue de l'ordre de 37 000 configurations distinctes. Chacune d'elles est un tirage dans l'espace des strategies, et la recherche a conserve le maximum. L'article sur le Deflated Sharpe Ratio contient la derivation complete, mais le seul fait dont vous avez besoin ici est le False Strategy Theorem (Bailey & López de Prado) : le maximum attendu du Sharpe de N strategies a edge veritable nul croit avec N. A N ≈ 30 000, le meilleur du pur bruit se situe a environ quatre ecarts-types au-dessus de zero, uniquement par selection. Quatre sigmas ressemblent a une decouverte. C'est l'ombre de la recherche.

La bonne question n'est donc pas "le Sharpe du vainqueur est-il positif ?" — bien sur qu'il l'est, vous avez choisi le maximum. La bonne question est "le Sharpe du vainqueur depasse-t-il ce qu'afficherait le plus chanceux de 37 000 lanceurs de pieces ?" C'est exactement ce que calcule le DSR : il deplace le benchmark de zero jusqu'au plafond de bruit implique par le nombre d'essais, et reporte la probabilite que le vrai Sharpe franchisse ce seuil.

La trajectoire out-of-sample du vainqueur ETHUSDT correspond a un Sharpe quotidien d'environ 0,19. En soi, un SR quotidien de 0,19 sur une longue fenetre est un chiffre tout a fait respectable. Deflate face a ~37 000 essais, il s'evapore :

$\text{DSR}\big(\hat{SR}=0.19\,\text{daily},\; N\approx 37{,}000\big) = \mathbf{0.00}$

Zero. Pas "marginal", pas "0,4, a surveiller". Le DSR dit : etant donne l'intensite de notre recherche, un Sharpe quotidien de 0,19 est indiscernable du meilleur tirage de pur bruit. Les +16,35 % out-of-sample et les +2,62 % de holdout sont compatibles, a la precision que ce test peut resoudre, avec une strategie qui n'a aucun edge du tout et qui a simplement gagne une loterie avec 37 000 tickets.

Une subtilite qui merite d'etre signalee, car nous ne voulons pas exagerer la deflation : des points voisins sur une grille de parametres sont des quasi-doublons, si bien que le nombre d'essais brut surcompte les regards independants. Notre seuil utilise le nombre effectif d'essais — les essais regroupes par correlation des rendements via ONC (López de Prado & Lewis) avant deflation — precisement pour ne pas rejeter un vrai edge pour une raison de comptabilite. Meme avec cette correction integree, le vainqueur ETHUSDT ne survit pas. Quand un resultat affiche DSR 0,00, la nuance du N effectif ne va pas le sauver ; il est profondement enfoui dans le bruit.

Cela aurait pu etre la fin. Un symbole, une recherche, deflate a neant. Mais un DSR qui echoue sur un seul symbole laisse une echappatoire qu'un optimiseur determine tentera toujours d'emprunter : ETHUSDT est peut-etre juste un symbole difficile, et la configuration est reelle ailleurs. Pour fermer cette echappatoire, il faut changer l'axe du test.

Acte 3 — Le test decisif : la robustesse se mesure entre instruments

Une recherche mono-symbole a une faiblesse structurelle meme lorsqu'elle est par ailleurs parfaite : son seul axe out-of-sample est le temps. Elle peut vous dire que la configuration a tenu sur une fenetre ulterieure d'ETHUSDT — mais elle ne peut pas vous dire si la configuration a appris quelque chose sur les marches ou quelque chose sur ETHUSDT specifiquement. Le surapprentissage a un seul instrument est invisible pour un test qui ne quitte jamais cet instrument.

Nous avons donc change l'objectif. Au lieu de "le meilleur sur ETHUSDT en out-of-sample", la chasse cross-instrument reclame des generalistes : des configurations bonnes simultanement sur de nombreux symboles. Le protocole :

• Cinq majors liquides : ETHUSDT, BTCUSDT, SOLUSDT, BNBUSDT, XRPUSDT — environ 1,18 million de barres 1 minute chacun, une fenetre calendaire partagee, un jeu de decoupages partage (rodage → K plis in-sample → test → un holdout intact).
• Un objectif robuste : noter chaque configuration sur le resultat walk-forward de chaque symbole, puis classer par la mediane entre symboles. La mediane est le point cle — une configuration spectaculaire sur une crypto et catastrophique sur quatre ne peut pas s'acheter une place avec un seul cas extreme. Pour etre selectionnee, elle doit etre au moins moyenne sur la plupart d'entre elles.
• Une matrice de rendements de portefeuille pour les seuils : les rendements quotidiens par essai forment un portefeuille equipondere sur les cinq symboles (1/S du capital chacun), donnant la matrice de performance T×N que consomment les seuils DSR et PBO-CSCV.
• Le holdout n'est touche qu'une fois, par le champion robuste de chaque mode uniquement.

C'est un test strictement plus difficile que le mono-symbole, et deliberement. Une configuration peut gagner la recherche ETHUSDT en exploitant l'idiosyncrasie d'une crypto ; elle ne peut pas gagner ainsi la recherche par la mediane sur cinq. Si un edge robuste existe dans cette famille de strategies, c'est ce dispositif qui le trouve. S'il n'existe pas, c'est ce dispositif qui le dit sans ciller.

Acte 4 — Le verdict : les deux timeframes echouent aux seuils

Nous avons lance la chasse cross-instrument dans les deux configurations et applique les seuils a chaque champion robuste. Les seuils sont les deux standards : DSR ≥ 0,95 (deflate face au nombre effectif d'essais) et PBO ≤ 0,2 (issu de la CSCV sur la matrice de performance). Voici le verdict entier, honnetement :

Les deux echouent, aux deux seuils, dans les deux modes. Lisez chaque chiffre avec la calibration etablie par les articles precedents, car les deux seuils disent des choses differentes et ils s'accordent :

• DSR 0,24 (dual), 0,14 (triple). Le DSR est la probabilite que le vrai Sharpe depasse le plafond de bruit implique par la recherche. Il nous faut 0,95. Nous avons obtenu 0,24 et 0,14 — a peine une chance sur quatre et une chance sur sept que l'edge soit meme positif une fois pris en compte le nombre de configurations essayees. Ajouter le troisieme timeframe a rendu les choses pires, pas meilleures : plus de parametres, plus de facons d'ajuster l'echantillon, moins de generalisation. Cette inversion est en soi une empreinte de surapprentissage.

• PBO 0,264 (dual), 0,327 (triple). Rappelez-vous le seul fait que tout le monde interprete de travers a propos du PBO (traitement complet ici) : son hypothese nulle est 0,5, pas 1. Le PBO est la probabilite que le vainqueur in-sample tombe dans la moitie inferieure en out-of-sample. Une selection fiable se situe pres de 0 ; un pur pile ou face se situe a 0,5. Nos 0,264 et 0,327 sont en dessous de 0,5 — la selection n'est pas litteralement un pile ou face, il y a un faible murmure de signal — mais les deux sont bien au-dessus du 0,2 que nous exigeons pour juger la selection fiable. Et la encore le triple (0,327) est plus proche de la ligne du pile ou face que le dual (0,264) : plus de complexite, moins de generalisation.

Les deux instruments sont orthogonaux — le DSR est parametrique et donne son juste prix au vainqueur, le PBO est non parametrique et donne son juste prix a la procedure — et ils convergent vers la meme reponse depuis des directions opposees. Il n'existe aucune lecture de ce tableau ou l'une ou l'autre strategie franchit la barre. Les +16,35 % qui ont lance toute cette chasse n'ont pas de cousin cross-instrument robuste. C'etait une propriete d'une seule crypto et d'une seule recherche.

Acte 5 — Suivre le champion, symbole par symbole

Les seuils agreges vous disent qu'une strategie a echoue ; la decomposition par symbole vous dit comment, et le comment est la partie la plus instructive de toute l'etude. Prenez le champion triple timeframe — la configuration que l'objectif de la mediane sur cinq a effectivement couronnee — et regardez ce qu'il a fait sur la fenetre de test out-of-sample de chaque symbole :

Voila l'illusion entiere, mise a nu en cinq lignes. Le champion est profitable sur exactement un des cinq symboles — SOLUSDT, a un tape-a-l'oeil +14,74 % — et negatif sur les quatre autres. Ce n'est pas un generaliste qui se trouve etre faible. C'est un specialiste SOL habille en portefeuille. L'unique gros positif fait tout le travail ; l'objectif de la mediane l'a retrograde en dessous du vainqueur ETHUSDT brut precisement parce que la mediane refuse de se laisser berner par un seul cas extreme, mais meme le champion selectionne par la mediane s'avere s'appuyer presque entierement sur une seule crypto une fois qu'on le decortique.

Le holdout — la fenetre que personne n'avait le droit d'optimiser — raconte la meme histoire depuis le point de vue le plus propre possible : sur les cinq majors, le rendement du champion sur le holdout est positif sur seulement 1 des 5 symboles. Si c'etait un vrai edge dans la famille de strategies, il apparaitrait, au moins faiblement, sur les donnees intactes de plus d'un instrument. Il apparait sur un seul. C'est la signature d'une configuration qui a appris un symbole, pas un marche.

Voila pourquoi l'axe cross-instrument etait le test decisif et pas simplement un plus. Le DSR mono-symbole avait deja deflate ETHUSDT a zero. Mais il a fallu le dispositif de la mediane sur cinq pour diagnostiquer l'echec — pour montrer que l'edge apparent n'a jamais ete reparti entre instruments a la base, qu'il etait une propriete de la crypto que la recherche s'est trouvee sur-ajuster lors de ce tour. Sur ETHUSDT il appartenait a ETHUSDT ; dans la chasse par la mediane il a migre vers SOLUSDT. L'edge a bouge. Les vrais edges ne bougent pas ainsi.

Pourquoi un resultat negatif est le bon resultat

Il vaut la peine d'etre explicite sur ce que nous affirmons et n'affirmons pas, car "nous n'avons trouve aucun edge" se lit facilement comme de la fausse modestie ou un aveu d'incompetence. Ce n'est ni l'un ni l'autre.

Nous n'affirmons pas que les croisements de HMA ne peuvent jamais fonctionner, ni que ces cinq cryptos sont imprevisibles, ni qu'aucune strategie double/triple timeframe n'existe. Nous affirmons quelque chose de plus etroit et de bien plus fort : au sein de cette famille de strategies, sur ces donnees, a cette intensite de recherche, il n'existe aucune configuration dont la performance apparente survive a la correction pour le nombre de choses que nous avons essayees. Tout ce qui ressemblait a un edge se trouve a l'interieur de la bande de confiance du meilleur du bruit. C'est un enonce precis, falsifiable, defendable — et c'est le bon a publier.

La tentation que la machinerie fait echouer est enorme, et elle a un nom dans tous les autres domaines : le probleme du tiroir (file-drawer problem). Les resultats negatifs sont enterres ; les resultats positifs sont rediges. En trading, l'incitation est plus tranchante encore, car le resultat positif que vous n'avez pas deflate n'est pas juste un mauvais article — c'est du capital deploye contre du bruit, du vrai argent payant de vraies commissions pour trader un ticket de loterie que vous avez pris pour un signal. L'article sur le look-ahead a montre une fuite fabriquant un Sharpe de 15 ; l'article sur le DSR a montre une recherche fabriquant un Sharpe de 1,63 a partir de pur bruit, sans aucune fuite. Cet article, c'est ce a quoi cela ressemble quand ces instruments sont braques sur votre propre idee preferee et sommes d'etre honnetes. L'appareillage — DSR, PBO/CSCV, regroupement en N effectif, selection cross-instrument — n'existe pas pour benir vos strategies. Il existe pour vous empecher de deployer le meilleur du bruit en le prenant pour de l'alpha, et la seule preuve qu'il fonctionne, c'est que parfois il dit non.

Une equipe depourvue de cet appareillage aurait deploye les +16,35 %. Elle aurait eu un walk-forward d'apparence propre, un holdout positif, aucune fuite de look-ahead detectable, et une histoire plausible. Elle aurait eu tort, et elle ne l'aurait pas su avant que le P&L en direct ne diverge — l'ecart backtest-live qu'un resultat negatif-mais-honnete n'a jamais a expliquer, parce qu'il n'est jamais passe en live. La valeur d'un non rigoureux se mesure aux drawdowns que vous n'avez jamais subis.

Provenance

Chaque chiffre de cet article remonte au code, pas au recit. La chasse a l'edge cross-instrument — le chargement des cinq symboles, les decoupages partages, l'objectif de la mediane entre symboles, la matrice de portefeuille equipondere fournie aux seuils — reside dans scripts/edge_hunt_multitf.py (commit acd84e8) dans le depot du backtester. Les seuils statistiques qu'elle appelle — Sharpe probabiliste et deflate, longueur minimale de track-record, N effectif via regroupement ONC, et PBO par CSCV, le tout implemente de zero sur NumPy/SciPy a partir des sources primaires plutot que d'une bibliotheque boite noire — sont dans scripts/overfit_gates.py (commit 7b966e1), qui est livre avec un auto-test plantant un edge connu dans du pur bruit et confirmant que les seuils le laissent passer et rejettent le bruit. L'etude mono-symbole ETHUSDT qui a produit les tentants +16,35 % provient du harnais bench_search_multitf anterieur que la chasse importe en lecture seule. Rien ici n'est un chiffre calcule a la main ; les seuils sont le meme chemin de code, que la reponse soit oui ou non.

A retenir

1. Nous avons lance des dizaines de milliers de backtests sur cinq majors, en double et triple timeframe, et n'avons trouve aucun edge robuste — et c'est le resultat que la machinerie est concue pour produire. Un resultat negatif, rigoureusement etabli, est une decouverte, pas un echec.
2. Un chiffre out-of-sample d'apparence propre n'est pas un edge. Le vainqueur ETHUSDT a affiche +16,35 % en out-of-sample et +2,62 % sur un holdout intact, sans aucune fuite de look-ahead — et s'est deflate a DSR 0,00 une fois comptes les ~37 000 essais qui le sous-tendaient. L'out-of-sample franchit le look-ahead ; seule la deflation franchit la selection.
3. Le False Strategy Theorem en est la raison. A ~30 000 essais, le meilleur du pur bruit se situe a environ quatre sigmas au-dessus de zero, par la seule selection. Un Sharpe quotidien de 0,19 est exactement ce que paie cette loterie. Vous devez comparer votre vainqueur au plafond de bruit, jamais a zero.
4. La robustesse vit entre instruments, pas seulement dans le temps. Selectionner par la mediane sur cinq symboles a transforme une illusion mono-crypto en une illusion diagnosticable : dual DSR 0,24 / PBO 0,264, triple DSR 0,14 / PBO 0,327 — les deux echouent aux deux seuils, et le triple (plus de parametres) est pire que le dual sur chaque metrique.
5. Decortiquez le champion avant de lui faire confiance. Le champion "portefeuille" triple timeframe etait profitable sur 1 des 5 symboles (SOL +14,74 % ; ETH −0,39 %, BTC −0,38 %, BNB −8,58 %, XRP −4,13 %) et positif sur le holdout pour seulement 1 des 5. Un edge qui vit sur un seul instrument et bouge quand vous refaites la recherche n'est pas un edge — c'est un surapprentissage habille en portefeuille.
6. Publiez le negatif. L'appareillage anti-surapprentissage — DSR, PBO/CSCV, N effectif, selection cross-instrument — vaut la peine d'etre possede precisement parce qu'il vous dit parfois non, et la discipline consiste a ecouter quand il le fait.

La strategie que nous voulions le plus voir fonctionner n'a pas fonctionne. Les instruments que nous avons construits pour attraper cela nous l'ont dit, de quatre facons independantes, avant qu'un seul dollar ne soit en jeu. C'est tout le propos de la serie, et c'est l'article ou le propos se concretise : la machinerie gagne son salaire le jour ou elle vous arrete — pas le jour ou elle vous flatte.