Il negativo onesto: decine di migliaia di backtest, cinque major, nessun edge robusto

Parte della serie "Backtest senza illusioni".

Il risultato che non volevamo

Questa serie ha dedicato diversi articoli alla costruzione di strumenti per smascherare una menzogna: il look-ahead bias che fabbrica uno Sharpe di 15 da una fuga di dati di una sola barra, il Deflated Sharpe Ratio che dà un prezzo al vincitore di una ricerca, la Probability of Backtest Overfitting che dà un prezzo alla ricerca stessa. Ognuno di quei pezzi era, in un certo senso, una prova generale. Questo è lo spettacolo: puntiamo l'intero apparato su una vera famiglia di strategie che volevamo davvero tradare, e lo lasciamo emettere il verdetto per cui è stato costruito — anche quando il verdetto è no.

Ecco il finale onesto, messo subito in chiaro. Abbiamo eseguito decine di migliaia di backtest su cinque coin major, in configurazioni dual- e triple-timeframe, alla ricerca di un edge robusto. Non ne abbiamo trovato uno. Non "abbiamo trovato un piccolo edge e ridotto la posizione". Abbiamo trovato nulla che sopravviva al contatto con la macchina — nessuna configurazione che sia contemporaneamente profittevole su più strumenti e difendibile sotto correzione per test multipli. Questo non è un fallimento dell'esperimento. Questo è l'esperimento che riesce.

La parte seducente — la parte che avrebbe spinto un team peggio attrezzato ad allocare capitale — è che una lettura ingenua sembrava davvero buona:

Leggete quella prima riga nel modo in cui l'abbiamo letta noi all'inizio: una strategia a crossover di medie mobili, ottimizzata su ETHUSDT su una griglia dual-timeframe, che stampa +16,35% su dati mai visti durante la ricerca, e che mantiene un +2,62% positivo su una seconda finestra che avevamo isolato completamente. Se ci si ferma lì — e la maggior parte dei backtest pubblicati si ferma lì — lo si manda in produzione. Il resto di questo articolo è la macchina che ci ha detto di non farlo, e perché aveva ragione.

Atto 1 — Il vincitore allettante

La famiglia di strategie è deliberatamente ordinaria: un crossover di Hull moving average, valutato su barre chiuse, con un modello di esecuzione onesto (si decide alla chiusura della barra i, si esegue all'apertura di i+1 — la disciplina della singola barra su cui questa serie non scenderà a compromessi). "Dual-timeframe" significa che il segnale è filtrato dal trend di un timeframe più lento; "triple" ne aggiunge un terzo, ancora più lento. Ogni timeframe aggiunge parametri liberi, e i parametri liberi sono esattamente ciò che una ricerca converte in performance apparente.

Lo studio single-symbol è stato eseguito su ETHUSDT. Il protocollo era già di quelli buoni: uno split walk-forward mobile (una finestra di warmup, diversi fold in-sample, una finestra test out-of-sample), più una finestra holdout finale che alla ricerca era vietato toccare fino alla fine assoluta. Una ricerca Sobol/QMC ha esplorato lo spazio dei parametri; il sopravvissuto era la configurazione con il miglior punteggio walk-forward, ed è stato portato una volta — esattamente una volta — sull'holdout.

Il sopravvissuto sembrava un edge:

• +16,35% sulla finestra di test out-of-sample — dati usati solo per dare un punteggio alle configurazioni, mai per fittarle.
• +2,62% sull'holdout mai toccato — una seconda barriera, superata.

Questo è il momento che decide se un processo di ricerca è onesto o teatrale. Il profitto out-of-sample è reale nel senso ristretto che i numeri non sono fabbricati e non c'è alcuna fuga di look-ahead — l'abbiamo verificato. Ma "numeri reali, nessuna fuga" è un'asticella molto più bassa di "edge reale". Tra le due si colloca ciò di cui parla l'intera serie: la selezione. Non abbiamo valutato una strategia scoprendo che ha fatto 16%. Abbiamo valutato un numero enorme di strategie e riportato il 16% della migliore. La finestra out-of-sample era pulita dal look-ahead, ma non era pulita dalla selezione — perché abbiamo scelto il vincitore in parte in base a come si è comportato lì. L'unico strumento in grado di distinguere queste due storie è quello che sa quante volte abbiamo guardato.

Atto 2 — La deflazione: ~37.000 prove, DSR = 0,00

Contate gli sguardi. Attraverso i fold, le combinazioni di timeframe e la griglia di parametri, la ricerca dual-timeframe ha valutato nell'ordine di 37.000 configurazioni distinte. Ognuna di esse è un'estrazione dallo spazio delle strategie, e la ricerca ha tenuto il massimo. L'articolo sul Deflated Sharpe Ratio contiene la derivazione completa, ma l'unico fatto che vi serve qui è il False Strategy Theorem (Bailey & López de Prado): lo Sharpe massimo atteso di N strategie con edge vero pari a zero cresce con N. Con N ≈ 30.000, il migliore del puro rumore si colloca a circa quattro deviazioni standard sopra lo zero, unicamente per selezione. Quattro sigma sembrano una scoperta. Sono l'ombra della ricerca.

Quindi la domanda giusta non è "lo Sharpe del vincitore è positivo?" — certo che lo è, hai scelto il massimo. La domanda giusta è "lo Sharpe del vincitore va oltre quello che posterebbe il più fortunato di 37.000 lanciatori di monetina?" Ed è esattamente ciò che il DSR calcola: sposta il benchmark da zero fino al soffitto di rumore implicato dal numero di prove, e riporta la probabilità che lo Sharpe vero superi quello.

Il track record out-of-sample del vincitore ETHUSDT corrisponde a uno Sharpe giornaliero di circa 0,19. Di per sé, un SR giornaliero di 0,19 su una lunga finestra è un numero perfettamente rispettabile. Sgonfiato contro ~37.000 prove, evapora:

$\text{DSR}\big(\hat{SR}=0.19\,\text{daily},\; N\approx 37{,}000\big) = \mathbf{0.00}$

Zero. Non "marginale", non "0,4, teniamolo d'occhio". Il DSR dice: dato quanto abbiamo cercato duramente, uno Sharpe giornaliero di 0,19 è indistinguibile dalla migliore estrazione di puro rumore. Il +16,35% out-of-sample e il +2,62% holdout sono coerenti, con la precisione che questo test riesce a risolvere, con una strategia che non ha alcun edge e ha semplicemente vinto una lotteria con 37.000 biglietti.

Una sottigliezza che vale la pena segnalare, perché non vogliamo sovrastimare la deflazione: i punti vicini su una griglia di parametri sono quasi-duplicati, quindi il conteggio grezzo delle prove sovrastima gli sguardi indipendenti. Il nostro gate usa il numero effettivo di prove — prove raggruppate per correlazione dei rendimenti tramite ONC (López de Prado & Lewis) prima di deflazionare — proprio per non rigettare un edge reale per una ragione contabile. Anche includendo quella correzione, il vincitore ETHUSDT non sopravvive. Quando un risultato riporta DSR 0,00, la sfumatura sull'N effettivo non lo salverà; è ben dentro il rumore.

Quello avrebbe potuto essere il finale. Un simbolo, una ricerca, sgonfiata a nulla. Ma il fallimento del DSR su un singolo simbolo lascia una scappatoia che un ottimizzatore determinato cercherà sempre di sfruttare: forse ETHUSDT è semplicemente un simbolo difficile, e la configurazione è reale altrove. Per chiudere quella scappatoia bisogna cambiare l'asse del test.

Atto 3 — Il test decisivo: la robustezza si misura tra strumenti

Una ricerca single-symbol ha una debolezza strutturale anche quando per il resto è perfetta: il suo unico asse out-of-sample è il tempo. Può dirti che la configurazione ha tenuto su una finestra successiva di ETHUSDT — ma non può dirti se la configurazione ha imparato qualcosa sui mercati o qualcosa su ETHUSDT in particolare. L'overfitting su un solo strumento è invisibile a un test che non lascia mai quello strumento.

Così abbiamo cambiato l'obiettivo. Invece di "il migliore su ETHUSDT out-of-sample", la caccia cross-instrument chiede generalisti: configurazioni che siano buone contemporaneamente su molti simboli. Il protocollo:

• Cinque major liquide: ETHUSDT, BTCUSDT, SOLUSDT, BNBUSDT, XRPUSDT — all'incirca 1,18 milioni di barre da 1 minuto ciascuna, una finestra di calendario condivisa, un unico set condiviso di split (warmup → K fold in-sample → test → un holdout mai toccato).
• Un obiettivo robusto: dai un punteggio a ogni configurazione sul risultato walk-forward di ogni simbolo, poi classifica per mediana tra i simboli. La mediana è il punto — una configurazione spettacolare su una coin e pessima su quattro non può comprarsi l'ingresso con un singolo outlier. Per essere selezionata, deve essere almeno mediocre sulla maggior parte di essi.
• Una matrice di rendimenti di portafoglio per i gate: i rendimenti giornalieri per prova sono un portafoglio a peso uguale tra i cinque simboli (1/S del capitale ciascuno), che fornisce la matrice di performance T×N che i gate DSR e PBO-CSCV consumano.
• L'holdout viene toccato una sola volta, e solo dal campione robusto di ciascuna modalità.

Questo è un test rigorosamente più difficile di quello single-symbol, e deliberatamente. Una configurazione può vincere la ricerca ETHUSDT sfruttando l'idiosincrasia di una singola coin; non può vincere la ricerca per mediana-tra-cinque in quel modo. Se un edge robusto esiste in questa famiglia di strategie, questo è il setup che lo trova. Se non esiste, questo è il setup che lo dice senza esitazioni.

Atto 4 — Il verdetto: entrambi i timeframe falliscono i gate

Abbiamo eseguito la caccia cross-instrument in entrambe le configurazioni e sottoposto ai gate ciascun campione robusto. I gate sono i due standard: DSR ≥ 0,95 (sgonfiato contro il numero effettivo di prove) e PBO ≤ 0,2 (da CSCV sulla matrice di performance). Ecco l'intero verdetto, onestamente:

Entrambi falliscono, entrambi i gate, entrambe le modalità. Leggete ogni numero con la calibrazione stabilita dagli articoli precedenti, perché i due gate dicono cose diverse e sono concordi:

• DSR 0,24 (dual), 0,14 (triple). Il DSR è la probabilità che lo Sharpe vero superi il soffitto di rumore implicato dalla ricerca. Ci serve 0,95. Abbiamo ottenuto 0,24 e 0,14 — appena una probabilità su quattro e una su sette che l'edge sia anche solo positivo, una volta che si tiene conto di quante configurazioni sono state provate. Aggiungere il terzo timeframe ha peggiorato le cose, non migliorate: più parametri, più modi di fittare il campione, meno che generalizza. Quell'inversione è di per sé un'impronta digitale dell'overfitting.

• PBO 0,264 (dual), 0,327 (triple). Ricordate l'unico fatto che tutti fraintendono riguardo al PBO (trattazione completa qui): la sua ipotesi nulla è 0,5, non 1. Il PBO è la probabilità che il vincitore in-sample finisca nella metà inferiore out-of-sample. Una selezione affidabile si colloca vicino a 0; un puro lancio di monetina si colloca a 0,5. I nostri 0,264 e 0,327 sono sotto 0,5 — la selezione non è letteralmente un lancio di monetina, c'è un debole sussurro di segnale — ma entrambi sono ben sopra lo 0,2 che richiediamo per definire affidabile la selezione. E di nuovo il triple (0,327) è più vicino alla linea del lancio di monetina rispetto al dual (0,264): più complessità, meno generalizzazione.

I due strumenti sono ortogonali — il DSR è parametrico e dà un prezzo al vincitore, il PBO è non parametrico e dà un prezzo alla procedura — e convergono sulla stessa risposta da direzioni opposte. Non c'è alcuna lettura di questa tabella secondo cui una delle due strategie superi l'asticella. Il +16,35% che ha dato il via a tutta questa caccia non ha un cugino robusto cross-instrument. Era una proprietà di una coin e di una ricerca.

Atto 5 — Segui il campione, simbolo per simbolo

I gate aggregati ti dicono che una strategia è fallita; la scomposizione per simbolo ti dice come, e il come è la parte più istruttiva dell'intero studio. Prendete il campione triple-timeframe — la configurazione che l'obiettivo di mediana-tra-cinque ha effettivamente incoronato — e guardate cosa ha fatto sulla finestra di test out-of-sample di ciascun simbolo:

Ecco l'intera illusione, messa a nudo in cinque righe. Il campione è profittevole su esattamente uno dei cinque simboli — SOLUSDT, a un vistoso +14,74% — e negativo sugli altri quattro. Non è un generalista che per caso è debole. È uno specialista di SOL travestito da portafoglio. L'unico grande positivo sta facendo tutto il lavoro; l'obiettivo di mediana lo ha declassato al di sotto del vincitore grezzo ETHUSDT proprio perché la mediana si rifiuta di lasciarsi ingannare da un singolo outlier, ma persino il campione selezionato per mediana si rivela poggiare quasi interamente su una sola coin una volta che lo si scompone.

L'holdout — la finestra che a nessuno era permesso ottimizzare — racconta la stessa storia dalla prospettiva più pulita possibile: sulle cinque major, il rendimento holdout del campione è positivo su solo 1 dei 5 simboli. Se questo fosse un edge reale nella famiglia di strategie, si mostrerebbe, almeno debolmente, sui dati mai toccati di più di uno strumento. Si mostra su uno. Questa è la firma di una configurazione che ha imparato un simbolo, non un mercato.

Ecco perché l'asse cross-instrument era il test decisivo e non un semplice optional. Il DSR single-symbol aveva già sgonfiato ETHUSDT a zero. Ma c'è voluto il design a mediana-tra-cinque per diagnosticare il fallimento — per mostrare che l'edge apparente non era mai stato distribuito tra gli strumenti in primo luogo, che era una proprietà di qualunque coin la ricerca si fosse trovata a overfittare in quella sessione. Su ETHUSDT era di ETHUSDT; nella caccia per mediana è migrato a SOLUSDT. L'edge si è spostato. I veri edge non si spostano così.

Perché un risultato negativo è il risultato corretto

Vale la pena essere espliciti su cosa stiamo e non stiamo affermando, perché "non abbiamo trovato alcun edge" è facile da fraintendere sia come falsa modestia sia come confessione di incompetenza. Non è nessuna delle due.

Non stiamo affermando che i crossover HMA non possano mai funzionare, o che queste cinque coin siano imprevedibili, o che nessuna strategia dual/triple-timeframe esista. Stiamo affermando qualcosa di più ristretto e molto più forte: all'interno di questa famiglia di strategie, su questi dati, a questa intensità di ricerca, non esiste alcuna configurazione la cui performance apparente sopravviva alla correzione per il numero di cose che abbiamo provato. Tutto ciò che sembrava un edge è dentro la banda di confidenza del migliore del rumore. È un'affermazione precisa, falsificabile, difendibile — ed è quella corretta da pubblicare.

La tentazione che la macchina sconfigge è enorme, e ha un nome in ogni altro campo: il problema del cassetto (file-drawer problem). I risultati negativi vengono sepolti; i risultati positivi vengono scritti. Nel trading l'incentivo è ancora più affilato, perché il risultato positivo che non sei riuscito a sgonfiare non è solo un brutto paper — è capitale schierato contro il rumore, denaro reale che paga commissioni reali per tradare un biglietto della lotteria che hai scambiato per un segnale. L'articolo sul look-ahead ha mostrato una fuga che fabbricava uno Sharpe di 15; l'articolo sul DSR ha mostrato una ricerca che fabbricava uno Sharpe di 1,63 da puro rumore senza alcuna fuga. Questo articolo è cosa succede quando quegli strumenti vengono puntati sulla tua idea preferita e a cui viene chiesto di essere onesti. L'apparato — DSR, PBO/CSCV, clustering N-effettivo, selezione cross-instrument — non esiste per benedire le tue strategie. Esiste per impedirti di spacciare il migliore del rumore per alpha, e l'unica prova che funziona è che a volte dice no.

Un team senza questo apparato avrebbe mandato in produzione il +16,35%. Avrebbe avuto un walk-forward dall'aspetto pulito, un holdout positivo, nessuna fuga di look-ahead rilevabile e una storia plausibile. Si sarebbe sbagliato, e non lo avrebbe saputo finché il P&L reale non fosse divergito — il divario backtest-live che un risultato negativo-ma-onesto non deve mai spiegare, perché non è mai andato in produzione. Il valore di un no rigoroso si misura nei drawdown che non hai mai subito.

Provenienza

Ogni numero in questo articolo si può ricondurre al codice, non alla narrazione. La caccia cross-instrument all'edge — il caricamento dei cinque simboli, gli split condivisi, l'obiettivo di mediana-tra-simboli, la matrice di portafoglio a peso uguale alimentata ai gate — vive in scripts/edge_hunt_multitf.py (commit acd84e8) nel repository del backtester. I gate statistici che chiama — Sharpe probabilistico e deflazionato, lunghezza minima del track record, N-effettivo tramite clustering ONC, e PBO tramite CSCV, tutti implementati da zero su NumPy/SciPy a partire dalle fonti primarie anziché da una libreria black-box — sono in scripts/overfit_gates.py (commit 7b966e1), che viene fornito con un self-test che pianta un edge noto nel puro rumore e conferma che i gate lo superano e rigettano il rumore. Lo studio single-symbol su ETHUSDT che ha prodotto l'allettante +16,35% proviene dall'harness precedente bench_search_multitf che la caccia importa in sola lettura. Nulla qui è una cifra calcolata a mano; i gate sono lo stesso percorso di codice indipendentemente dal fatto che la risposta sia sì o no.

Punti chiave

1. Abbiamo eseguito decine di migliaia di backtest su cinque major, dual- e triple-timeframe, e non abbiamo trovato alcun edge robusto — ed è il risultato che la macchina è costruita per produrre. Un risultato negativo, stabilito con rigore, è una scoperta, non un fallimento.
2. Un numero out-of-sample dall'aspetto pulito non è un edge. Il vincitore ETHUSDT ha postato +16,35% out-of-sample e +2,62% su un holdout mai toccato, senza alcuna fuga di look-ahead — e si è sgonfiato a DSR 0,00 una volta contate le ~37.000 prove alle sue spalle. L'out-of-sample supera il look-ahead; solo la deflazione supera la selezione.
3. Il False Strategy Theorem è la ragione. Con ~30.000 prove, il migliore del puro rumore si colloca a circa quattro sigma sopra lo zero per sola selezione. Uno Sharpe giornaliero di 0,19 è esattamente quanto paga quella lotteria. Devi confrontare il tuo vincitore con il soffitto di rumore, mai con lo zero.
4. La robustezza vive tra gli strumenti, non solo nel tempo. Selezionare per la mediana tra cinque simboli ha trasformato un'illusione da singola coin in una diagnosticabile: dual DSR 0,24 / PBO 0,264, triple DSR 0,14 / PBO 0,327 — entrambi falliscono entrambi i gate, e il triple (più parametri) è peggiore del dual su ogni metrica.
5. Scomponi il campione prima di fidartene. Il campione "portafoglio" triple-timeframe era profittevole su 1 di 5 simboli (SOL +14,74%; ETH −0,39%, BTC −0,38%, BNB −8,58%, XRP −4,13%) e positivo sull'holdout solo su 1 di 5. Un edge che vive su un solo strumento e si sposta quando ricerchi di nuovo non è un edge — è un overfit travestito da portafoglio.
6. Pubblica il negativo. L'apparato anti-overfit — DSR, PBO/CSCV, N-effettivo, selezione cross-instrument — vale la pena averlo proprio perché a volte ti dice no, e la disciplina sta nell'ascoltarlo quando lo fa.

La strategia che più volevamo funzionasse non ha funzionato. Gli strumenti che abbiamo costruito per smascherarlo ce lo hanno detto, in quattro modi indipendenti, prima che un singolo dollaro fosse a rischio. Questo è tutto il senso della serie, e questo è l'articolo in cui il senso si concretizza: la macchina si guadagna il pane il giorno in cui ti ferma — non il giorno in cui ti lusinga.