Het Eerlijke Negatieve Resultaat: Tienduizenden Backtests, Vijf Grote Munten, Geen Robuuste Edge

Onderdeel van de serie "Backtests Zonder Illusies".

Het resultaat dat we niet wilden

Deze serie heeft meerdere artikelen besteed aan het bouwen van instrumenten om een leugen te ontmaskeren: look-ahead bias die uit een lek van één bar een Sharpe van 15 fabriceert, de Deflated Sharpe Ratio die de winnaar van een zoektocht beprijst, de Probability of Backtest Overfitting die de zoektocht zelf beprijst. Elk van die stukken was, in zekere zin, een repetitie. Dit is de uitvoering: we richten het hele apparaat op een echte strategiefamilie die we daadwerkelijk wilden verhandelen, en we laten het het oordeel vellen waarvoor het gebouwd is — ook als dat oordeel nee is.

Hier is meteen het eerlijke slot. We draaiden tienduizenden backtests over vijf grote munten, in dual- en triple-timeframe-configuraties, op zoek naar een robuuste edge. We vonden er geen. Niet "we vonden een kleine edge en verkleinden de positie." We vonden niets dat het contact met de machinerie overleeft — geen enkele configuratie die tegelijk winstgevend is over instrumenten heen én verdedigbaar onder multiple-testing-correctie. Dat is geen mislukking van het experiment. Dat is het experiment dat slaagt.

Het verleidelijke deel — het deel dat een minder goed geïnstrumenteerd team ertoe zou hebben gebracht kapitaal toe te wijzen — is dat een naïeve lezing er oprecht goed uitzag:

Lees die bovenste rij zoals wij hem voor het eerst lazen: een moving-average-crossover-strategie, getuned op ETHUSDT over een dual-timeframe-grid, die +16.35% neerzet op data die nooit tijdens de zoektocht is gezien, en die een positieve +2.62% aanhoudt op een tweede venster dat we volledig hadden afgeschermd. Als je daar stopt — en de meeste gepubliceerde backtests stoppen daar — dan ship je het. De rest van dit artikel is de machinerie die ons zei dat niet te doen, en waarom die machinerie gelijk had.

Bedrijf 1 — De verleidelijke winnaar

De strategiefamilie is bewust gewoontjes: een Hull-moving-average-crossover, geëvalueerd op gesloten bars, met een eerlijk executiemodel (beslis op de close van bar i, voer uit op de open van i+1 — de one-bar-discipline waar deze serie geen concessies aan doet). "Dual-timeframe" betekent dat het signaal wordt gefilterd door de trend van een tragere timeframe; "triple" voegt een derde, nog tragere timeframe toe. Elke timeframe voegt vrije parameters toe, en vrije parameters zijn precies wat een zoektocht omzet in schijnbare performance.

De single-symbol-studie draaide op ETHUSDT. Het protocol was al van de goede soort: een rollende walk-forward-split (een warmup-venster, meerdere in-sample-folds, een out-of-sample-test-venster), plus een laatste holdout-venster dat de zoektocht tot op het allerlaatste moment niet mocht aanraken. Een Sobol/QMC-zoektocht doorzocht de parameterruimte; de overlevende was de configuratie met de beste walk-forward-score, en die werd één keer — precies één keer — meegenomen naar de holdout.

De overlevende zag eruit als een edge:

• +16.35% op het out-of-sample-testvenster — data die alleen werd gebruikt om configuraties te scoren, nooit om ze te fitten.
• +2.62% op de ongebruikte holdout — een tweede muur, genomen.

Dit is het moment dat bepaalt of een onderzoeksproces eerlijk is of theatraal. De out-of-sample-winst is reëel in de enge zin dat de cijfers niet verzonnen zijn en er geen look-ahead-lek is — dat hebben we gecontroleerd. Maar "echte cijfers, geen lek" is een veel lagere lat dan "echte edge." Daartussenin zit het onderwerp waar deze hele serie om draait: selectie. We hebben niet één strategie geëvalueerd en vastgesteld dat die 16% opleverde. We hebben een enorm aantal strategieën geëvalueerd en de 16% van de beste ervan gerapporteerd. Het out-of-sample-venster was vrij van look-ahead, maar niet vrij van selectie — omdat we de winnaar deels kozen op basis van hoe die daar presteerde. Het enige instrument dat deze twee verhalen uit elkaar kan houden, is er een dat weet hoe vaak we hebben gekeken.

Bedrijf 2 — De deflatie: ~37,000 trials, DSR = 0.00

Tel de blikken. Over de folds, de timeframe-combinaties en de parametergrid heen evalueerde de dual-timeframe-zoektocht in de orde van grootte van 37,000 unieke configuraties. Elke configuratie is een trekking uit de strategieruimte, en de zoektocht behield het maximum. Het Deflated Sharpe Ratio-artikel bevat de volledige afleiding, maar het ene feit dat je hier nodig hebt is de False Strategy Theorem (Bailey & López de Prado): de verwachte maximale Sharpe van N strategieën met nul echte edge groeit met N. Bij N ≈ 30,000 ligt de beste van pure ruis ongeveer vier standaarddeviaties boven nul, puur door selectie. Vier sigma ziet eruit als een ontdekking. Het is de schaduw van de zoektocht.

De juiste vraag is dus niet "is de Sharpe van de winnaar positief?" — natuurlijk is die dat, je hebt het maximum gekozen. De juiste vraag is "ligt de Sharpe van de winnaar boven wat de gelukkigste van 37,000 muntopgooiers zou neerzetten?" Dat is precies wat de DSR berekent: hij verschuift de benchmark van nul naar het ruisplafond dat wordt geïmpliceerd door het aantal trials, en rapporteert de kans dat de werkelijke Sharpe dat plafond haalt.

De out-of-sample-track van de ETHUSDT-winnaar komt overeen met een dagelijkse Sharpe van ongeveer 0.19. Op zichzelf is een dagelijkse SR van 0.19 over een lang venster een volkomen respectabel getal. Gedeflateerd tegen ~37,000 trials, verdampt het:

$\text{DSR}\big(\hat{SR}=0.19\,\text{daily},\; N\approx 37{,}000\big) = \mathbf{0.00}$

Nul. Niet "marginaal," niet "0.4, houd het in de gaten." De DSR zegt: gegeven hoe hard we hebben gezocht, is een dagelijkse Sharpe van 0.19 niet te onderscheiden van de beste trekking uit pure ruis. De +16.35% out-of-sample en de +2.62% holdout zijn, tot op de precisie die deze test kan oplossen, consistent met een strategie die helemaal geen edge heeft en simpelweg een loterij heeft gewonnen met 37,000 lootjes.

Een subtiliteit die het waard is om te vermelden, omdat we de deflatie niet willen overdrijven: naburige punten op een parametergrid zijn bijna-duplicaten, waardoor het ruwe aantal trials de onafhankelijke blikken overtelt. Onze gate gebruikt het effectieve aantal trials — trials geclusterd op returncorrelatie via ONC (López de Prado & Lewis) vóór de deflatie — precies om te voorkomen dat we een echte edge afwijzen om een boekhoudkundige reden. Zelfs met die correctie meegenomen, overleeft de ETHUSDT-winnaar het niet. Wanneer een resultaat DSR 0.00 laat zien, gaat de effectieve-N-nuance het niet redden; het zit diep in de ruis.

Dat had het einde kunnen zijn. Eén symbool, één zoektocht, gedeflateerd tot niets. Maar een DSR die faalt op één symbool laat een achterdeur open die een vastberaden optimalisator altijd zal proberen te forceren: misschien is ETHUSDT gewoon een lastig symbool, en is de configuratie ergens anders wel echt. Om die achterdeur te sluiten moet je de as van de test veranderen.

Bedrijf 3 — De beslissende test: robuustheid over instrumenten

Een single-symbol-zoektocht heeft een structurele zwakte, zelfs als hij verder perfect is: de enige out-of-sample-as is tijd. Hij kan je vertellen dat de configuratie standhield op een later venster van ETHUSDT — maar hij kan je niet vertellen of de configuratie iets over markten heeft geleerd, of iets over ETHUSDT specifiek. Overfitting op één instrument is onzichtbaar voor een test die dat instrument nooit verlaat.

Dus veranderden we de doelfunctie. In plaats van "het beste op ETHUSDT out-of-sample" vraagt de cross-instrument-zoektocht om generalisten: configuraties die tegelijkertijd goed zijn over veel symbolen. Het protocol:

• Vijf liquide grote munten: ETHUSDT, BTCUSDT, SOLUSDT, BNBUSDT, XRPUSDT — elk ongeveer 1.18 miljoen 1-minuut-bars, één gedeeld kalendervenster, één gedeelde set splits (warmup → K in-sample-folds → test → een ongebruikte holdout).
• Een robuuste doelfunctie: scoor elke configuratie op het walk-forward-resultaat van elk symbool, en rangschik vervolgens op de mediaan over de symbolen. De mediaan is het hele punt — een configuratie die spectaculair is op één munt en beroerd op vier andere kan zich niet naar binnen kopen met één uitschieter. Om geselecteerd te worden, moet ze op de meeste van hen op zijn minst middelmatig zijn.
• Een portfolio-returnmatrix voor de gates: de dagelijkse returns per trial vormen een equal-weight-portfolio over de vijf symbolen (1/S van het kapitaal per symbool), wat de T×N-performancematrix oplevert die de DSR- en PBO-CSCV-gates consumeren.
• De holdout wordt één keer aangeraakt, en alleen door de robuuste kampioen van elke modus.

Dit is strikt een moeilijkere test dan de single-symbol-versie, en dat is opzettelijk zo. Een configuratie kan de ETHUSDT-zoektocht winnen door de eigenaardigheid van één munt uit te buiten; op die manier kan ze de mediaan-over-vijf-zoektocht niet winnen. Als er een robuuste edge bestaat in deze strategiefamilie, is dit de opzet die hem vindt. Als die er niet is, is dit de opzet die dat zegt zonder terug te deinzen.

Bedrijf 4 — Het oordeel: beide timeframes falen op de gates

We draaiden de cross-instrument-zoektocht in beide configuraties en toetsten elke robuuste kampioen aan de gates. De gates zijn de standaard twee: DSR ≥ 0.95 (gedeflateerd tegen het effectieve aantal trials) en PBO ≤ 0.2 (uit CSCV over de performancematrix). Hier is het volledige oordeel, eerlijk:

Beide falen, beide gates, beide modi. Lees elk getal met de kalibratie die de eerdere artikelen hebben vastgesteld, want de twee gates zeggen iets anders en zijn het toch met elkaar eens:

• DSR 0.24 (dual), 0.14 (triple). DSR is de kans dat de werkelijke Sharpe boven het ruisplafond ligt dat door de zoektocht wordt geïmpliceerd. We hebben 0.95 nodig. We kregen 0.24 en 0.14 — nauwelijks één-op-vier en één-op-zeven kans dat de edge zelfs maar positief is zodra je rekening houdt met hoeveel configuraties er zijn geprobeerd. Het toevoegen van de derde timeframe maakte het erger, niet beter: meer parameters, meer manieren om de sample te fitten, minder dat generaliseert. Die omkering is zelf al een vingerafdruk van overfitting.

• PBO 0.264 (dual), 0.327 (triple). Denk aan het ene feit dat iedereen verkeerd leest over PBO (volledige behandeling hier): de nulhypothese ligt op 0.5, niet op 1. PBO is de kans dat de in-sample-winnaar in de onderste helft out of sample terechtkomt. Een betrouwbare selectie ligt dicht bij 0; een pure muntopgooi ligt op 0.5. Onze 0.264 en 0.327 liggen onder 0.5 — de selectie is niet letterlijk een muntopgooi, er is een zwakke fluistering van signaal — maar beide liggen ruim boven de 0.2 die we vereisen om de selectie betrouwbaar te noemen. En opnieuw ligt de triple (0.327) dichter bij de muntopgooi-lijn dan de dual (0.264): meer complexiteit, minder generalisatie.

De twee instrumenten staan orthogonaal ten opzichte van elkaar — DSR is parametrisch en beprijst de winnaar, PBO is non-parametrisch en beprijst de procedure — en ze komen vanuit tegengestelde richtingen uit op hetzelfde antwoord. Er is geen lezing van deze tabel waarin een van beide strategieën de lat haalt. De +16.35% waarmee deze hele zoektocht begon, heeft geen robuuste cross-instrument-neef. Het was een eigenschap van één munt en één zoektocht.

Bedrijf 5 — De kampioen volgen, symbool voor symbool

Geaggregeerde gates vertellen je dat een strategie faalde; de uitsplitsing per symbool vertelt je hoe, en dat hoe is het meest leerzame deel van de hele studie. Neem de triple-timeframe-kampioen — de configuratie die de mediaan-over-vijf-doelfunctie daadwerkelijk kroonde — en bekijk wat die deed op het out-of-sample-test-venster van elk symbool:

Daar is de hele illusie, blootgelegd in vijf rijen. De kampioen is winstgevend op precies één van de vijf symbolen — SOLUSDT, met een opzichtige +14.74% — en negatief op de andere vier. Het is geen generalist die toevallig zwak is. Het is een SOL-specialist in de kleren van een portfolio. De ene grote plus doet al het werk; de mediaan-doelfunctie degradeerde deze configuratie onder de ruwe ETHUSDT-winnaar, precies omdat de mediaan zich niet laat misleiden door één uitschieter, maar zelfs de door de mediaan geselecteerde kampioen blijkt bijna volledig op één munt te leunen zodra je hem uitpakt.

De holdout — het venster waartegen niemand mocht optimaliseren — vertelt hetzelfde verhaal vanuit het schoonst mogelijke uitgangspunt: over de vijf grote munten heen is het holdout-rendement van de kampioen positief op slechts 1 van de 5 symbolen. Als dit een echte edge in de strategiefamilie was, zou die, op zijn minst zwakjes, zichtbaar zijn op de ongebruikte data van meer dan één instrument. Hij is zichtbaar op één. Dat is de signatuur van een configuratie die een symbool heeft geleerd, geen markt.

Dit is waarom de cross-instrument-as de beslissende test was en niet enkel een leuke extra. De single-symbol-DSR had ETHUSDT al tot nul gedeflateerd. Maar het vergde het mediaan-over-vijf-ontwerp om het falen te diagnosticeren — om te laten zien dat de schijnbare edge nooit werkelijk over instrumenten verdeeld was geweest, dat het een eigenschap was van welke munt de zoektocht die run toevallig had overfit. Op ETHUSDT was het van ETHUSDT; bij de mediaan-zoektocht migreerde het naar SOLUSDT. De edge verplaatste zich. Echte edges verplaatsen zich niet zo.

Waarom een negatief resultaat het juiste resultaat is

Het is de moeite waard om expliciet te zijn over wat we wel en niet beweren, want "we vonden geen edge" is gemakkelijk verkeerd te lezen als valse bescheidenheid of als een bekentenis van onkunde. Het is geen van beide.

We beweren niet dat HMA-crossovers nooit kunnen werken, of dat deze vijf munten onvoorspelbaar zijn, of dat er geen enkele dual/triple-timeframe-strategie bestaat. We beweren iets nauwers en veel sterkers: binnen deze strategiefamilie, over deze data, bij deze zoekintensiteit, is er geen configuratie waarvan de schijnbare performance de correctie voor het aantal dingen dat we hebben geprobeerd overleeft. Alles wat op een edge leek, valt binnen de betrouwbaarheidsband van de beste van de ruis. Dat is een precieze, falsifieerbare, verdedigbare bewering — en het is de juiste om te publiceren.

De verleiding die de machinerie verslaat is enorm, en heeft in elk ander vakgebied een naam: het file-drawer-probleem. Negatieve resultaten worden begraven; positieve resultaten worden opgeschreven. In trading is de prikkel nog scherper, omdat het positieve resultaat dat je niet hebt weten te deflateren niet zomaar een slecht paper is — het is kapitaal ingezet tegen ruis, echt geld dat echte fees betaalt om een lot te verhandelen dat je voor een signaal aanzag. Het look-ahead-artikel liet een lek zien dat een Sharpe van 15 fabriceerde; het DSR-artikel liet een zoektocht zien die een Sharpe van 1.63 fabriceerde uit pure ruis, zonder enig lek. Dit artikel is hoe het eruitziet wanneer die instrumenten worden gericht op je eigen favoriete idee en gevraagd wordt eerlijk te zijn. Het apparaat — DSR, PBO/CSCV, effectieve-N-clustering, cross-instrument-selectie — bestaat niet om je strategieën te zegenen. Het bestaat om te voorkomen dat je de beste van de ruis als alpha shipt, en het enige bewijs dat het werkt, is dat het soms nee zegt.

Een team zonder dit apparaat zou de +16.35% hebben geshipt. Ze zouden een schoon ogende walk-forward hebben gehad, een positieve holdout, geen detecteerbaar look-ahead-lek, en een aannemelijk verhaal. Ze zouden het bij het verkeerde eind hebben gehad, en ze zouden dat niet hebben geweten totdat de live P&L afweek — het backtest-live-gat dat een negatief-maar-eerlijk resultaat nooit hoeft te verklaren, omdat het nooit live is gegaan. De waarde van een rigoureuze nee wordt gemeten in de drawdowns die je nooit hebt genomen.

Herkomst

Elk getal in dit artikel is te herleiden tot code, niet tot een verhaal. De cross-instrument-edge-hunt — het laden van de vijf symbolen, de gedeelde splits, de mediaan-over-symbolen-doelfunctie, de equal-weight-portfoliomatrix die aan de gates wordt gevoerd — leeft in scripts/edge_hunt_multitf.py (commit acd84e8) in de backtester-repository. De statistische gates die het aanroept — probabilistische en deflated Sharpe, minimale track-record-lengte, effectieve-N via ONC-clustering, en PBO via CSCV, allemaal vanaf nul geïmplementeerd op NumPy/SciPy tegen de primaire bronnen in plaats van een black-box-bibliotheek — staan in scripts/overfit_gates.py (commit 7b966e1), dat wordt geleverd met een zelftest die een bekende edge in pure ruis plant en bevestigt dat de gates die doorlaten en de ruis afwijzen. De single-symbol-ETHUSDT-studie die de verleidelijke +16.35% opleverde, kwam uit de eerdere bench_search_multitf-harness die de hunt read-only importeert. Niets hier is een handmatig berekend cijfer; de gates zijn hetzelfde codepad, ongeacht of het antwoord ja of nee is.

Kernpunten

1. We draaiden tienduizenden backtests over vijf grote munten, dual- en triple-timeframe, en vonden geen robuuste edge — en dat is het resultaat waarvoor de machinerie gebouwd is. Een negatief resultaat, rigoureus vastgesteld, is een bevinding, geen mislukking.
2. Een schoon ogend out-of-sample-cijfer is geen edge. De ETHUSDT-winnaar noteerde +16.35% out-of-sample en +2.62% op een ongebruikte holdout, zonder look-ahead-lek — en deflateerde tot DSR 0.00 zodra je de ~37,000 trials erachter meetelde. Out-of-sample ontkracht look-ahead; alleen deflatie ontkracht selectie.
3. De False Strategy Theorem is de reden. Bij ~30,000 trials ligt de beste van pure ruis alleen al door selectie ongeveer vier sigma boven nul. Een dagelijkse Sharpe van 0.19 is precies wat die loterij uitbetaalt. Je moet je winnaar vergelijken met het ruisplafond, nooit met nul.
4. Robuustheid zit in de instrumenten, niet alleen in de tijd. Selecteren op de mediaan over vijf symbolen maakte van een single-coin-illusie een diagnosticeerbare illusie: dual DSR 0.24 / PBO 0.264, triple DSR 0.14 / PBO 0.327 — beide falen op beide gates, en de triple (meer parameters) is op elke metriek slechter dan de dual.
5. Pak de kampioen uit voordat je hem vertrouwt. De "portfolio"-kampioen op triple-timeframe was winstgevend op 1 van de 5 symbolen (SOL +14.74%; ETH −0.39%, BTC −0.38%, BNB −8.58%, XRP −4.13%) en positief op de holdout voor slechts 1 van de 5. Een edge die op één instrument leeft en verschuift zodra je opnieuw zoekt, is geen edge — het is een overfit in de kleren van een portfolio.
6. Publiceer het negatieve resultaat. Het anti-overfitting-apparaat — DSR, PBO/CSCV, effectieve-N, cross-instrument-selectie — is precies de moeite waard omdat het je soms nee vertelt, en de discipline is om te luisteren wanneer dat gebeurt.

De strategie die we het liefst hadden zien werken, werkte niet. De instrumenten die we bouwden om dat te ontdekken, vertelden ons dat, op vier onafhankelijke manieren, voordat er ook maar één dollar op het spel stond. Dat is het hele punt van deze serie, en dit is het artikel waarin dat punt zich terugbetaalt: de machinerie verdient zijn geld terug op de dag dat hij je tegenhoudt — niet op de dag dat hij je vleit.