Blog

Het sluitstuk van de zoek-en-overfit-boog, en het eindigt in een negatief resultaat — het juiste. Een single-symbol dual-timeframe-zoektocht op ETHUSDT vond een configuratie ter waarde van +16.35% out-of-sample en +2.62% op een ongebruikte holdout; de Deflated Sharpe Ratio, rekening houdend met ~37,000 trials, deflateerde dit tot 0.00. Een cross-instrument-doorloop over vijf grote munten (ETH/BTC/SOL/BNB/XRP, elk ~1.18M 1m-bars), selecterend op mediaan out-of-sample, maakt er definitief korte metten mee: dual DSR 0.24 / PBO 0.264, triple DSR 0.14 / PBO 0.327 — beide falen op de gates. De kampioen is winstgevend op 1 van de 5 symbolen en negatief op de rest. Hier is het anti-overfitting-apparaat voor bedoeld: om te voorkomen dat je de beste van de ruis als alpha shipt.

Multi-timeframe backtests lekken de toekomst door een nog vormende higher-timeframe bar waarvan de uiteindelijke close nog niet bestaat. Je kunt niet via code review naar vertrouwen toe redeneren — je moet het testen. We reproduceren de closed-bar regel van de live bot exact, en bewijzen vervolgens de afwezigheid van lekkage met een shifted-future probe: verstoor elke toekomstige bar en toon aan dat elk signaal en elke trade uit het verleden bitwise ongewijzigd blijft. 25/25 parity checks, en de probe heeft tanden.

De voorsprong van de GPU op de CPU groeit met de batchgrootte — van 54.5x bij een combo per call tot 359.6x bij 61 op onze multi-timeframe indicator-precompute — omdat een kleine sweep de kernel-launch- en transfer-overhead niet kan amortiseren. We ontleden een headline van 167x in een algoritmische winst van 27x die ook de CPU helpt en een hardwarewinst van 6.2x, laten zien dat de echte voorsprong van de GPU op de beste CPU slechts 3.2x is bij single-timeframe en 6.2x bij multi, en geven een beslisgids voor hoe breed een sweep moet zijn voordat een GPU de aanschaf waard is.

Apple's Metal-GPU heeft geen float64. Zet er naïef een gevectoriseerde backtest naartoe over en de verleidelijke prefixsom-WMA loopt over fp32 heen — maximale relatieve fout 211× — en toch draait hij nog steeds en geeft plausibel ogende getallen terug. De oplossing is niet meer precisie; het is een andere formulering: een directe gevensterde convolutie, fp32-veilig tot 8×10⁻⁷ en 55.9× sneller dan single-thread numba. De valstrik, de rekenkunde, en hoe je bewijst dat je er niet in getrapt bent.

Drill-down / multi-fidelity zoeken (ASHA, successive halving, Hyperband) screent duizenden configuraties goedkoop en promoveert alleen overlevenden naar de dure volledige evaluatie. Het is een echte snelheidswinst — maar hij stort stilletjes in als de low-fidelity-rangschikking niet overeenkomt met de high-fidelity-rangschikking. We maten de fold-rangcorrelatie: bij één fold kan Spearman ρ 0.03 zijn (rangschikt bijna willekeurig), oplopend naar 0.43, 0.67, 0.78, 0.91 naarmate folds zich opstapelen. De oplossing is één verplichte poort — meet eerst ρ(goedkoop, volledig), en verhoog automatisch de minimale fidelity naar de eerste trede waar ρ ≥ 0.5.

Als één backtest goedkoop is, wint domme scrambled Sobol op pure doorvoersnelheid — slimme samplers (TPE, CMA-ES, ASHA) betalen een Python ask/tell-belasting die ze 20x vertraagt, waardoor ze bij gelijke wall-clock veel minder punten evalueren en verliezen. Maak elke eval duur (multi-TF + walk-forward-folds) en de crossover keert om. We hebben beide regimes gemeten, en waarom fold-rank-fidelity (ρ@1 stijgend van 0.03→0.43) de voorwaarde is waaraan voldaan moet zijn wil pruning zich uitbetalen.

Niet alle parameters kosten evenveel om te doorzoeken. De parameters van een strategie splitsen zich in een dure as (indicatoren — herberekend over de hele reeks) en een goedkope as (beslissingsdrempels — een O(n)-pass over vooraf berekende signalen). Omdat indicatoren invariant zijn ten opzichte van drempels, bereken je ze eenmalig en sweep je duizenden drempelconfiguraties met ~5.600 cfg/s — ruwweg 1.600x goedkoper dan per configuratie herberekenen. Een herprijzing van de vloek van de dimensionaliteit.