Das ehrliche Negativergebnis: Zehntausende Backtests, fünf Majors, kein robuster Edge

Teil der Serie "Backtests ohne Illusionen".

Das Ergebnis, das wir nicht wollten

Diese Serie hat mehrere Artikel damit verbracht, Instrumente zu bauen, um eine Lüge zu ertappen: Look-Ahead-Bias, der aus einem Ein-Bar-Leck eine Sharpe von 15 fabriziert, die Deflated Sharpe Ratio, die den Gewinner einer Suche bepreist, die Probability of Backtest Overfitting, die die Suche selbst bepreist. Jedes dieser Stücke war in gewisser Weise eine Probe. Dieses hier ist die Aufführung: Wir richten den gesamten Apparat auf eine echte Strategiefamilie, die wir tatsächlich handeln wollten, und lassen ihn das Urteil fällen, für das er gebaut wurde — selbst wenn das Urteil nein lautet.

Hier ist das ehrliche Ende gleich vorweg. Wir haben Zehntausende Backtests über fünf Major-Coins durchgeführt, in Zwei- und Drei-Zeitfenster-Konfigurationen, auf der Suche nach einem robusten Edge. Wir haben keinen gefunden. Nicht "wir fanden einen kleinen Edge und verkleinerten die Position". Wir fanden nichts, das den Kontakt mit der Maschinerie überlebt — keine Konfiguration, die gleichzeitig über Instrumente hinweg profitabel und unter Korrektur für multiples Testen verteidigbar ist. Das ist kein Scheitern des Experiments. Das ist das Experiment, das erfolgreich ist.

Der verführerische Teil — der Teil, der ein schlechter ausgestattetes Team dazu gebracht hätte, Kapital einzusetzen — ist, dass eine naive Lektüre wirklich gut aussah:

Lesen Sie diese oberste Zeile so, wie wir sie zuerst lasen: eine Moving-Average-Crossover-Strategie, auf ETHUSDT über ein Zwei-Zeitfenster-Grid getunt, die +16,35% auf Daten druckt, die sie während der Suche nie gesehen hat, und ein positives +2,62% auf einem zweiten Fenster hält, das wir vollständig abgeschottet hatten. Wenn man hier aufhört — und die meisten veröffentlichten Backtests hören hier auf — liefert man sie aus. Der Rest dieses Artikels ist die Maschinerie, die uns davon abgeraten hat, und warum sie recht hatte.

Akt 1 — Der verlockende Gewinner

Die Strategiefamilie ist bewusst gewöhnlich: ein Hull-Moving-Average-Crossover, ausgewertet auf geschlossenen Bars, mit einem ehrlichen Ausführungsmodell (Entscheidung beim Schlusskurs von Bar i, Fill beim Open von i+1 — die Ein-Bar-Disziplin, bei der diese Serie keine Kompromisse eingeht). "Dual-Timeframe" bedeutet, dass das Signal durch den Trend eines langsameren Zeitfensters gefiltert wird; "Triple" fügt ein drittes, noch langsameres hinzu. Jedes Zeitfenster fügt freie Parameter hinzu, und freie Parameter sind genau das, was eine Suche in scheinbare Performance umwandelt.

Die Einzelsymbol-Studie lief auf ETHUSDT. Das Protokoll war bereits die gute Sorte: ein rollierender Walk-Forward-Split (ein Warmup-Fenster, mehrere In-Sample-Folds, ein Out-of-Sample-Test-Fenster), plus ein finales Holdout-Fenster, das die Suche bis ganz zum Schluss nicht berühren durfte. Eine Sobol/QMC-Suche erkundete den Parameterraum; der Überlebende war die Konfiguration mit dem besten Walk-Forward-Score, und sie wurde einmal — genau einmal — auf das Holdout übertragen.

Der Überlebende sah aus wie ein Edge:

• +16,35% auf dem Out-of-Sample-Testfenster — Daten, die nur zum Bewerten von Konfigurationen verwendet wurden, nie zum Anpassen.
• +2,62% auf dem unberührten Holdout — eine zweite Mauer, überwunden.

Dies ist der Moment, der entscheidet, ob ein Forschungsprozess ehrlich oder theatralisch ist. Der Out-of-Sample-Gewinn ist real in dem engen Sinne, dass die Zahlen nicht erfunden sind und es kein Look-Ahead-Leck gibt — wir haben es geprüft. Aber "echte Zahlen, kein Leck" ist eine viel niedrigere Hürde als "echter Edge". Zwischen ihnen liegt genau das, worum es in dieser ganzen Serie geht: Selektion. Wir haben nicht eine Strategie ausgewertet und festgestellt, dass sie 16% machte. Wir haben eine enorme Anzahl von Strategien ausgewertet und die 16% der besten berichtet. Das Out-of-Sample-Fenster war frei von Look-Ahead, aber es war nicht frei von Selektion — denn wir haben den Gewinner teilweise danach ausgewählt, wie er dort abschnitt. Das einzige Instrument, das diese beiden Geschichten auseinanderhalten kann, ist eines, das weiß, wie oft wir hingeschaut haben.

Akt 2 — Die Deflationierung: ~37.000 Trials, DSR = 0,00

Zählen Sie die Blicke. Über die Folds, die Zeitfenster-Kombinationen und das Parameter-Grid hinweg wertete die Zwei-Zeitfenster-Suche in der Größenordnung von 37.000 distinkten Konfigurationen aus. Jede von ihnen ist eine Ziehung aus dem Strategieraum, und die Suche behielt das Maximum. Der Deflated-Sharpe-Ratio-Artikel enthält die vollständige Herleitung, aber die eine Tatsache, die Sie hier brauchen, ist das False Strategy Theorem (Bailey & López de Prado): Die erwartete maximale Sharpe von N Strategien mit null echtem Edge wächst mit N. Bei N ≈ 30.000 liegt die beste aus reinem Rauschen etwa vier Standardabweichungen über null, rein durch Selektion. Vier Sigma sehen aus wie eine Entdeckung. Es ist der Schatten der Suche.

Die richtige Frage lautet also nicht "ist die Sharpe des Gewinners positiv?" — natürlich ist sie das, Sie haben das Maximum gewählt. Die richtige Frage lautet "liegt die Sharpe des Gewinners über dem, was der glücklichste von 37.000 Münzwerfern posten würde?" Genau das berechnet die DSR: Sie verschiebt den Benchmark von null hinauf zur Rauschdecke, die durch die Trial-Anzahl impliziert wird, und meldet die Wahrscheinlichkeit, dass die wahre Sharpe diese übersteigt.

Der Out-of-Sample-Track des ETHUSDT-Gewinners entspricht einer täglichen Sharpe von etwa 0,19. Für sich genommen ist eine tägliche SR von 0,19 über ein langes Fenster eine durchaus respektable Zahl. Gegen ~37.000 Trials deflationiert, verdampft sie:

$\text{DSR}\big(\hat{SR}=0.19\,\text{daily},\; N\approx 37{,}000\big) = \mathbf{0.00}$

Null. Nicht "marginal", nicht "0,4, im Auge behalten". Die DSR sagt: Angesichts dessen, wie hart wir gesucht haben, ist eine tägliche Sharpe von 0,19 nicht von der besten Ziehung aus reinem Rauschen zu unterscheiden. Die +16,35% out-of-sample und die +2,62% Holdout sind, bis zu der Präzision, die dieser Test auflösen kann, konsistent mit einer Strategie, die überhaupt keinen Edge hat und einfach eine Lotterie mit 37.000 Losen gewonnen hat.

Eine erwähnenswerte Feinheit, weil wir die Deflationierung nicht übertreiben wollen: Benachbarte Punkte auf einem Parameter-Grid sind Beinahe-Duplikate, sodass die rohe Trial-Anzahl die unabhängigen Blicke überzählt. Unser Gate verwendet die effektive Anzahl von Trials — Trials, die vor der Deflationierung nach Return-Korrelation via ONC (López de Prado & Lewis) geclustert werden — genau damit wir keinen echten Edge aus einem buchhalterischen Grund verwerfen. Selbst mit dieser eingerechneten Korrektur überlebt der ETHUSDT-Gewinner nicht. Wenn ein Ergebnis DSR 0,00 anzeigt, wird die Effektiv-N-Nuance es nicht retten; es steckt tief im Rauschen.

Das hätte das Ende sein können. Ein Symbol, eine Suche, auf nichts deflationiert. Aber ein DSR-Fehlschlag auf einem einzelnen Symbol lässt ein Schlupfloch offen, durch das sich ein entschlossener Optimierer immer zu zwängen versucht: Vielleicht ist ETHUSDT einfach ein schwieriges Symbol, und die Konfiguration ist anderswo real. Um dieses Schlupfloch zu schließen, muss man die Achse des Tests ändern.

Akt 3 — Der entscheidende Test: Robustheit gilt über Instrumente hinweg

Eine Einzelsymbol-Suche hat eine strukturelle Schwäche, selbst wenn sie ansonsten perfekt ist: Ihre einzige Out-of-Sample-Achse ist die Zeit. Sie kann Ihnen sagen, dass die Konfiguration sich auf einem späteren Fenster von ETHUSDT gehalten hat — aber sie kann Ihnen nicht sagen, ob die Konfiguration etwas über Märkte gelernt hat oder etwas über ETHUSDT im Speziellen. Overfitting auf ein Instrument ist für einen Test unsichtbar, der dieses Instrument nie verlässt.

Also änderten wir das Ziel. Statt "am besten auf ETHUSDT out-of-sample" verlangt die instrumentenübergreifende Jagd nach Generalisten: Konfigurationen, die gleichzeitig über viele Symbole hinweg gut sind. Das Protokoll:

• Fünf liquide Majors: ETHUSDT, BTCUSDT, SOLUSDT, BNBUSDT, XRPUSDT — jeweils rund 1,18 Millionen 1-Minuten-Bars, ein gemeinsames Kalenderfenster, ein gemeinsamer Satz von Splits (Warmup → K In-Sample-Folds → Test → ein unberührtes Holdout).
• Ein robustes Ziel: Jede Konfiguration auf dem Walk-Forward-Ergebnis jedes Symbols bewerten, dann nach dem Median über die Symbole ranken. Der Median ist der Punkt — eine Konfiguration, die auf einem Coin spektakulär und auf vier schrecklich ist, kann sich nicht mit einem einzelnen Ausreißer einkaufen. Um ausgewählt zu werden, muss sie auf den meisten zumindest mittelmäßig sein.
• Eine Portfolio-Return-Matrix für die Gates: Die täglichen Returns pro Trial sind ein gleichgewichtetes Portfolio über die fünf Symbole (1/S des Kapitals je), was die T×N-Performance-Matrix ergibt, die die DSR- und PBO-CSCV-Gates konsumieren.
• Das Holdout wird einmal berührt, nur vom robusten Champion jedes Modus.

Dies ist ein strikt härterer Test als der Einzelsymbol-Test, und das absichtlich. Eine Konfiguration kann die ETHUSDT-Suche gewinnen, indem sie die Eigenart eines Coins ausnutzt; sie kann die Median-über-fünf-Suche nicht auf diese Weise gewinnen. Wenn in dieser Strategiefamilie ein robuster Edge existiert, dann ist dies das Setup, das ihn findet. Wenn nicht, dann ist dies das Setup, das es ohne zu zucken sagt.

Akt 4 — Das Urteil: Beide Zeitfenster scheitern an den Gates

Wir führten die instrumentenübergreifende Jagd in beiden Konfigurationen durch und unterzogen jeden robusten Champion den Gates. Die Gates sind die üblichen zwei: DSR ≥ 0,95 (deflationiert gegen die effektive Anzahl von Trials) und PBO ≤ 0,2 (aus CSCV über die Performance-Matrix). Hier ist das ganze Urteil, ehrlich:

Beide scheitern, beide Gates, beide Modi. Lesen Sie jede Zahl mit der Kalibrierung, die die früheren Artikel etabliert haben, denn die beiden Gates sagen unterschiedliche Dinge und sie stimmen überein:

• DSR 0,24 (Dual), 0,14 (Triple). DSR ist die Wahrscheinlichkeit, dass die wahre Sharpe die durch die Suche implizierte Rauschdecke übersteigt. Wir brauchen 0,95. Wir bekamen 0,24 und 0,14 — kaum eine Eins-zu-vier- und eine Eins-zu-sieben-Chance, dass der Edge überhaupt positiv ist, sobald man berücksichtigt, wie viele Konfigurationen probiert wurden. Das Hinzufügen des dritten Zeitfensters machte es schlechter, nicht besser: mehr Parameter, mehr Wege, das Sample anzupassen, weniger, das generalisiert. Diese Umkehrung ist selbst ein Fingerabdruck von Overfitting.

• PBO 0,264 (Dual), 0,327 (Triple). Erinnern Sie sich an die eine Tatsache, die jeder bei PBO falsch liest (vollständige Behandlung hier): Seine Nullhypothese ist 0,5, nicht 1. PBO ist die Wahrscheinlichkeit, dass der In-Sample-Gewinner out-of-sample in der unteren Hälfte landet. Eine vertrauenswürdige Selektion liegt nahe 0; ein reiner Münzwurf liegt bei 0,5. Unsere 0,264 und 0,327 liegen unter 0,5 — die Selektion ist nicht buchstäblich ein Münzwurf, es gibt ein schwaches Flüstern von Signal — aber beide liegen deutlich über den 0,2, die wir verlangen, um die Selektion als zuverlässig zu bezeichnen. Und auch hier liegt das Triple (0,327) näher an der Münzwurf-Linie als das Dual (0,264): mehr Komplexität, weniger Generalisierung.

Die beiden Instrumente sind orthogonal — DSR ist parametrisch und bepreist den Gewinner, PBO ist nicht-parametrisch und bepreist das Verfahren — und sie konvergieren auf dieselbe Antwort aus entgegengesetzten Richtungen. Es gibt keine Lesart dieser Tabelle, bei der eine der beiden Strategien die Hürde nimmt. Die +16,35%, die diese ganze Jagd ausgelöst haben, haben keinen robusten instrumentenübergreifenden Verwandten. Es war eine Eigenschaft eines Coins und einer Suche.

Akt 5 — Dem Champion folgen, Symbol für Symbol

Aggregierte Gates sagen Ihnen, dass eine Strategie gescheitert ist; die Aufschlüsselung pro Symbol sagt Ihnen, wie, und das Wie ist der lehrreichste Teil der ganzen Studie. Nehmen Sie den Triple-Timeframe-Champion — die Konfiguration, die das Median-über-fünf-Ziel tatsächlich gekrönt hat — und schauen Sie sich an, was er auf dem Out-of-Sample-Test-Fenster jedes Symbols machte:

Da ist die gesamte Illusion, in fünf Zeilen offengelegt. Der Champion ist auf genau einem der fünf Symbole profitabel — SOLUSDT, mit protzigen +14,74% — und negativ auf den anderen vier. Es ist kein Generalist, der zufällig schwach ist. Es ist ein SOL-Spezialist im Gewand eines Portfolios. Das eine große Plus leistet die ganze Arbeit; das Median-Ziel degradierte es unter den rohen ETHUSDT-Gewinner, gerade weil sich der Median weigert, sich von einem einzelnen Ausreißer täuschen zu lassen — aber selbst der Median-selektierte Champion lehnt sich, wenn man ihn auspackt, fast vollständig an einen einzigen Coin an.

Das Holdout — das Fenster, gegen das niemand optimieren durfte — erzählt dieselbe Geschichte aus dem denkbar saubersten Blickwinkel: Über die fünf Majors hinweg ist der Holdout-Return des Champions auf nur 1 von 5 Symbolen positiv. Wäre dies ein echter Edge in der Strategiefamilie, würde er zumindest schwach auf den unberührten Daten von mehr als einem Instrument auftauchen. Er taucht auf einem auf. Das ist die Signatur einer Konfiguration, die ein Symbol gelernt hat, nicht einen Markt.

Darum war die instrumentenübergreifende Achse der entscheidende Test und nicht bloß ein nettes Extra. Die Einzelsymbol-DSR hatte ETHUSDT bereits auf null deflationiert. Aber es brauchte das Median-über-fünf-Design, um den Fehlschlag zu diagnostizieren — um zu zeigen, dass der scheinbare Edge von vornherein nie über Instrumente verteilt war, dass er eine Eigenschaft desjenigen Coins war, auf den die Suche in diesem Durchlauf zufällig überfittete. Auf ETHUSDT war es ETHUSDTs; bei der Median-Jagd wanderte er zu SOLUSDTs. Der Edge bewegte sich. Echte Edges bewegen sich nicht so.

Warum ein Negativergebnis das korrekte Ergebnis ist

Es lohnt sich, explizit zu machen, was wir behaupten und was nicht, denn "wir fanden keinen Edge" lässt sich leicht entweder als falsche Bescheidenheit oder als Eingeständnis von Inkompetenz missverstehen. Es ist keines von beiden.

Wir behaupten nicht, dass HMA-Crossovers niemals funktionieren können, oder dass diese fünf Coins unvorhersehbar sind, oder dass keine Zwei-/Drei-Zeitfenster-Strategie existiert. Wir behaupten etwas Engeres und viel Stärkeres: Innerhalb dieser Strategiefamilie, über diese Daten, bei dieser Suchintensität gibt es keine Konfiguration, deren scheinbare Performance die Korrektur für die Anzahl der Dinge überlebt, die wir probiert haben. Alles, was wie ein Edge aussah, liegt innerhalb des Konfidenzbandes des Besten aus dem Rauschen. Das ist eine präzise, falsifizierbare, verteidigbare Aussage — und es ist die korrekte, die man veröffentlichen sollte.

Die Versuchung, die die Maschinerie besiegt, ist enorm, und sie hat in jedem anderen Feld einen Namen: das File-Drawer-Problem (Schubladen-Problem). Negativergebnisse werden vergraben; positive Ergebnisse werden publiziert. Im Trading ist der Anreiz noch schärfer, denn das positive Ergebnis, das Sie nicht deflationiert haben, ist nicht bloß ein schlechtes Paper — es ist Kapital, das gegen Rauschen eingesetzt wird, echtes Geld, das echte Gebühren zahlt, um ein Lotterielos zu handeln, das Sie für ein Signal gehalten haben. Der Look-Ahead-Artikel zeigte ein Leck, das eine Sharpe von 15 fabriziert; der DSR-Artikel zeigte eine Suche, die eine Sharpe von 1,63 aus reinem Rauschen ganz ohne Leck fabriziert. Dieser Artikel ist, wie es aussieht, wenn diese Instrumente auf Ihre eigene Lieblingsidee gerichtet und zur Ehrlichkeit aufgefordert werden. Der Apparat — DSR, PBO/CSCV, Effektiv-N-Clustering, instrumentenübergreifende Selektion — existiert nicht, um Ihre Strategien zu segnen. Er existiert, um Sie davon abzuhalten, das Beste aus dem Rauschen als Alpha auszuliefern, und der einzige Beweis, dass er funktioniert, ist, dass er manchmal nein sagt.

Ein Team ohne diesen Apparat hätte die +16,35% ausgeliefert. Es hätte einen sauber aussehenden Walk-Forward gehabt, ein positives Holdout, kein erkennbares Look-Ahead-Leck und eine plausible Geschichte. Es hätte sich geirrt, und es hätte es nicht gewusst, bis die Live-P&L abwich — die Backtest-Live-Lücke, die ein negatives-aber-ehrliches Ergebnis nie erklären muss, weil es nie live ging. Der Wert eines rigorosen Nein bemisst sich an den Drawdowns, die Sie nie erlitten haben.

Provenienz

Jede Zahl in diesem Artikel lässt sich auf Code zurückführen, nicht auf Erzählung. Die instrumentenübergreifende Edge-Jagd — das Laden der fünf Symbole, die gemeinsamen Splits, das Median-über-Symbole-Ziel, die gleichgewichtete Portfolio-Matrix, die den Gates zugeführt wird — lebt in scripts/edge_hunt_multitf.py (Commit acd84e8) im Backtester-Repository. Die statistischen Gates, die sie aufruft — probabilistische und deflationierte Sharpe, minimale Track-Record-Länge, Effektiv-N via ONC-Clustering und PBO durch CSCV, alle von Grund auf auf NumPy/SciPy gegen die Primärquellen statt gegen eine Black-Box-Bibliothek implementiert — befinden sich in scripts/overfit_gates.py (Commit 7b966e1), das mit einem Selbsttest ausgeliefert wird, der einen bekannten Edge in reinem Rauschen einpflanzt und bestätigt, dass die Gates ihn durchlassen und das Rauschen zurückweisen. Die Einzelsymbol-ETHUSDT-Studie, die die verlockenden +16,35% produzierte, stammte aus dem früheren bench_search_multitf-Harness, das die Jagd nur lesend importiert. Nichts hier ist eine handgerechnete Zahl; die Gates sind derselbe Codepfad, egal ob die Antwort ja oder nein lautet.

Kernaussagen

1. Wir führten Zehntausende Backtests über fünf Majors durch, Zwei- und Drei-Zeitfenster, und fanden keinen robusten Edge — und das ist das Ergebnis, für das die Maschinerie gebaut ist. Ein rigoros etabliertes Negativergebnis ist ein Befund, kein Scheitern.
2. Eine sauber aussehende Out-of-Sample-Zahl ist kein Edge. Der ETHUSDT-Gewinner postete +16,35% out-of-sample und +2,62% auf einem unberührten Holdout, ohne Look-Ahead-Leck — und deflationierte auf DSR 0,00, sobald man die ~37.000 Trials dahinter zählte. Out-of-sample nimmt die Look-Ahead-Hürde; nur die Deflationierung nimmt die Selektions-Hürde.
3. Das False Strategy Theorem ist der Grund. Bei ~30.000 Trials liegt das Beste aus reinem Rauschen allein durch Selektion etwa vier Sigma über null. Eine tägliche Sharpe von 0,19 ist genau das, was diese Lotterie auszahlt. Sie müssen Ihren Gewinner mit der Rauschdecke vergleichen, niemals mit null.
4. Robustheit lebt über Instrumente hinweg, nicht nur über die Zeit. Die Auswahl nach dem Median über fünf Symbole verwandelte eine Einzelcoin-Illusion in eine diagnostizierbare: Dual DSR 0,24 / PBO 0,264, Triple DSR 0,14 / PBO 0,327 — beide scheitern an beiden Gates, und das Triple (mehr Parameter) ist bei jeder Kennzahl schlechter als das Dual.
5. Packen Sie den Champion aus, bevor Sie ihm vertrauen. Der Triple-Timeframe-"Portfolio"-Champion war auf 1 von 5 Symbolen profitabel (SOL +14,74%; ETH −0,39%, BTC −0,38%, BNB −8,58%, XRP −4,13%) und auf dem Holdout nur auf 1 von 5 positiv. Ein Edge, der auf einem Instrument lebt und sich verschiebt, wenn man neu sucht, ist kein Edge — er ist ein Overfit im Gewand eines Portfolios.
6. Veröffentlichen Sie das Negative. Der Anti-Overfit-Apparat — DSR, PBO/CSCV, Effektiv-N, instrumentenübergreifende Selektion — ist gerade deshalb wertvoll, weil er Ihnen manchmal nein sagt, und die Disziplin besteht darin, zuzuhören, wenn er es tut.

Die Strategie, von der wir uns am meisten wünschten, dass sie funktioniert, funktionierte nicht. Die Instrumente, die wir bauten, um genau das zu ertappen, sagten es uns, auf vier unabhängigen Wegen, bevor auch nur ein einziger Dollar in Gefahr war. Das ist der ganze Sinn der Serie, und dies ist der Artikel, in dem sich der Sinn auszahlt: Die Maschinerie verdient sich ihren Lohn an dem Tag, an dem sie Sie stoppt — nicht an dem Tag, an dem sie Ihnen schmeichelt.