Yang Negatif dengan Jujur: Puluhan Ribu Backtest, Lima Mata Wang Utama, Tiada Kelebihan yang Mantap

Sebahagian daripada siri "Backtest Tanpa Ilusi".

Keputusan yang tidak kami mahukan

Siri ini telah menghabiskan beberapa artikel untuk membina instrumen bagi menangkap satu pembohongan: look-ahead bias yang mereka-reka Sharpe 15 daripada satu kebocoran satu-bar, Deflated Sharpe Ratio yang menilai harga pemenang sesuatu carian, Probability of Backtest Overfitting yang menilai harga carian itu sendiri. Setiap artikel itu, dalam erti kata tertentu, adalah gladi resam. Artikel ini pula ialah persembahan sebenar: kami mengarahkan seluruh radas itu kepada satu keluarga strategi sebenar yang benar-benar ingin kami dagangkan, dan kami membiarkannya menyampaikan vonis yang ia direka untuk sampaikan — walaupun vonis itu ialah tidak.

Berikut ialah pengakhiran jujur itu terlebih dahulu. Kami menjalankan puluhan ribu backtest merentasi lima mata wang utama, dalam konfigurasi dual-timeframe dan triple-timeframe, mencari satu kelebihan yang mantap. Kami tidak menemuinya. Bukan "kami menemui satu kelebihan kecil dan mengecilkan saiz kedudukan." Kami menemui tiada apa-apa yang terselamat apabila bersentuhan dengan mesin itu — tiada konfigurasi yang menguntungkan secara serentak merentasi instrumen dan boleh dipertahankan di bawah pembetulan ujian berganda. Itu bukan kegagalan eksperimen. Itu adalah eksperimen itu berjaya.

Bahagian yang menggoda — bahagian yang boleh menyebabkan satu pasukan yang kurang baik instrumentasinya memperuntukkan modal — ialah bahawa bacaan yang naif kelihatan benar-benar baik:

Baca baris teratas itu sepertimana kami membacanya buat kali pertama: satu strategi silangan purata bergerak (moving-average-crossover), ditala pada ETHUSDT merentasi satu grid dual-timeframe, mencetak +16.35% pada data yang tidak pernah dilihatnya semasa carian, dan mengekalkan +2.62% yang positif pada satu tetingkap kedua yang telah kami tembok sepenuhnya. Jika anda berhenti di situ — dan kebanyakan backtest yang diterbitkan berhenti di situ — anda akan melancarkannya. Selebihnya artikel ini ialah mesin yang memberitahu kami supaya jangan, dan mengapa ia betul.

Babak 1 — Pemenang yang menggoda

Keluarga strategi ini sengaja dibuat biasa: satu silangan purata bergerak Hull (Hull moving-average crossover), dinilai pada bar yang telah ditutup, dengan satu model pelaksanaan yang jujur (buat keputusan pada penutupan bar i, isi pesanan pada pembukaan i+1 — disiplin satu-bar yang siri ini tidak akan berkompromi). "Dual-timeframe" bermaksud isyarat itu ditapis oleh trend timeframe yang lebih perlahan; "triple" menambah satu lagi, yang lebih perlahan lagi. Setiap timeframe menambah parameter bebas, dan parameter bebas itu tepat sekali apa yang ditukar oleh satu carian menjadi prestasi yang kelihatan wujud.

Kajian simbol tunggal ini dijalankan pada ETHUSDT. Protokolnya sudah pun jenis yang baik: satu pembahagian walk-forward yang rolling (satu tetingkap warmup, beberapa lipatan in-sample, satu tetingkap ujian out-of-sample), ditambah satu tetingkap holdout akhir yang dilarang disentuh oleh carian sehingga penghujung sekali. Satu carian Sobol/QMC meneroka ruang parameter; yang terselamat ialah konfigurasi dengan skor walk-forward terbaik, dan ia dibawa sekali — tepat sekali — ke atas holdout.

Yang terselamat ini kelihatan seperti satu kelebihan:

• +16.35% pada tetingkap ujian out-of-sample — data yang hanya digunakan untuk menilai skor konfigurasi, tidak pernah untuk menyuaikan (fit) konfigurasi itu.
• +2.62% pada holdout yang tidak disentuh — dinding kedua, berjaya dilepasi.

Inilah detik yang menentukan sama ada satu proses penyelidikan itu jujur atau berlakon. Keuntungan out-of-sample itu nyata dalam erti kata yang sempit bahawa nombor-nombornya tidak direka-reka dan tiada kebocoran look-ahead — kami telah menyemaknya. Tetapi "nombor sebenar, tiada kebocoran" ialah kayu ukur yang jauh lebih rendah berbanding "kelebihan sebenar." Di antara kedua-duanya terletak perkara yang menjadi teras seluruh siri ini: pemilihan (selection). Kami tidak menilai satu strategi lalu mendapati ia menghasilkan 16%. Kami menilai bilangan strategi yang amat besar dan melaporkan 16% milik yang terbaik. Tetingkap out-of-sample itu bersih daripada look-ahead, tetapi ia tidak bersih daripada pemilihan — kerana kami memilih pemenang itu sebahagiannya berdasarkan prestasinya di situ. Satu-satunya instrumen yang boleh membezakan kedua-dua cerita ini ialah instrumen yang tahu berapa kali kami telah melihat.

Babak 2 — Deflasi: ~37,000 percubaan, DSR = 0.00

Kira setiap kali kami melihat. Merentasi lipatan, kombinasi timeframe, dan grid parameter, carian dual-timeframe ini menilai kira-kira 37,000 konfigurasi yang berbeza. Setiap satu daripadanya ialah satu cabutan daripada ruang strategi, dan carian itu menyimpan nilai maksimum. Artikel Deflated Sharpe Ratio mempunyai terbitan (derivation) penuhnya, tetapi satu fakta yang anda perlukan di sini ialah False Strategy Theorem (Bailey & López de Prado): Sharpe maksimum yang dijangka bagi N strategi dengan kelebihan benar sifar meningkat mengikut N. Pada N ≈ 30,000, yang terbaik daripada hingar tulen berada kira-kira empat sisihan piawai di atas sifar semata-mata kerana pemilihan. Empat sigma kelihatan seperti satu penemuan. Ia sebenarnya bayangan carian itu sendiri.

Jadi soalan yang betul bukanlah "adakah Sharpe pemenang itu positif?" — sudah tentu ia positif, anda memilih nilai maksimum. Soalan yang betul ialah "adakah Sharpe pemenang itu melebihi apa yang boleh dicatat oleh yang paling bertuah daripada 37,000 pelambung syiling?" Itulah tepat apa yang dikira oleh DSR: ia menggerakkan penanda aras daripada sifar naik ke siling hingar yang tersirat daripada bilangan percubaan itu, dan melaporkan kebarangkalian Sharpe sebenar melepasi siling itu.

Rekod out-of-sample pemenang ETHUSDT itu bersamaan dengan Sharpe harian kira-kira 0.19. Dengan sendirinya, SR harian 0.19 sepanjang satu tetingkap yang panjang ialah nombor yang cukup baik. Apabila dideflasikan berbanding ~37,000 percubaan, ia hilang begitu sahaja:

$\text{DSR}\big(\hat{SR}=0.19\,\text{daily},\; N\approx 37{,}000\big) = \mathbf{0.00}$

Sifar. Bukan "marginal," bukan "0.4, perhatikan dari dekat." DSR berkata: memandangkan betapa gigihnya kami mencari, Sharpe harian 0.19 itu tidak dapat dibezakan daripada cabutan terbaik hingar tulen. +16.35% out-of-sample dan +2.62% holdout itu konsisten, setakat ketepatan yang boleh diselesaikan oleh ujian ini, dengan satu strategi yang langsung tiada kelebihan dan sekadar memenangi loteri dengan 37,000 tiket.

Satu kehalusan yang wajar ditandakan, kerana kami tidak mahu melebih-lebihkan deflasi ini: titik-titik bersebelahan pada satu grid parameter adalah hampir-berganda (near-duplicates), jadi bilangan percubaan mentah mengira lebih (over-count) bilangan lihatan bebas yang sebenar. Gate kami menggunakan bilangan percubaan berkesan (effective) — percubaan dikelompokkan mengikut korelasi pulangan melalui ONC (López de Prado & Lewis) sebelum dideflasikan — tepat supaya kami tidak menolak satu kelebihan sebenar atas sebab pembukuan semata-mata. Walaupun pembetulan itu telah dimasukkan, pemenang ETHUSDT tetap tidak terselamat. Apabila satu keputusan membaca DSR 0.00, nuansa effective-N tidak akan dapat menyelamatkannya; ia sudah terlalu jauh di dalam hingar.

Itu sudah boleh menjadi pengakhirannya. Satu simbol, satu carian, dideflasikan kepada tiada apa-apa. Tetapi DSR yang gagal pada satu simbol tunggal meninggalkan satu lubang yang sentiasa akan cuba diselinap masuk oleh mana-mana pengoptimum yang berazam: mungkin ETHUSDT sekadar simbol yang sukar, dan konfigurasi itu sebenar di tempat lain. Untuk menutup lubang itu, anda perlu menukar paksi ujian tersebut.

Babak 3 — Ujian yang menentukan: kemantapan merentasi instrumen

Satu carian simbol tunggal mempunyai satu kelemahan struktur walaupun ia sempurna dalam segala hal lain: satu-satunya paksi out-of-sample yang dimilikinya ialah masa. Ia boleh memberitahu anda bahawa konfigurasi itu bertahan pada satu tetingkap ETHUSDT yang lebih lewat — tetapi ia tidak boleh memberitahu anda sama ada konfigurasi itu mempelajari sesuatu tentang pasaran atau sesuatu tentang ETHUSDT secara khusus. Overfitting kepada satu instrumen tidak kelihatan langsung kepada satu ujian yang tidak pernah meninggalkan instrumen itu.

Jadi kami menukar objektif itu. Bukannya "terbaik pada ETHUSDT out-of-sample," pemburuan merentas-instrumen ini menuntut generalis: konfigurasi yang baik serentak merentasi banyak simbol. Protokolnya:

• Lima mata wang utama yang likuid: ETHUSDT, BTCUSDT, SOLUSDT, BNBUSDT, XRPUSDT — kira-kira 1.18 juta bar 1 minit setiap satu, satu tetingkap kalendar yang dikongsi, satu set pembahagian (split) yang dikongsi (warmup → K lipatan in-sample → ujian → satu holdout yang tidak disentuh).
• Satu objektif yang mantap: beri skor kepada setiap konfigurasi berdasarkan keputusan walk-forward setiap simbol, kemudian susun kedudukan mengikut median merentasi simbol. Median itulah inti pentingnya — satu konfigurasi yang cemerlang pada satu syiling dan teruk pada empat yang lain tidak boleh membeli kemasukannya dengan satu outlier tunggal. Untuk terpilih, ia mesti sekurang-kurangnya sederhana pada kebanyakan simbol itu.
• Satu matriks pulangan portfolio untuk gate: pulangan harian bagi setiap percubaan ialah satu portfolio berat-sama-rata (equal-weight) merentasi lima simbol itu (1/S modal setiap satu), menghasilkan matriks prestasi T×N yang digunakan oleh gate DSR dan PBO-CSCV.
• Holdout hanya disentuh sekali, oleh juara mantap setiap mod sahaja.

Ini ialah satu ujian yang secara ketatnya lebih sukar daripada ujian simbol tunggal, dan itu memang disengajakan. Satu konfigurasi boleh memenangi carian ETHUSDT dengan mengeksploitasi keanehan satu syiling; ia tidak boleh memenangi carian median-merentas-lima dengan cara itu. Jika satu kelebihan yang mantap wujud dalam keluarga strategi ini, inilah persediaan yang akan menemuinya. Jika ia tidak wujud, inilah persediaan yang akan mengatakannya tanpa berkelip mata.

Babak 4 — Vonis: kedua-dua timeframe gagal gate

Kami menjalankan pemburuan merentas-instrumen ini dalam kedua-dua konfigurasi dan menapis (gate) setiap juara mantap melalui gate itu. Gate yang standard ada dua: DSR ≥ 0.95 (dideflasikan berbanding bilangan percubaan berkesan) dan PBO ≤ 0.2 (daripada CSCV ke atas matriks prestasi). Berikut ialah keseluruhan vonis, dengan jujur:

Kedua-duanya gagal, kedua-dua gate, kedua-dua mod. Baca setiap nombor dengan kalibrasi yang telah ditetapkan oleh artikel-artikel sebelum ini, kerana kedua-dua gate ini mengatakan perkara yang berbeza dan mereka bersetuju:

• DSR 0.24 (dual), 0.14 (triple). DSR ialah kebarangkalian bahawa Sharpe sebenar melebihi siling hingar yang tersirat daripada carian itu. Kami memerlukan 0.95. Kami mendapat 0.24 dan 0.14 — sekadar peluang satu-daripada-empat dan satu-daripada-tujuh bahawa kelebihan itu positif sekalipun, setelah mengambil kira berapa banyak konfigurasi yang telah dicuba. Menambah timeframe ketiga menjadikannya lebih teruk, bukan lebih baik: lebih banyak parameter, lebih banyak cara untuk menyuaikan sampel, lebih sedikit yang bergeneralisasi. Songsangan itu sendiri ialah cap jari overfitting.

• PBO 0.264 (dual), 0.327 (triple). Ingat kembali satu fakta yang hampir semua orang salah baca tentang PBO (huraian penuh di sini): null-nya ialah 0.5, bukan 1. PBO ialah kebarangkalian bahawa pemenang in-sample mendarat pada separuh bawah out-of-sample. Satu pemilihan yang boleh dipercayai berada berhampiran 0; satu lambungan syiling tulen berada pada 0.5. Nombor kami, 0.264 dan 0.327, berada di bawah 0.5 — pemilihan itu bukan secara literalnya satu lambungan syiling, ada satu bisikan isyarat yang tipis — tetapi kedua-duanya jauh melebihi 0.2 yang kami perlukan untuk mengatakan pemilihan itu boleh dipercayai. Dan sekali lagi, triple (0.327) lebih hampir kepada garis lambungan-syiling berbanding dual (0.264): lebih banyak kerumitan, lebih sedikit generalisasi.

Kedua-dua instrumen ini bersifat ortogon — DSR bersifat parametrik dan menilai harga pemenang, PBO bersifat bukan-parametrik dan menilai harga prosedur — dan kedua-duanya bertemu pada jawapan yang sama daripada arah yang bertentangan. Tiada satu pun cara membaca jadual ini yang membolehkan mana-mana strategi melepasi ambang. +16.35% yang memulakan seluruh pemburuan ini tidak mempunyai saudara merentas-instrumen yang mantap. Ia hanya sifat satu syiling dan satu carian sahaja.

Babak 5 — Mengikuti juara, simbol demi simbol

Gate agregat memberitahu anda bahawa satu strategi telah gagal; pecahan setiap-simbol memberitahu anda bagaimana, dan bahagian "bagaimana" itulah yang paling memberi pengajaran dalam keseluruhan kajian ini. Ambil juara triple-timeframe — konfigurasi yang sebenarnya dinobatkan oleh objektif median-merentas-lima itu — dan lihat apa yang ia lakukan pada tetingkap ujian out-of-sample setiap simbol:

Di situlah seluruh ilusi itu, terbuka dalam lima baris. Juara ini menguntungkan pada tepat satu daripada lima simbol — SOLUSDT, pada angka mencolok +14.74% — dan negatif pada empat yang lain. Ia bukan seorang generalis yang kebetulan lemah. Ia ialah seorang pakar SOL yang memakai pakaian portfolio. Satu angka positif yang besar itu melakukan semua kerja; objektif median menurunkan kedudukannya di bawah pemenang mentah ETHUSDT tepat kerana median enggan ditipu oleh satu outlier tunggal, tetapi juara yang dipilih oleh median itu sendiri rupanya bergantung hampir sepenuhnya pada satu syiling sahaja apabila anda membedahnya.

Holdout — tetingkap yang tiada sesiapa dibenarkan mengoptimumkan terhadapnya — menceritakan kisah yang sama daripada sudut pandang paling bersih yang mungkin: merentasi lima mata wang utama itu, pulangan holdout juara ini positif pada hanya 1 daripada 5 simbol. Jika ini benar-benar satu kelebihan dalam keluarga strategi ini, ia akan muncul, sekurang-kurangnya secara samar, pada lebih daripada satu data instrumen yang tidak disentuh. Ia muncul pada satu sahaja. Itulah tanda tangan satu konfigurasi yang mempelajari satu simbol, bukan satu pasaran.

Inilah sebabnya paksi merentas-instrumen menjadi ujian yang menentukan, bukan sekadar sesuatu yang bagus untuk ada. DSR simbol tunggal sudah pun mendeflasikan ETHUSDT kepada sifar. Tetapi reka bentuk median-merentas-lima itulah yang diperlukan untuk mendiagnosis kegagalan itu — untuk menunjukkan bahawa kelebihan yang kelihatan wujud itu memang tidak pernah teragih merentasi instrumen sejak awal lagi, bahawa ia adalah sifat mana-mana syiling yang kebetulan di-overfit oleh carian pada larian itu. Pada ETHUSDT, ia milik ETHUSDT; pada pemburuan median, ia berpindah kepada milik SOLUSDT. Kelebihan itu berpindah-randah. Kelebihan sebenar tidak berpindah-randah begitu.

Mengapa keputusan negatif adalah keputusan yang betul

Wajar untuk kami jelas tentang apa yang kami dakwa dan tidak dakwa, kerana "kami tidak menemui kelebihan" mudah disalah-baca sama ada sebagai kerendahan hati yang palsu atau satu pengakuan ketidakcekapan. Ia bukan kedua-duanya.

Kami tidak mendakwa bahawa silangan HMA tidak boleh berfungsi sama sekali, atau bahawa kelima-lima syiling ini tidak dapat diramal, atau bahawa tiada strategi dual/triple-timeframe yang wujud. Kami mendakwa sesuatu yang lebih sempit dan jauh lebih kukuh: dalam keluarga strategi ini, ke atas data ini, pada keamatan carian ini, tiada konfigurasi yang prestasinya yang kelihatan wujud itu terselamat daripada pembetulan bagi bilangan perkara yang telah kami cuba. Segala yang kelihatan seperti satu kelebihan berada di dalam jalur keyakinan (confidence band) yang terbaik daripada hingar. Itu ialah satu kenyataan yang tepat, boleh dipalsukan (falsifiable), dan boleh dipertahankan — dan itulah kenyataan yang betul untuk diterbitkan.

Godaan yang dikalahkan oleh mesin ini amat besar, dan ia mempunyai nama dalam setiap bidang lain: masalah file-drawer. Keputusan negatif dikuburkan; keputusan positif ditulis dan diterbitkan. Dalam dagangan, insentif itu lebih tajam lagi, kerana keputusan positif yang gagal anda deflasikan bukan sekadar kertas kerja yang buruk — ia adalah modal yang digunakan melawan hingar, wang sebenar membayar yuran sebenar untuk mendagangkan satu tiket loteri yang anda silap sangka sebagai isyarat. Artikel look-ahead menunjukkan satu kebocoran mereka-reka Sharpe 15; artikel DSR menunjukkan satu carian mereka-reka Sharpe 1.63 daripada hingar tulen tanpa sebarang kebocoran langsung. Artikel ini menunjukkan seperti apa keadaannya apabila instrumen-instrumen itu diarahkan kepada idea kegemaran anda sendiri dan diminta supaya jujur. Radas itu — DSR, PBO/CSCV, pengelompokan effective-N, pemilihan merentas-instrumen — tidak wujud untuk memberkati strategi anda. Ia wujud untuk menghalang anda daripada melancarkan yang terbaik daripada hingar sebagai alpha, dan satu-satunya bukti bahawa ia berfungsi ialah kadangkala ia berkata tidak.

Satu pasukan tanpa radas ini akan melancarkan +16.35% itu. Mereka akan mempunyai satu walk-forward yang kelihatan bersih, satu holdout yang positif, tiada kebocoran look-ahead yang dapat dikesan, dan satu cerita yang munasabah. Mereka akan silap, dan mereka tidak akan mengetahuinya sehingga P&L langsung (live) itu menyimpang — jurang backtest-live yang tidak perlu dijelaskan oleh satu keputusan negatif-tetapi-jujur, kerana ia tidak pernah pun dilancarkan secara langsung. Nilai satu tidak yang ketat diukur pada drawdown yang tidak pernah anda alami.

Asal-usul

Setiap nombor dalam artikel ini boleh dikesan kembali kepada kod, bukan naratif. Pemburuan kelebihan merentas-instrumen — pemuatan lima-simbol, split yang dikongsi, objektif median-merentas-simbol, matriks portfolio berat-sama-rata yang disuap kepada gate — berada dalam scripts/edge_hunt_multitf.py (commit acd84e8) di dalam repositori backtester. Gate statistik yang dipanggilnya — Sharpe berkebarangkalian dan Sharpe terdeflasi, panjang minimum rekod prestasi (track-record length), effective-N melalui pengelompokan ONC, dan PBO melalui CSCV, kesemuanya dilaksanakan dari awal (from scratch) di atas NumPy/SciPy berdasarkan sumber primer dan bukan satu pustaka kotak-hitam — berada dalam scripts/overfit_gates.py (commit 7b966e1), yang disertakan dengan satu ujian-sendiri (self-test) yang menanam satu kelebihan yang diketahui di dalam hingar tulen dan mengesahkan bahawa gate itu meluluskannya serta menolak hingar tersebut. Kajian simbol tunggal ETHUSDT yang menghasilkan +16.35% yang menggoda itu datang daripada harness bench_search_multitf yang lebih awal, yang diimport secara baca-sahaja (read-only) oleh pemburuan ini. Tiada satu pun di sini ialah angka yang dikira secara manual; gate itu ialah laluan kod yang sama sama ada jawapannya ya atau tidak.

Intipati

1. Kami menjalankan puluhan ribu backtest merentasi lima mata wang utama, dual- dan triple-timeframe, dan tidak menemui sebarang kelebihan yang mantap — dan itulah keputusan yang direka untuk dihasilkan oleh mesin ini. Satu keputusan negatif, yang ditetapkan secara ketat, adalah satu penemuan, bukan satu kegagalan.
2. Satu nombor out-of-sample yang kelihatan bersih bukanlah satu kelebihan. Pemenang ETHUSDT mencatatkan +16.35% out-of-sample dan +2.62% pada holdout yang tidak disentuh, tanpa sebarang kebocoran look-ahead — dan dideflasikan kepada DSR 0.00 sebaik sahaja anda mengira ~37,000 percubaan di sebaliknya. Out-of-sample menjelaskan look-ahead; hanya deflasi yang menjelaskan pemilihan.
3. False Strategy Theorem ialah sebabnya. Pada ~30,000 percubaan, yang terbaik daripada hingar tulen berada kira-kira empat sigma di atas sifar semata-mata kerana pemilihan. Sharpe harian 0.19 itu tepat sekali apa yang dibayar oleh loteri itu. Anda mesti membandingkan pemenang anda dengan siling hingar itu, bukan dengan sifar.
4. Kemantapan itu wujud merentasi instrumen, bukan sekadar merentasi masa. Memilih mengikut median merentasi lima simbol menukar satu ilusi satu-syiling menjadi satu ilusi yang boleh didiagnosis: dual DSR 0.24 / PBO 0.264, triple DSR 0.14 / PBO 0.327 — kedua-duanya gagal kedua-dua gate, dan triple (lebih banyak parameter) lebih teruk daripada dual pada setiap metrik.
5. Bedah juara itu sebelum anda mempercayainya. Juara "portfolio" triple-timeframe itu menguntungkan pada 1 daripada 5 simbol (SOL +14.74%; ETH −0.39%, BTC −0.38%, BNB −8.58%, XRP −4.13%) dan positif pada holdout untuk hanya 1 daripada 5. Satu kelebihan yang hanya wujud pada satu instrumen dan berpindah apabila anda mencari semula bukanlah satu kelebihan — ia adalah satu overfit yang memakai pakaian portfolio.
6. Terbitkan yang negatif. Radas anti-overfit — DSR, PBO/CSCV, effective-N, pemilihan merentas-instrumen — berbaloi untuk dimiliki tepat kerana ia kadangkala memberitahu anda tidak, dan disiplinnya ialah mendengar apabila ia berbuat demikian.

Strategi yang paling kami mahu berjaya, tidak berjaya. Instrumen yang kami bina untuk menangkap perkara itu memberitahu kami sedemikian, dalam empat cara bebas, sebelum satu dolar pun berada dalam risiko. Itulah keseluruhan intipati siri ini, dan inilah artikel di mana intipati itu terbukti hasilnya: mesin ini membuktikan nilainya pada hari ia menghalang anda — bukan pada hari ia memuji anda.