Blog

Kami menanda aras lapan enjin backtest pada satu sapuan parameter yang sama — 150k bar, 80 kombinasi silang HMA, pariti kiraan dagangan dikunci pada 2707. Dua daripada rangka kerja dipacu peristiwa yang paling popular ternyata lebih perlahan daripada gelung pandas yang ditulis tangan, manakala enjin tervektor/terkompil menjalankan kerja yang sama ~13,000× lebih pantas. Satu kajian tentang overhed per-bar yang pustaka popular memang tidak pernah dibina untuk melunaskan.

Deflated Sharpe Ratio menilai harga strategi pemenang; PBO menilai harga carian yang memilihnya. Combinatorially Symmetric Cross-Validation menjalankan C(16,8) = 12,870 pembahagian train/test ke atas satu matriks prestasi 1000x200 dan bertanya: adakah pemenang dalam-sampel mendarat pada separuh bawah di luar sampel? Perangkap yang hampir semua orang terlepas — null PBO ialah 0.5, bukan 1. Pada 200 strategi kelebihan-sifar, Sharpe tahunan dalam-sampel terbaik 1.98 runtuh kepada 0.06 di luar sampel dan PBO = 0.476: satu lambungan syiling, overfit sepenuhnya. Tanam satu kelebihan sebenar (Sharpe tahunan 2.38) dan PBO jatuh kepada 0.001, dengan 3.73 dalam-sampel terselamat kepada 2.34 luar-sampel. Satu grid purata bergerak pada jalan rawak tulen juga tiada kemahiran luar-sampel — PBO 0.463 dipuratakan merentasi 60 matriks, tidak dapat dibezakan secara statistik daripada null — dan pada satu matriks wakil, fatamorgana itu jelas: Sharpe dalam-sampel terbaik 2.33 runtuh kepada median luar-sampel -0.22, PBO 0.573, peluang 63% untuk kerugian.

Kami mengalihkan (port) kernel backtest numba baris demi baris ke Rust dan memanggilnya merentasi sempadan proses dalam empat cara, dengan get kesetaraan yang mengesahkan PnL yang identik hingga dagangan terakhir. Menghantar keseluruhan siri harga 1.2 MB melalui soket Unix hanya berkos ~2 ms — sekitar 0.1% daripada kerja tersebut. Mengekod payload yang sama dalam JSON berkos 1348x lebih mahal daripada bait mentah, panggilan chatty setiap kombo menghantar semula data sebanyak 80 kali, dan corak panggilan setiap bar akan membayar 2.1 s IPC tulen pada kerja 2.0 s. Sempadan itu murah; cukainya terletak pada cara anda merentasinya.

Carian parameter ialah mesin untuk menghasilkan nasib baik secara buatan. Pada bunyi hingar tulen — 1,000 strategi dengan kelebihan sebenar sifar — Sharpe tahunan terbaik purata 1.63 dan ujian signifikan naif menandakan penemuan 100% daripada masa. Kami membina ground truth terkawal dan menunjukkan bahawa Deflated Sharpe Ratio, haircut Harvey-Liu, dan Reality Check White memulihkan kejujuran: penemuan palsu jatuh daripada 1.000 kepada 0.001-0.057, kelebihan tulen di atas siling bunyi hingar dikekalkan dengan kuasa ~1 — dan satu perangkap sebenar (grid berkorelasi) di mana DSR mentah terlebih-deflasi dan keputusan mesti dibaca merentasi keseluruhan jalur penganggar cubaan-berkesan, bukan satu.

Untuk mencari strategi 'terbaik' anda perlu dahulu mentakrifkan 'terbaik' — dan skalar itu secara senyap memilih pemenang. Pada data sintetik dengan kelebihan yang diketahui (600 seed, T=2000, 80 ambang), Sharpe setiap-dagangan naif menobatkan satu loteri: ia memilih pemenang berpendedahan-bawah-5% dalam 56% seed dan merosot dalam 57% — pada seed paling ekstrem, 8 dagangan mencatatkan Sharpe dalam-sampel 21.09 yang runtuh kepada 0.13 di luar sampel. Pembaikan yang jujur hampir membosankan: ukur pada garis masa penuh, yang tidak pernah merosot (luar-sampel 1.71). Pengecilan bilangan-dagangan (conf_k) dan lantai pendedahan boleh menaik taraf metrik setiap-dagangan, tetapi walaupun dibaiki sepenuhnya ia hanya menyamai Sharpe garis-masa-penuh (1.70 vs 1.71) — tidak pernah mengatasinya. Hukum Goodhart, dalam satu backtest, dengan ground truth terkawal.

Satu kajian terkawal tentang kebocoran look-ahead yang halus yang secara senyap-senyap menggembungkan backtest. Dengan tiada kelebihan sebenar langsung, satu fill same-bar menghasilkan Sharpe tahunan +14.8 daripada bunyi hingar tulen; satu tinjauan penunjuk satu-bar, +4.8. Taksonominya, magnitud yang diukur, dan cara mengesan setiap kebocoran sebelum ia menelan kos wang anda.

Lima pelaksanaan bagi sapuan parameter 80-kombo yang sama, semuanya disahkan menghasilkan PnL identik: pandas rolling.apply mengambil masa 69.9 saat, numpy 3.1, numba 2.0, numba selari 0.23 — kelajuan terukur 298x pada Apple M2 Max tanpa sebarang perubahan perkakasan, dan masih ~13x berbanding garis dasar vektor yang cekap. Apa yang diperoleh setiap anak tangga, mengapa GPU bukan bahagian yang hilang, dan di mana kesesakan sebenar dalam carian parameter besar-besaran berada.