Blog

Kami membandingkan delapan mesin backtest pada satu parameter sweep yang identik — 150 ribu bar, 80 kombinasi HMA-cross, paritas jumlah trade dikunci di 2707. Dua framework event-driven paling populer ternyata lebih lambat daripada loop pandas buatan tangan, sementara mesin vectorized/compiled menjalankan pekerjaan yang sama ~13.000× lebih cepat. Sebuah kajian tentang overhead per-bar yang memang tidak pernah dirancang untuk diamortisasi oleh library-library populer.

Deflated Sharpe Ratio memberi harga pada strategi pemenang; PBO memberi harga pada pencarian yang memilihnya. Combinatorially Symmetric Cross-Validation menjalankan C(16,8) = 12,870 pemisahan train/test di atas matriks performa 1000x200 dan bertanya: apakah pemenang in-sample mendarat di separuh bawah out of sample? Jebakan yang hampir semua orang lewatkan — null PBO adalah 0.5, bukan 1. Pada 200 strategi ber-edge nol, Sharpe tahunan in-sample terbaik sebesar 1.98 runtuh menjadi 0.06 out of sample dan PBO = 0.476: sebuah lemparan koin, sepenuhnya overfit. Tanamkan edge nyata (Sharpe tahunan 2.38) dan PBO turun ke 0.001, angka in-sample 3.73 bertahan menjadi 2.34 out of sample. Grid moving-average pada random walk murni juga tidak memiliki skill out-of-sample — PBO 0.463 dirata-ratakan atas 60 matriks, secara statistik tak terbedakan dari null — dan pada satu matriks representatif fatamorgananya jelas: Sharpe in-sample terbaik sebesar 2.33 runtuh menjadi median out-of-sample -0.22, PBO 0.573, peluang 63% mengalami kerugian.

Kami mem-port kernel backtest numba baris demi baris ke Rust dan memanggilnya lintas batas proses dengan empat cara, dengan gerbang ekuivalensi yang mengonfirmasi PnL identik hingga transaksi terakhir. Mengirim seluruh seri harga 1.2 MB melalui Unix socket berbiaya ~2 ms — sekitar 0.1% dari total pekerjaan. Meng-encode payload yang sama sebagai JSON berbiaya 1348x lebih mahal daripada raw bytes, panggilan chatty per-kombo mengirim ulang data 80 kali, dan pola panggilan per-bar akan membayar 2.1 s IPC murni pada pekerjaan 2.0 s. Batasnya murah; pajaknya ada pada cara Anda menyeberanginya.

Pencarian parameter adalah mesin pembuat keberuntungan. Pada noise murni — 1,000 strategi dengan edge sejati nol — Sharpe tahunan terbaik rata-rata 1.63 dan uji signifikansi naif menandai penemuan 100% dari waktu. Kami membangun ground truth terkontrol dan menunjukkan bahwa Deflated Sharpe Ratio, haircut Harvey-Liu, dan Reality Check milik White memulihkan kejujuran: penemuan palsu turun dari 1.000 menjadi 0.001-0.057, edge sejati di atas plafon noise dipertahankan dengan power ~1 — dan satu jebakan nyata (grid berkorelasi) di mana DSR mentah over-deflate dan vonisnya harus dibaca melintasi seluruh rentang estimator effective-trial, bukan satu angka saja.

Untuk mencari strategi 'terbaik' Anda harus lebih dulu mendefinisikan 'terbaik' — dan skalar itu diam-diam memilih pemenangnya. Pada data sintetis dengan edge yang diketahui (600 seed, T=2000, 80 threshold), per-trade Sharpe yang naif menobatkan sebuah lotre: ia memilih pemenang ber-eksposur di bawah 5% pada 56% seed dan berdegenerasi pada 57% — pada seed paling ekstrem, 8 trade mencetak Sharpe in-sample 21.09 yang runtuh menjadi 0.13 out-of-sample. Perbaikan yang jujur nyaris membosankan: ukur pada seluruh timeline, yang tidak pernah berdegenerasi (out-of-sample 1.71). Shrinkage jumlah-trade (conf_k) dan sebuah exposure floor bisa merombak metrik per-trade, tetapi bahkan setelah sepenuhnya diperbaiki keduanya hanya menyamai full-timeline Sharpe (1.70 vs 1.71) — tidak pernah mengalahkannya. Hukum Goodhart, dalam sebuah backtest, dengan ground truth terkontrol.

Studi terkontrol tentang kebocoran look-ahead halus yang diam-diam menggelembungkan backtest. Dengan edge nyata nol, fill same-bar menciptakan Sharpe tahunan +14.8 dari noise murni; intipan indikator satu bar, +4.8. Taksonominya, magnitudo yang terukur, dan cara mendeteksi setiap kebocoran sebelum merugikan Anda.

Lima implementasi dari sweep parameter 80-kombinasi yang sama, semuanya diverifikasi menghasilkan PnL identik: pandas rolling.apply membutuhkan 69.9 detik, numpy 3.1, numba 2.0, numba paralel 0.23 — percepatan terukur 298x pada Apple M2 Max tanpa perubahan hardware sama sekali, dan tetap ~13x lebih cepat dibanding baseline vektorisasi yang kompeten. Apa yang didapat dari setiap anak tangga, mengapa GPU bukan bagian yang hilang, dan di mana bottleneck sebenarnya dalam pencarian parameter skala besar berada.