Blog

Apabila satu backtest itu murah, Sobol scrambled yang 'bodoh' menang dari segi throughput mentah — sampler pintar (TPE, CMA-ES, ASHA) menanggung cukai ask/tell Python yang menjatuhkan mereka 20x, jadi mereka menilai jauh lebih sedikit titik pada wall-clock yang sama dan kalah. Jadikan setiap penilaian mahal (multi-TF + lipatan walk-forward) dan titik persilangan itu berbalik. Kami mengukur kedua-dua rejim, dan sebab mengapa fideliti kedudukan-lipatan (fold-rank fidelity) (ρ@1 meningkat 0.03→0.43) adalah prasyarat untuk pruning memberi hasil.

Bukan semua parameter sama kosnya untuk dicari. Parameter sesebuah strategi terbahagi kepada paksi mahal (penunjuk — dikira semula merentasi keseluruhan siri) dan paksi murah (ambang keputusan — satu laluan O(n) ke atas isyarat prakira). Oleh sebab penunjuk invarian terhadap ambang, anda mengiranya sekali dan menyapu beribu-ribu konfigurasi ambang pada ~5,600 cfg/s — kira-kira 1,600x lebih murah daripada mengira semula bagi setiap konfigurasi. Satu penilaian harga semula terhadap sumpahan kedimensian.

Kami menanda aras lapan enjin backtest pada satu sapuan parameter yang sama — 150k bar, 80 kombinasi silang HMA, pariti kiraan dagangan dikunci pada 2707. Dua daripada rangka kerja dipacu peristiwa yang paling popular ternyata lebih perlahan daripada gelung pandas yang ditulis tangan, manakala enjin tervektor/terkompil menjalankan kerja yang sama ~13,000× lebih pantas. Satu kajian tentang overhed per-bar yang pustaka popular memang tidak pernah dibina untuk melunaskan.

Deflated Sharpe Ratio menilai harga strategi pemenang; PBO menilai harga carian yang memilihnya. Combinatorially Symmetric Cross-Validation menjalankan C(16,8) = 12,870 pembahagian train/test ke atas satu matriks prestasi 1000x200 dan bertanya: adakah pemenang dalam-sampel mendarat pada separuh bawah di luar sampel? Perangkap yang hampir semua orang terlepas — null PBO ialah 0.5, bukan 1. Pada 200 strategi kelebihan-sifar, Sharpe tahunan dalam-sampel terbaik 1.98 runtuh kepada 0.06 di luar sampel dan PBO = 0.476: satu lambungan syiling, overfit sepenuhnya. Tanam satu kelebihan sebenar (Sharpe tahunan 2.38) dan PBO jatuh kepada 0.001, dengan 3.73 dalam-sampel terselamat kepada 2.34 luar-sampel. Satu grid purata bergerak pada jalan rawak tulen juga tiada kemahiran luar-sampel — PBO 0.463 dipuratakan merentasi 60 matriks, tidak dapat dibezakan secara statistik daripada null — dan pada satu matriks wakil, fatamorgana itu jelas: Sharpe dalam-sampel terbaik 2.33 runtuh kepada median luar-sampel -0.22, PBO 0.573, peluang 63% untuk kerugian.

Kami mengalihkan (port) kernel backtest numba baris demi baris ke Rust dan memanggilnya merentasi sempadan proses dalam empat cara, dengan get kesetaraan yang mengesahkan PnL yang identik hingga dagangan terakhir. Menghantar keseluruhan siri harga 1.2 MB melalui soket Unix hanya berkos ~2 ms — sekitar 0.1% daripada kerja tersebut. Mengekod payload yang sama dalam JSON berkos 1348x lebih mahal daripada bait mentah, panggilan chatty setiap kombo menghantar semula data sebanyak 80 kali, dan corak panggilan setiap bar akan membayar 2.1 s IPC tulen pada kerja 2.0 s. Sempadan itu murah; cukainya terletak pada cara anda merentasinya.

Carian parameter ialah mesin untuk menghasilkan nasib baik secara buatan. Pada bunyi hingar tulen — 1,000 strategi dengan kelebihan sebenar sifar — Sharpe tahunan terbaik purata 1.63 dan ujian signifikan naif menandakan penemuan 100% daripada masa. Kami membina ground truth terkawal dan menunjukkan bahawa Deflated Sharpe Ratio, haircut Harvey-Liu, dan Reality Check White memulihkan kejujuran: penemuan palsu jatuh daripada 1.000 kepada 0.001-0.057, kelebihan tulen di atas siling bunyi hingar dikekalkan dengan kuasa ~1 — dan satu perangkap sebenar (grid berkorelasi) di mana DSR mentah terlebih-deflasi dan keputusan mesti dibaca merentasi keseluruhan jalur penganggar cubaan-berkesan, bukan satu.

Untuk mencari strategi 'terbaik' anda perlu dahulu mentakrifkan 'terbaik' — dan skalar itu secara senyap memilih pemenang. Pada data sintetik dengan kelebihan yang diketahui (600 seed, T=2000, 80 ambang), Sharpe setiap-dagangan naif menobatkan satu loteri: ia memilih pemenang berpendedahan-bawah-5% dalam 56% seed dan merosot dalam 57% — pada seed paling ekstrem, 8 dagangan mencatatkan Sharpe dalam-sampel 21.09 yang runtuh kepada 0.13 di luar sampel. Pembaikan yang jujur hampir membosankan: ukur pada garis masa penuh, yang tidak pernah merosot (luar-sampel 1.71). Pengecilan bilangan-dagangan (conf_k) dan lantai pendedahan boleh menaik taraf metrik setiap-dagangan, tetapi walaupun dibaiki sepenuhnya ia hanya menyamai Sharpe garis-masa-penuh (1.70 vs 1.71) — tidak pernah mengatasinya. Hukum Goodhart, dalam satu backtest, dengan ground truth terkawal.