Blog

Backtest multi-timeframe membocorkan masa depan lewat bar timeframe lebih tinggi yang sedang terbentuk, yang close akhirnya belum ada. Anda tidak bisa meraih keyakinan hanya lewat code review — Anda harus mengujinya. Kami mereproduksi persis aturan closed-bar milik bot live, lalu membuktikan tidak ada kebocoran dengan probe shifted-future: mengganggu setiap bar masa depan dan memastikan setiap sinyal serta trade di masa lalu tidak berubah sama sekali (bitwise unchanged). 25/25 pemeriksaan parity lolos, dan probe ini punya taring.

Keunggulan GPU atas CPU tumbuh seiring ukuran batch — 54.5x pada satu kombo per panggilan hingga 359.6x pada 61 di precompute indikator multi-timeframe kami — karena sweep kecil tidak bisa mengamortisasi overhead peluncuran kernel dan transfer. Kami mengurai headline 167x menjadi kemenangan algoritmik 27x yang juga membantu CPU kali kemenangan hardware 6.2x, menunjukkan bahwa keunggulan sejati GPU-vs-CPU-terbaik hanya 3.2x untuk single-timeframe dan 6.2x untuk multi, dan memberikan panduan keputusan seberapa lebar sweep yang dibutuhkan sebelum GPU layak dibeli.

GPU Metal dari Apple tidak memiliki float64. Porting backtest tervektorisasi ke sana secara naif dan trik prefix-sum WMA yang menggoda akan overflow di fp32 — kesalahan relatif maksimum 211× — namun ia tetap berjalan dan mengembalikan angka yang tampak masuk akal. Solusinya bukan presisi yang lebih tinggi; melainkan formulasi yang berbeda: konvolusi berjendela langsung, aman di fp32 hingga 8×10⁻⁷ dan 55,9× lebih cepat daripada numba single-thread. Jebakannya, aritmetikanya, dan cara membuktikan bahwa Anda tidak terjebak di dalamnya.

Pencarian drill-down / multi-fidelitas (ASHA, successive halving, Hyperband) menyaring ribuan konfigurasi secara murah dan hanya mempromosikan yang bertahan ke evaluasi penuh yang mahal. Ini adalah percepatan yang nyata — tetapi runtuh secara diam-diam jika peringkat fidelity rendah tidak sesuai dengan peringkat fidelity tinggi. Kami mengukur korelasi peringkat antar-fold: pada satu fold, Spearman ρ bisa hanya 0.03 (mengurutkan hampir secara acak), lalu naik menjadi 0.43, 0.67, 0.78, 0.91 seiring bertambahnya fold. Solusinya adalah satu gate wajib — ukur ρ(murah, penuh) terlebih dahulu, lalu naikkan otomatis fidelity minimum ke rung pertama di mana ρ ≥ 0.5.

Ketika satu backtest murah, scrambled Sobol yang 'bodoh' menang telak dalam throughput mentah — sampler pintar (TPE, CMA-ES, ASHA) membayar pajak ask/tell Python yang menurunkan kecepatannya 20x, sehingga mereka mengevaluasi jauh lebih sedikit titik pada wall-clock yang sama dan kalah. Buat setiap evaluasi menjadi mahal (multi-TF + fold walk-forward) dan titik crossover-nya berbalik. Kami mengukur kedua rezim ini, dan mengapa fidelity fold-rank (ρ@1 naik dari 0.03→0.43) menjadi prasyarat agar pruning membuahkan hasil.

Tidak semua parameter sama mahalnya untuk dicari. Parameter sebuah strategi terbelah menjadi sumbu mahal (indikator — dihitung ulang atas seluruh deret) dan sumbu murah (ambang keputusan — satu lintasan O(n) atas sinyal yang sudah dihitung sebelumnya). Karena indikator invarian terhadap ambang, Anda menghitungnya sekali lalu menyisir ribuan konfigurasi ambang pada ~5,600 cfg/s — kira-kira 1,600x lebih murah dibanding menghitung ulang per konfigurasi. Sebuah penaksiran ulang harga kutukan dimensionalitas.

Kami membandingkan delapan mesin backtest pada satu parameter sweep yang identik — 150 ribu bar, 80 kombinasi HMA-cross, paritas jumlah trade dikunci di 2707. Dua framework event-driven paling populer ternyata lebih lambat daripada loop pandas buatan tangan, sementara mesin vectorized/compiled menjalankan pekerjaan yang sama ~13.000× lebih cepat. Sebuah kajian tentang overhead per-bar yang memang tidak pernah dirancang untuk diamortisasi oleh library-library populer.