Backtesting Without Fooling Yourself
A step-by-step path from what your backtest really optimizes to proving an edge survives overfitting, multiple testing, and live execution. Read top to bottom — each part builds on the last.
- 01
Jul 2, 2026 #algotradingReka Bentuk Fungsi Objektif: Metrik yang Anda Optimumkan Secara Rahsia Memilih Strategi Anda
Untuk mencari strategi 'terbaik' anda perlu dahulu mentakrifkan 'terbaik' — dan skalar itu secara senyap memilih pemenang. Pada data sintetik dengan kelebihan yang diketahui (600 seed, T=2000, 80 ambang), Sharpe setiap-dagangan naif menobatkan satu loteri: ia memilih pemenang berpendedahan-bawah-5% dalam 56% seed dan merosot dalam 57% — pada seed paling ekstrem, 8 dagangan mencatatkan Sharpe dalam-sampel 21.09 yang runtuh kepada 0.13 di luar sampel. Pembaikan yang jujur hampir membosankan: ukur pada garis masa penuh, yang tidak pernah merosot (luar-sampel 1.71). Pengecilan bilangan-dagangan (conf_k) dan lantai pendedahan boleh menaik taraf metrik setiap-dagangan, tetapi walaupun dibaiki sepenuhnya ia hanya menyamai Sharpe garis-masa-penuh (1.70 vs 1.71) — tidak pernah mengatasinya. Hukum Goodhart, dalam satu backtest, dengan ground truth terkawal.
- 02
Mar 15, 2026 #algotradingWalk-Forward Optimization: Satu-Satunya Ujian Strategi yang Jujur
Mengapa satu pembahagian train/test tidak melindungi daripada overfitting, bagaimana walk-forward optimization mengesahkan keteguhan parameter secara sistematik, dan mengapa strategi dengan PnL +3342%@ML pada 21 parameter adalah bom jangka masa tanpa WFO.
- 03
Mar 12, 2026 #algotradingAnalisis Dataran: Cara Membezakan Optimum Kukuh daripada Overfitting
Mengapa mencari parameter strategi terbaik hanyalah separuh daripada kerja. Cara membezakan dataran stabil daripada puncak rapuh secara visual dan kuantitatif, dan mengapa plot kontur Optuna adalah langkah wajib sebelum melancarkan strategi yang telah dioptimumkan ke dalam pengeluaran.
- 04
Mar 6, 2026 #algotradingMonte Carlo Bootstrap: Cara Mendapatkan Selang Keyakinan untuk Backtest dalam 10 Baris Kod
Mengapa anggaran titik tunggal daripada backtest adalah ilusi berbahaya. Bagaimana Monte Carlo bootstrap dalam masa 2 saat pengiraan memberi anda selang keyakinan 95% untuk PnL dan MaxDD, dan mengapa ini adalah langkah wajib sebelum melancarkan strategi ke pengeluaran.
- 05
Jul 2, 2026 #algotradingProbability of Backtest Overfitting: Adakah Carian Anda Mengatasi Lambungan Syiling?
Deflated Sharpe Ratio menilai harga strategi pemenang; PBO menilai harga carian yang memilihnya. Combinatorially Symmetric Cross-Validation menjalankan C(16,8) = 12,870 pembahagian train/test ke atas satu matriks prestasi 1000x200 dan bertanya: adakah pemenang dalam-sampel mendarat pada separuh bawah di luar sampel? Perangkap yang hampir semua orang terlepas — null PBO ialah 0.5, bukan 1. Pada 200 strategi kelebihan-sifar, Sharpe tahunan dalam-sampel terbaik 1.98 runtuh kepada 0.06 di luar sampel dan PBO = 0.476: satu lambungan syiling, overfit sepenuhnya. Tanam satu kelebihan sebenar (Sharpe tahunan 2.38) dan PBO jatuh kepada 0.001, dengan 3.73 dalam-sampel terselamat kepada 2.34 luar-sampel. Satu grid purata bergerak pada jalan rawak tulen juga tiada kemahiran luar-sampel — PBO 0.463 dipuratakan merentasi 60 matriks, tidak dapat dibezakan secara statistik daripada null — dan pada satu matriks wakil, fatamorgana itu jelas: Sharpe dalam-sampel terbaik 2.33 runtuh kepada median luar-sampel -0.22, PBO 0.573, peluang 63% untuk kerugian.
- 06
Jul 2, 2026 #algotradingDeflated Sharpe Ratio: Berapa Banyak 'Pemenang' Backtest Anda Terselamat daripada Ujian Berganda?
Carian parameter ialah mesin untuk menghasilkan nasib baik secara buatan. Pada bunyi hingar tulen — 1,000 strategi dengan kelebihan sebenar sifar — Sharpe tahunan terbaik purata 1.63 dan ujian signifikan naif menandakan penemuan 100% daripada masa. Kami membina ground truth terkawal dan menunjukkan bahawa Deflated Sharpe Ratio, haircut Harvey-Liu, dan Reality Check White memulihkan kejujuran: penemuan palsu jatuh daripada 1.000 kepada 0.001-0.057, kelebihan tulen di atas siling bunyi hingar dikekalkan dengan kuasa ~1 — dan satu perangkap sebenar (grid berkorelasi) di mana DSR mentah terlebih-deflasi dan keputusan mesti dibaca merentasi keseluruhan jalur penganggar cubaan-berkesan, bukan satu.
- 07
Mar 7, 2026 #algotradingPariti backtest-live: mengapa bot anda berdagang berbeza daripada backtest
Taksonomi lengkap perbezaan antara backtesting dan dagangan langsung: daripada slippage dan pengisian separa hingga penyahsegerakan pangkalan kod. Corak seni bina untuk mencapai pariti, contoh Python bagi modul teras bersama, dan senarai semak pemantauan pengeluaran.