Backtesting Without Fooling Yourself
A step-by-step path from what your backtest really optimizes to proving an edge survives overfitting, multiple testing, and live execution. Read top to bottom — each part builds on the last.
- 01
Jun 28, 2026 #演算法交易目標函數設計：你最佳化的那個指標，正悄悄替你選好了策略
要搜尋'最好'的策略，你必須先定義什麼是'最好'——而那個標量，會悄悄替你選出贏家。在帶有已知優勢的合成數據上（600 個種子，T=2000，80 個候選閾值），樸素的逐筆（per-trade）夏普比率會加冕一張彩票：它在 56% 的種子上選出曝光率低於 5% 的贏家，在 57% 的種子上發生退化——在最極端的那個種子上，8 筆交易的樣本內夏普比率高達 21.09，樣本外卻崩塌到 0.13。誠實的修復幾乎平淡無奇：在整條時間線上測量，它從不退化（樣本外 1.71）。交易筆數（conf_k）收縮與曝光率下限可以給逐筆指標打補丁，但即便完全修復，它們也只能追平整條時間線夏普比率（1.70 對 1.71）——永遠無法超過它。古德哈特定律，在回測裡，配上受控的真實基準。
- 02
Jul 8, 2026 #演算法交易證明多時間框架回測中沒有look-ahead：擾動未來，證明過去看不到它
多時間框架回測會通過一根仍在形成中、尚不存在最終收盤價的高時間框架K線洩露未來資訊。僅靠程式碼審查無法建立信心——必須實際測試。我們精確復現了實盤機器人的closed-bar規則，然後用一個“未來偏移探針”證明沒有資訊洩露：擾動每一根未來K線，並斷言每一個過去的訊號和交易都逐位不變。25/25項一致性檢查全部通過，而且這個探針確實有效（並非一個永遠不會失敗的空測試）。
- 03
Mar 15, 2026 #演算法交易Walk-Forward 最佳化：唯一誠實的策略測試方法
為什麼單次訓練/測試分割無法防止過擬合，walk-forward 最佳化如何系統性地驗證參數穩健性，以及為什麼一個具有 21 個參數、PnL@ML 達 +3342% 的策略在沒有 WFO 的情況下是一顆定時炸彈。
- 04
Mar 12, 2026 #演算法交易平臺分析：如何區分穩健最優與過擬合
為什麼找到最佳策略參數只是工作的一半。如何從視覺和定量兩方面區分穩定的平臺與脆弱的尖峰，以及為什麼Optuna等高線圖是將最佳化後的策略投入生產前的必要步驟。
- 05
Mar 6, 2026 #演算法交易蒙特卡洛自助法：如何用10行程式碼獲取回測的置信區間
為什麼回測的單點估計是一種危險的幻覺。蒙特卡洛自助法如何在2秒內計算出PnL和MaxDD的95%置信區間，以及為什麼這是策略上線前的必要步驟。
- 06
Jul 1, 2026 #演算法交易回測過擬合機率（PBO）：你的搜尋跑贏拋硬幣了嗎？
Deflated Sharpe Ratio 給獲勝策略定價；PBO 給挑出它的那次搜尋定價。組合對稱交叉驗證（Combinatorially Symmetric Cross-Validation）在一個 1000x200 的表現矩陣上跑 C(16,8) = 12,870 次訓練/測試切分，問的是：樣本內贏家會不會落入樣本外的後一半？幾乎每個人都會看錯的地方——PBO 的零假設值是 0.5，不是 1。在 200 個零優勢策略上，最佳樣本內年化夏普比率 1.98 在樣本外坍縮到 0.06，PBO = 0.476：如同拋硬幣，徹底過擬合。植入一個真實優勢（年化夏普比率 2.38），PBO 降到 0.001，樣本內的 3.73 在樣本外仍保住 2.34。在純隨機遊走上跑移動平均線網格，同樣沒有任何樣本外的技巧——60 個矩陣平均 PBO 0.463，在統計上和零假設無法區分——而在其中一個具有代表性的矩陣上，這場海市蜃樓十分鮮明：最佳樣本內夏普比率 2.33 坍縮到樣本外中位數 -0.22，PBO 0.573，63% 的機率會虧錢。
- 07
Jun 29, 2026 #演算法交易Deflated Sharpe Ratio：你回測裡的'贏家'，有多少能扛過多重檢驗？
參數搜尋是一臺製造運氣的機器。在純噪聲上——1,000 個真實優勢為零的策略——最佳年化夏普比率平均達到 1.63，樸素顯著性檢驗 100% 的時候都會宣佈發現。我們構建受控的真實基準，證明 Deflated Sharpe Ratio、Harvey-Liu 折價法與 White's Reality Check 能夠恢復誠實：假髮現率從 1.000 降到 0.001-0.057，噪聲上限之上的真實優勢仍以接近 1 的功效被保留——還有一個真實的陷阱（相關網格），在那裡原始 DSR 會過度折損，其結論必須放在一整條有效試驗數估計的區間上通讀，而不是隻看一個數字。
- 08
Mar 7, 2026 #演算法交易回測與實盤一致性：為什麼你的機器人交易表現與回測不同
回測與實盤交易之間差異的完整分類：從滑點和部分成交到程式碼庫不同步。實現一致性的架構模式、共享核心模組的 Python 示例以及生產環境監控清單。
- 09
Jul 9, 2026 #演算法交易誠實的負面結果：數萬次回測、五大主流幣，沒有穩健優勢
搜尋與過擬合這條主線的收官之作，以一個負面結果收尾——而這正是正確的結果。ETHUSDT 上的單品種雙時間框架搜尋找到了一個樣本外 +16.35%、未觸碰留出視窗 +2.62% 的配置；Deflated Sharpe Ratio 在計入約 37,000 次試驗後把它折損到 0.00。對五個主流幣（ETH/BTC/SOL/BNB/XRP，每個約 1.18M 根 1 分鐘 K 線）按樣本外中位數選擇的跨品種檢驗則徹底終結了它：雙時間框架 DSR 0.24 / PBO 0.264，三時間框架 DSR 0.14 / PBO 0.327——兩者都沒過閘門。冠軍只在 5 個品種中的 1 個上盈利，其餘全部為負。這正是反過擬合裝置存在的意義：阻止你把噪聲中的最優當成 alpha 拿去上線。