回測過擬合機率(PBO):你的搜尋跑贏拋硬幣了嗎?
Deflated Sharpe Ratio 給獲勝策略定價;PBO 給挑出它的那次搜尋定價。組合對稱交叉驗證(Combinatorially Symmetric Cross-Validation)在一個 1000x200 的表現矩陣上跑 C(16,8) = 12,870 次訓練/測試切分,問的是:樣本內贏家會不會落入樣本外的後一半?幾乎每個人都會看錯的地方——PBO 的零假設值是 0.5,不是 1。在 200 個零優勢策略上,最佳樣本內年化夏普比率 1.98 在樣本外坍縮到 0.06,PBO = 0.476:如同拋硬幣,徹底過擬合。植入一個真實優勢(年化夏普比率 2.38),PBO 降到 0.001,樣本內的 3.73 在樣本外仍保住 2.34。在純隨機遊走上跑移動平均線網格,同樣沒有任何樣本外的技巧——60 個矩陣平均 PBO 0.463,在統計上和零假設無法區分——而在其中一個具有代表性的矩陣上,這場海市蜃樓十分鮮明:最佳樣本內夏普比率 2.33 坍縮到樣本外中位數 -0.22,PBO 0.573,63% 的機率會虧錢。