Blog

Chúng tôi đã đo hiệu năng tám engine backtest trên cùng một parameter sweep — 150 nghìn bar, 80 tổ hợp HMA-cross, số lệnh khớp chốt ở mức 2707. Hai trong số các framework event-driven phổ biến nhất lại chậm hơn một vòng lặp pandas viết tay, trong khi một engine vectorized/compiled chạy cùng khối lượng công việc đó nhanh hơn ~13.000 lần. Một nghiên cứu về chi phí phụ trội theo từng bar mà các thư viện phổ biến chưa từng được thiết kế để khấu hao.

Deflated Sharpe Ratio định giá chiến lược thắng cuộc; PBO định giá tìm kiếm đã chọn ra nó. Combinatorially Symmetric Cross-Validation chạy C(16,8) = 12,870 lượt chia train/test trên một ma trận hiệu suất 1000x200 và hỏi: liệu kẻ thắng cuộc in-sample có rơi vào nửa dưới out-of-sample hay không? Cái bẫy mà hầu như ai cũng bỏ lỡ — null của PBO là 0.5, không phải 1. Trên 200 chiến lược không-lợi-thế, Sharpe hàng năm in-sample tốt nhất là 1.98 sụp đổ xuống 0.06 out-of-sample và PBO = 0.476: một lần tung đồng xu, overfit hoàn toàn. Cài đặt một lợi thế thực (Sharpe hàng năm 2.38) thì PBO giảm xuống 0.001, con số in-sample 3.73 sống sót đến out-of-sample 2.34. Một lưới trung bình động trên một random walk thuần túy cũng không có kỹ năng out-of-sample nào — PBO 0.463 trung bình trên 60 ma trận, không thể phân biệt về mặt thống kê với null — và trên một ma trận đại diện, ảo ảnh hiện lên rõ ràng: Sharpe in-sample tốt nhất 2.33 sụp đổ xuống trung vị out-of-sample -0.22, PBO 0.573, 63% xác suất thua lỗ.

Chúng tôi đã port một kernel backtest numba theo từng dòng sang Rust và gọi nó qua ranh giới tiến trình theo bốn cách khác nhau, với một cổng tương đương xác nhận PnL giống hệt đến tận giao dịch cuối cùng. Truyền toàn bộ chuỗi giá 1.2 MB qua một Unix socket tốn ~2 ms — khoảng 0.1% công việc. Mã hóa JSON cùng payload đó tốn gấp 1348x so với byte thô, các lệnh gọi chatty theo từng combo truyền lại dữ liệu 80 lần, và một mẫu hình gọi theo từng nến sẽ phải trả 2.1 s IPC thuần túy trên một công việc 2.0 s. Ranh giới thì rẻ; thuế nằm ở cách bạn băng qua nó.

Một tìm kiếm tham số là một cỗ máy sản xuất may mắn. Trên nhiễu thuần túy — 1,000 chiến lược với lợi thế thực bằng không — Sharpe hàng năm tốt nhất trung bình đạt 1.63 và bài kiểm định ý nghĩa ngây thơ báo hiệu một phát hiện 100% số lần. Chúng tôi xây dựng ground truth có kiểm soát và chỉ ra rằng Deflated Sharpe Ratio, haircut Harvey-Liu, và White's Reality Check khôi phục sự trung thực: phát hiện sai giảm từ 1.000 xuống 0.001-0.057, các lợi thế thực sự trên trần nhiễu được giữ lại với sức mạnh phát hiện ~1 — và một cái bẫy thực sự (lưới tham số tương quan) nơi DSR thô khử lạm phát quá mức và phán quyết phải được đọc trên toàn bộ dải các ước lượng số lần thử hiệu quả, chứ không phải chỉ một.

Để tìm kiếm chiến lược 'tốt nhất' bạn trước tiên phải định nghĩa 'tốt nhất' — và con số vô hướng đó âm thầm chọn ra người chiến thắng. Trên dữ liệu tổng hợp với lợi thế đã biết (600 seed, T=2000, 80 ngưỡng), một Sharpe per-trade ngây thơ tôn vinh một vé số: nó chọn một người chiến thắng có mức độ tiếp xúc dưới 5% trong 56% số seed và thoái hóa trong 57% — ở seed cực đoan nhất, 8 giao dịch đạt Sharpe in-sample 21.09 sụp đổ xuống 0.13 out-of-sample. Cách khắc phục trung thực gần như nhàm chán: đo trên toàn bộ dòng thời gian, thứ không bao giờ thoái hóa (out-of-sample 1.71). Một shrinkage theo số lượng giao dịch (conf_k) và một sàn tiếp xúc (exposure floor) có thể vá lại một chỉ số per-trade, nhưng ngay cả khi được sửa hoàn toàn chúng cũng chỉ khớp với Sharpe toàn dòng thời gian (1.70 so với 1.71) — không bao giờ vượt qua nó. Định luật Goodhart, trong một backtest, với ground truth có kiểm soát.

Một nghiên cứu có kiểm soát về các rò rỉ look-ahead tinh vi âm thầm thổi phồng backtest. Với lợi thế thực bằng không, một fill cùng nến tạo ra Sharpe hàng năm +14.8 từ nhiễu thuần túy; một lần nhìn trộm chỉ báo lệch một nến, +4.8. Phân loại đầy đủ, các mức độ đo được, và cách phát hiện từng rò rỉ trước khi nó khiến bạn mất tiền.

Năm cách triển khai của cùng một sweep tham số 80 combo, tất cả được xác minh cho ra PnL giống hệt nhau: pandas rolling.apply mất 69.9 giây, numpy 3.1, numba 2.0, numba song song 0.23 — mức tăng tốc đo được 298x trên Apple M2 Max mà không đổi bất kỳ phần cứng nào, và vẫn còn ~13x so với baseline vector hóa có năng lực. Mỗi bậc mang lại điều gì, tại sao GPU không phải là mảnh ghép còn thiếu, và nút thắt cổ chai thực sự trong tìm kiếm tham số quy mô lớn nằm ở đâu.