Blog

Tek bir backtest ucuz olduğunda, aptal karıştırılmış Sobol ham verimde kazanır — akıllı örnekleyiciler (TPE, CMA-ES, ASHA) onları 20 kat geriye düşüren bir Python ask/tell vergisi öder, bu yüzden eşit duvar saatinde çok daha az nokta değerlendirir ve kaybederler. Her değerlendirmeyi maliyetli hale getirin (multi-TF + walk-forward katları) ve kesişme noktası tersine döner. Her iki rejimi de ölçtük, ve kat-sıralama sadakatinin (ρ@1'in 0.03'ten 0.43'e yükselmesi) neden budamanın karşılığını vermesi için bir ön koşul olduğunu da.

Tüm parametrelerin arama maliyeti aynı değildir. Bir stratejinin parametreleri pahalı bir eksene (göstergeler — tüm seri üzerinde yeniden hesaplanır) ve ucuz bir eksene (karar eşikleri — önceden hesaplanmış sinyaller üzerinde O(n) bir geçiş) ayrılır. Göstergeler eşiklerden bağımsız olduğu için onları bir kez hesaplar ve binlerce eşik konfigürasyonunu ~5,600 cfg/s hızıyla tararsınız — her konfigürasyonda yeniden hesaplamaya göre kabaca 1,600x daha ucuz. Boyutluluk lanetinin yeniden fiyatlandırılması.

Sekiz backtest motorunu tek ve aynı parametre taramasında kıyasladık — 150k bar, 80 HMA kesişim kombinasyonu, işlem sayısı paritesi 2707'de kilitlendi. En popüler olay güdümlü çerçevelerden ikisi, elle yazılmış bir pandas döngüsünden daha yavaş kaldı; buna karşın vektörleştirilmiş/derlenmiş bir motor aynı işi ~13,000× daha hızlı çalıştırdı. Popüler kütüphanelerin amorti etmek için asla tasarlanmadığı bar başına ek yükün bir incelemesi.

Deflate Edilmiş Sharpe Oranı kazanan stratejiyi fiyatlandırır; PBO ise onu seçen aramayı fiyatlandırır. Kombinatoryal Simetrik Çapraz Doğrulama, 1000x200'lük bir performans matrisi üzerinde C(16,8) = 12,870 eğitim/test bölünmesi çalıştırır ve şunu sorar: örnek-içi kazanan örnek-dışında alt yarıya mı düşüyor? Neredeyse herkesin kaçırdığı can alıcı nokta — PBO'nun null'u 0.5'tir, 1 değil. 200 sıfır-avantajlı strateji üzerinde en iyi örnek-içi yıllıklandırılmış Sharpe olan 1.98, örnek-dışında 0.06'ya çöküyor ve PBO = 0.476: bir yazı-tura, tam anlamıyla aşırı uyum. Gerçek bir avantaj yerleştirin (yıllıklandırılmış Sharpe 2.38) ve PBO 0.001'e düşüyor, örnek-içi 3.73 örnek-dışında 2.34'e kadar hayatta kalıyor. Saf bir rastgele yürüyüş üzerindeki bir hareketli-ortalama ızgarasının da örnek-dışı becerisi yok — 60 matris üzerinden ortalama PBO 0.463, null'dan istatistiksel olarak ayırt edilemez — ve temsili bir matriste yanılsama çarpıcı: en iyi örnek-içi Sharpe olan 2.33, medyan örnek-dışı -0.22'ye çöküyor, PBO 0.573, %63 kayıp olasılığı.

Bir numba backtest çekirdeğini satır satır Rust'a taşıdık ve onu bir process sınırı üzerinden dört farklı şekilde çağırdık; bir eşdeğerlik kapısı son işleme kadar aynı PnL'i doğruladı. 1.2 MB'lık fiyat serisinin tamamını bir Unix soketi üzerinden göndermek ~2 ms'ye mal oluyor — işin yaklaşık %0.1'i. Aynı payload'ı JSON ile kodlamak ham byte'lardan 1348 kat daha pahalıya mal oluyor, kombinasyon başına gevezelik eden çağrılar veriyi 80 kez yeniden gönderiyor ve bar başına bir çağrı deseni 2.0 saniyelik bir işte 2.1 saniyelik saf IPC'ye mal olurdu. Sınır ucuz; vergi onu nasıl geçtiğinizde.

Bir parametre araması, şans üretme makinesidir. Saf gürültü üzerinde — gerçek avantajı sıfır olan 1,000 strateji — en iyi yıllık Sharpe ortalama 1.63 çıkıyor ve naif anlamlılık testi vakaların %100'ünde bir keşif işaretliyor. Kontrollü bir referans gerçeklik kuruyor ve Deflate Edilmiş Sharpe Oranı'nın, Harvey-Liu kesintisinin ve White'ın Reality Check'inin dürüstlüğü nasıl geri getirdiğini gösteriyoruz: yanlış keşifler 1.000'den 0.001-0.057'ye düşüyor, gürültü tavanının üzerindeki gerçek avantajlar ~1 güçle korunuyor — ve ham DSR'nin aşırı deflasyon yaptığı, doğru yargının tek bir sayı değil etkin-deneme tahminlerinin tüm bir bandı üzerinden okunması gereken gerçek bir tuzak (korelasyonlu ızgaralar) var.

'En iyi' stratejiyi aramak için önce 'en iyi'yi tanımlamanız gerekir — ve o skaler kazananı sessizce seçer. Bilinen bir avantaja sahip sentetik veride (600 seed, T=2000, 80 eşik), naif işlem-başına Sharpe bir piyango kazandırır: seed'lerin %56'sında %5'in altında maruziyetli bir kazananı seçer ve %57'sinde dejenere olur — en çarpıcı seed'de, örnek-içi 21.09'luk Sharpe kaydeden 8 işlem örnek-dışında 0.13'e çöker. Dürüst çözüm neredeyse sıkıcı: tüm zaman çizelgesinde ölçün, bu hiçbir zaman dejenere olmaz (örnek-dışı 1.71). Bir işlem-sayısı (conf_k) küçültmesi ve bir maruziyet tabanı, işlem-başına bir metriği geriye dönük onarabilir, ama tamamen onarılmış olsalar bile yalnızca tüm-zaman-çizelgesi Sharpe'ını eşleyebilirler (1.70'e karşı 1.71) — asla onu geçemezler. Bir backtest'te, kontrollü referans gerçeklikle, Goodhart yasası.