Blog

Sekiz backtest motorunu tek ve aynı parametre taramasında kıyasladık — 150k bar, 80 HMA kesişim kombinasyonu, işlem sayısı paritesi 2707'de kilitlendi. En popüler olay güdümlü çerçevelerden ikisi, elle yazılmış bir pandas döngüsünden daha yavaş kaldı; buna karşın vektörleştirilmiş/derlenmiş bir motor aynı işi ~13,000× daha hızlı çalıştırdı. Popüler kütüphanelerin amorti etmek için asla tasarlanmadığı bar başına ek yükün bir incelemesi.

Deflate Edilmiş Sharpe Oranı kazanan stratejiyi fiyatlandırır; PBO ise onu seçen aramayı fiyatlandırır. Kombinatoryal Simetrik Çapraz Doğrulama, 1000x200'lük bir performans matrisi üzerinde C(16,8) = 12,870 eğitim/test bölünmesi çalıştırır ve şunu sorar: örnek-içi kazanan örnek-dışında alt yarıya mı düşüyor? Neredeyse herkesin kaçırdığı can alıcı nokta — PBO'nun null'u 0.5'tir, 1 değil. 200 sıfır-avantajlı strateji üzerinde en iyi örnek-içi yıllıklandırılmış Sharpe olan 1.98, örnek-dışında 0.06'ya çöküyor ve PBO = 0.476: bir yazı-tura, tam anlamıyla aşırı uyum. Gerçek bir avantaj yerleştirin (yıllıklandırılmış Sharpe 2.38) ve PBO 0.001'e düşüyor, örnek-içi 3.73 örnek-dışında 2.34'e kadar hayatta kalıyor. Saf bir rastgele yürüyüş üzerindeki bir hareketli-ortalama ızgarasının da örnek-dışı becerisi yok — 60 matris üzerinden ortalama PBO 0.463, null'dan istatistiksel olarak ayırt edilemez — ve temsili bir matriste yanılsama çarpıcı: en iyi örnek-içi Sharpe olan 2.33, medyan örnek-dışı -0.22'ye çöküyor, PBO 0.573, %63 kayıp olasılığı.

Bir numba backtest çekirdeğini satır satır Rust'a taşıdık ve onu bir process sınırı üzerinden dört farklı şekilde çağırdık; bir eşdeğerlik kapısı son işleme kadar aynı PnL'i doğruladı. 1.2 MB'lık fiyat serisinin tamamını bir Unix soketi üzerinden göndermek ~2 ms'ye mal oluyor — işin yaklaşık %0.1'i. Aynı payload'ı JSON ile kodlamak ham byte'lardan 1348 kat daha pahalıya mal oluyor, kombinasyon başına gevezelik eden çağrılar veriyi 80 kez yeniden gönderiyor ve bar başına bir çağrı deseni 2.0 saniyelik bir işte 2.1 saniyelik saf IPC'ye mal olurdu. Sınır ucuz; vergi onu nasıl geçtiğinizde.

Bir parametre araması, şans üretme makinesidir. Saf gürültü üzerinde — gerçek avantajı sıfır olan 1,000 strateji — en iyi yıllık Sharpe ortalama 1.63 çıkıyor ve naif anlamlılık testi vakaların %100'ünde bir keşif işaretliyor. Kontrollü bir referans gerçeklik kuruyor ve Deflate Edilmiş Sharpe Oranı'nın, Harvey-Liu kesintisinin ve White'ın Reality Check'inin dürüstlüğü nasıl geri getirdiğini gösteriyoruz: yanlış keşifler 1.000'den 0.001-0.057'ye düşüyor, gürültü tavanının üzerindeki gerçek avantajlar ~1 güçle korunuyor — ve ham DSR'nin aşırı deflasyon yaptığı, doğru yargının tek bir sayı değil etkin-deneme tahminlerinin tüm bir bandı üzerinden okunması gereken gerçek bir tuzak (korelasyonlu ızgaralar) var.

'En iyi' stratejiyi aramak için önce 'en iyi'yi tanımlamanız gerekir — ve o skaler kazananı sessizce seçer. Bilinen bir avantaja sahip sentetik veride (600 seed, T=2000, 80 eşik), naif işlem-başına Sharpe bir piyango kazandırır: seed'lerin %56'sında %5'in altında maruziyetli bir kazananı seçer ve %57'sinde dejenere olur — en çarpıcı seed'de, örnek-içi 21.09'luk Sharpe kaydeden 8 işlem örnek-dışında 0.13'e çöker. Dürüst çözüm neredeyse sıkıcı: tüm zaman çizelgesinde ölçün, bu hiçbir zaman dejenere olmaz (örnek-dışı 1.71). Bir işlem-sayısı (conf_k) küçültmesi ve bir maruziyet tabanı, işlem-başına bir metriği geriye dönük onarabilir, ama tamamen onarılmış olsalar bile yalnızca tüm-zaman-çizelgesi Sharpe'ını eşleyebilirler (1.70'e karşı 1.71) — asla onu geçemezler. Bir backtest'te, kontrollü referans gerçeklikle, Goodhart yasası.

Backtestleri sessizce şişiren ince look-ahead sızıntılarının kontrollü bir incelemesi. Sıfır gerçek avantajla, aynı-bar dolumu saf gürültüden yıllıklandırılmış +14.8 Sharpe üretiyor; bir barlık gösterge sızıntısı ise +4.8. Taksonomi, ölçülen büyüklükler ve her sızıntıyı size paraya mal olmadan önce nasıl tespit edeceğiniz.

Aynı 80 kombinasyonluk parametre taramasının, hepsinin aynı PnL'i ürettiği doğrulanmış beş uygulaması: pandas rolling.apply 69.9 saniye sürüyor, numpy 3.1, numba 2.0, paralel numba 0.23 — donanımda sıfır değişiklikle Apple M2 Max üzerinde ölçülen 298x'lik bir hızlanma ve yetkin bir vektörize edilmiş referansa karşı bile hâlâ ~13x. Her basamağın ne kazandırdığı, bir GPU'nun neden eksik parça olmadığı ve kitlesel parametre aramasındaki gerçek darboğazın nerede yaşadığı.