Backtesting Without Fooling Yourself
A step-by-step path from what your backtest really optimizes to proving an edge survives overfitting, multiple testing, and live execution. Read top to bottom — each part builds on the last.
- 01
Jun 28, 2026 #algotradingMaqsad funksiyasini loyihalash: siz optimallashtirgan metrika strategiyangizni yashirincha tanlaydi
"Eng yaxshi" strategiyani izlash uchun avval "eng yaxshi"ni aniqlash kerak — va o'sha skalyar g'olibni jimgina tanlaydi. Ma'lum edge'ga ega sintetik ma'lumotlarda (600 seed, T=2000, 80 chegara), sodda per-trade Sharpe lotereyani toj kiydiradi: u 56% seed'larda 5%dan past ekspozitsiyaga ega g'olibni tanlaydi va 57%da degeneratsiyaga uchraydi — eng yorqin seed'da 8 bitim in-sample Sharpe 21.09 ko'rsatadi, u out of sample paytida 0.13gacha qulaydi. Halol yechim deyarli zerikarli: butun vaqt o'qi bo'yicha o'lchash, u hech qachon degeneratsiyaga uchramaydi (out-of-sample 1.71). Bitimlar soniga asoslangan shrinkage (conf_k) va ekspozitsiya pol chegarasi per-trade metrikasini tuzatishi mumkin, lekin to'liq tuzatilgan holda ham ular faqat full-timeline Sharpe bilan tenglashadi (1.70 ga qarshi 1.71) — hech qachon undan oshmaydi. Bektestda, nazorat qilinadigan asosiy haqiqat bilan Goodhart qonuni.
- 02
Jul 8, 2026 #algotradingKo'p vaqt oralig'idagi bektestlarda kelajakka qarash yo'qligini isbotlash: kelajakni buzib, o'tmish uni ko'ra olmasligini isbotlash
Ko'p vaqt oralig'idagi (multi-timeframe) bektestlar hali yakuniy yopilish narxi mavjud bo'lmagan, shakllanayotgan yuqori vaqt oralig'idagi bar orqali kelajakni sizib chiqaradi. Kodni ko'rib chiqish orqali ishonchga erisha olmaysiz — buni sinab ko'rish kerak. Biz jonli botning yopiq-bar qoidasini aynan takrorlaymiz, so'ngra kelajakni siljitadigan tekshiruv bilan sizib chiqishning yo'qligini isbotlaymiz: kelajakdagi har bir barni buzamiz va o'tmishdagi har bir signal hamda savdo bit-baytiga o'zgarmasligini tasdiqlaymiz. 25/25 paritet tekshiruvlari, va tekshiruvning haqiqiy tishi bor.
- 03
Mar 15, 2026 #algotradingWalk-Forward Optimization: The Only Honest Strategy Test
Why a single train/test split does not protect against overfitting, how walk-forward optimization systematically verifies parameter robustness, and why a strategy with +3342% PnL@ML on 21 parameters is a ticking time bomb without WFO.
- 04
Mar 12, 2026 #algotradingPlato tahlili: barqaror optimumni overfitting-dan qanday ajratish kerak
Strategiyaning eng yaxshi parametrlarini topish nega ishning faqat yarmi. Barqaror platoni notinch cho'qqidan vizual va miqdoriy jihatdan qanday ajratish kerak, va optimallashtirilgan strategiyani productionga joriy etishdan oldin Optuna contour plot-lari nega majburiy qadam.
- 05
Mar 6, 2026 #algotradingMonte-Karlo Bootstrap: bor-yo'g'i 10 qator kod bilan backtest uchun ishonch intervallarini qanday olish mumkin
Backtestdan olingan bitta nuqtali baho nega xavfli illyuziya hisoblanadi. Monte-Karlo bootstrap hisoblashning atigi 2 soniyasida PnL va MaxDD uchun 95% ishonch intervalini qanday beradi va bu strategiyani ishlab chiqarishga chiqarishdan oldin nega majburiy qadam ekanligi.
- 06
Jul 1, 2026 #algotradingThe Probability of Backtest Overfitting: Did Your Search Beat a Coin Flip?
The Deflated Sharpe Ratio prices the winning strategy; PBO prices the search that picked it. Combinatorially Symmetric Cross-Validation runs C(16,8) = 12,870 train/test splits over a 1000x200 performance matrix and asks: does the in-sample winner land in the bottom half out of sample? The catch almost everyone misses — PBO's null is 0.5, not 1. On 200 zero-edge strategies the best in-sample annualized Sharpe of 1.98 collapses to 0.06 out of sample and PBO = 0.476: a coin flip, fully overfit. Plant a real edge (annualized Sharpe 2.38) and PBO drops to 0.001, the in-sample 3.73 surviving to an out-of-sample 2.34. A moving-average grid on a pure random walk has no out-of-sample skill either — PBO 0.463 averaged over 60 matrices, statistically indistinguishable from the null — and on one representative matrix the mirage is vivid: a best in-sample Sharpe of 2.33 collapses to a median out-of-sample -0.22, PBO 0.573, a 63% chance of a loss.
- 07
Jun 29, 2026 #algotradingDeflatsiyalangan Sharpe Koeffitsienti: Backtestingizdagi 'g'oliblar'ning qanchasi ko'p martalik testlashdan omon qoladi?
Parametrlarni qidirish — bu omadni ishlab chiqarish mashinasi. Sof shovqinda — haqiqiy edge (ustunlik) nolga teng bo'lgan 1000 ta strategiyada — eng yaxshi yillik Sharpe o'rtacha 1.63 ni tashkil qiladi va sodda ahamiyatlilik testi 100% holatlarda 'kashfiyot'ni belgilaydi. Biz nazorat qilinadigan haqiqiy asosni quramiz va Deflatsiyalangan Sharpe Koeffitsienti, Harvey-Liu 'soch olish' tuzatmasi va Uaytning Reality Check testi halollikni qanday tiklashini ko'rsatamiz: soxta kashfiyotlar 1.000 dan 0.001-0.057 gacha tushadi, shovqin chegarasidan yuqori bo'lgan haqiqiy edge'lar ~1 quvvat bilan saqlanib qoladi — va bitta haqiqiy tuzoq (korrelyatsiyalangan setkalar) borki, unda xom DSR ortiqcha deflatsiya qiladi va xulosani bitta emas, balki samarali sinovlar sonining butun bahosi diapazoni bo'yicha o'qish kerak.
- 08
Mar 7, 2026 #algotradingBacktest-live paritet: nima uchun botingiz backtestdan farqli savdo qiladi
Backtest va live savdo o'rtasidagi farqlarning to'liq taksonomiyasi: slippagedan va qisman bajarilishdan tortib kod bazasining desinxronizatsiyasigacha. Paritetga erishish uchun arxitektura patternlari, umumiy yadro modulining Python misollari va production monitoring uchun cheklist.
- 09
Jul 9, 2026 #algotreydingHalol salbiy natija: oʻn minglab bektestlar, beshta yetakchi koin, mustahkam ustunlik yoʻq
Qidiruv va overfitting haqidagi yoʻnalishning yakuniy maqolasi — va u salbiy natija bilan tugaydi, bu esa aynan toʻgʻri natija. ETHUSDT ustida bitta simvolli, ikki taymfreymli qidiruv out-of-sample testda +16.35% va tegilmagan holdoutda +2.62% beradigan konfiguratsiyani topdi; ~37,000 sinovni hisobga olgan Deflyatsiyalangan Sharp koeffitsienti uni 0.00 gacha deflyatsiya qildi. Beshta yetakchi koin (ETH/BTC/SOL/BNB/XRP, har biri ~1.18M 1m bar) boʻyicha, out-of-sample medianasi asosida tanlaydigan kross-instrumental sinov uni uzil-kesil yoʻq qiladi: ikki taymfreymda DSR 0.24 / PBO 0.264, uch taymfreymda DSR 0.14 / PBO 0.327 — ikkalasi ham geytlardan oʻtmaydi. Chempion 5 simvoldan 1 tasida foydali, qolganlarida salbiy. Anti-overfit apparati aynan shu uchun kerak: shovqinning eng yaxshisini alfa sifatida ishga tushirishingizga yoʻl qoʻymaslik uchun.