Backtesting Without Fooling Yourself
A step-by-step path from what your backtest really optimizes to proving an edge survives overfitting, multiple testing, and live execution. Read top to bottom — each part builds on the last.
- 01
Jun 28, 2026 #algotradingМаксат-функциясын долбоорлоо: сиз оптималдаштырган метрика стратегияңызды жашыруун тандап алат
"Эң жакшы" стратегияны издөө үчүн алгач "эң жакшыны" аныктоо керек — ошол скаляр жеңүүчүнү үнсүз тандайт. Белгилүү edge бар синтетикалык маалыматтарда (600 seed, T=2000, 80 босого) жөнөкөй per-trade Sharpe лотереяны таажы кийгизет: ал 56% seed'де 5%дан төмөн экспозициясы бар жеңүүчүнү тандайт жана 57%да деградацияга учурайт — эң курч seed'де 8 бүтүм in-sample Sharpe 21.09 көрсөтөт, ал out of sample учурунда 0.13гө чейин кулайт. Ак ниет чечим дээрлик көңүл ачпайт: толук убакыт огунда өлчөө, ал эч качан деградацияга учурабайт (out-of-sample 1.71). Бүтүм санына негизделген shrinkage (conf_k) жана экспозиция босогосу per-trade метрикасын оңдой алат, бирок толугу менен түзөтүлсө да алар full-timeline Sharpe менен гана теңелет (1.70 vs 1.71) — эч качан андан ашпайт. Гудхарт мыйзамы, бэктестте, көзөмөлдөнгөн негизги чындык менен.
- 02
Jul 8, 2026 #алгоритмдик соодаMulti-Timeframe Backtest'терде Look-Ahead Жоктугун Далилдөө: Келечекти Бузуп, Өткөндүн Аны Көрө Албастыгын Далилде
Multi-timeframe backtest'тер келечекти агызып жиберет — себеби али калыптанып жаткан жогорку timeframe bar'ынын акыркы close'у азырынча жок. Ишенимге код-ревью аркылуу жетүүгө болбойт, аны текшерүү керек. Биз live боттун closed-bar эрежесин так кайра жаратып, андан кийин shifted-future probe менен агуу жоктугун далилдейбиз: ар бир келечектеги bar'ды бузуп, ар бир өткөн сигнал жана trade bitwise өзгөрбөгөнүн ырастайбыз. 25тен 25 parity текшерүүсү өттү, жана probe чын эле иштейт.
- 03
Mar 15, 2026 #algotradingWalk-Forward Optimization: The Only Honest Strategy Test
Why a single train/test split does not protect against overfitting, how walk-forward optimization systematically verifies parameter robustness, and why a strategy with +3342% PnL@ML on 21 parameters is a ticking time bomb without WFO.
- 04
Mar 12, 2026 #algotradingПлато анализи: туруктуу оптимумду overfitting-тен кантип айырмалоо керек
Стратегиянын эң мыкты параметрлерин табуу эмне үчүн иштин жарымы гана. Туруктуу платону начар чокудан визуалдык жана сандык жактан кантип айырмалоо керек, жана оптималдаштырылган стратегияны продакшенге чыгаруудан мурун Optuna contour plot-тору эмне үчүн милдеттүү кадам.
- 05
Mar 6, 2026 #algotradingМонте-Карло бутстрап: бэктест үчүн ишеним интервалдарын болгону 10 сап кодду менен кантип алса болот
Бэктесттен алынган бир чекиттик баа эмне үчүн коркунучтуу элес. Монте-Карло бутстрап эсептөөнүн болгону 2 секундунда PnL жана MaxDD үчүн 95% ишеним интервалын кантип берет жана стратегияны өндүрүшкө чыгаруудан мурун бул эмне үчүн милдеттүү кадам.
- 06
Jul 1, 2026 #algotradingThe Probability of Backtest Overfitting: Did Your Search Beat a Coin Flip?
The Deflated Sharpe Ratio prices the winning strategy; PBO prices the search that picked it. Combinatorially Symmetric Cross-Validation runs C(16,8) = 12,870 train/test splits over a 1000x200 performance matrix and asks: does the in-sample winner land in the bottom half out of sample? The catch almost everyone misses — PBO's null is 0.5, not 1. On 200 zero-edge strategies the best in-sample annualized Sharpe of 1.98 collapses to 0.06 out of sample and PBO = 0.476: a coin flip, fully overfit. Plant a real edge (annualized Sharpe 2.38) and PBO drops to 0.001, the in-sample 3.73 surviving to an out-of-sample 2.34. A moving-average grid on a pure random walk has no out-of-sample skill either — PBO 0.463 averaged over 60 matrices, statistically indistinguishable from the null — and on one representative matrix the mirage is vivid: a best in-sample Sharpe of 2.33 collapses to a median out-of-sample -0.22, PBO 0.573, a 63% chance of a loss.
- 07
Jun 29, 2026 #algotradingДефляцияланган Шарп коэффициенти: Backtest'иңиздеги 'жеңүүчүлөрдүн' канчасы Multiple Testing'ден аман калат?
Параметрлерди издөө — бул ийгиликти жасалма түрдө өндүрүүчү машина. Таза шумдан (шумдан) — чыныгы артыкчылыгы нөл болгон 1000 стратегиядан — эң жакшы жылдык Шарп орточо эсеп менен 1.63ке жетет, ал эми элементардык маанилүүлүк тести 100% учурда 'ачылыш' деп белгилейт. Биз көзөмөлдөнгөн чындык түзүп, Дефляцияланган Шарп коэффициенти, Harvey-Liu 'чач кыркуусу' жана White's Reality Check адилеттикти калыбына келтирерин көрсөтөбүз: жалган ачылыштар 1.000ден 0.001-0.057ге чейин түшөт, шум чегинен жогорку чыныгы артыкчылыктар дээрлик 1 күч менен сакталып калат — жана бир чыныгы тузак (корреляцияланган торлор) бар, анда чийки DSR ашыкча дефляцияланат жана жыйынтыкты бир эмес, бир нече эффективдүү-сыноо баасынын бүтүндөй диапазонунан окуу керек.
- 08
Mar 7, 2026 #algotradingБэктест-лайв паритети: бот эмне үчүн бэктесттен башкача сооданы жүргүзөт
Бэктестинг менен реалдуу соода ортосундагы айырмачылыктардын толук таксономиясы: слиппедж жана жарым-жартылай аткарылуулардан кодтук база десинхронизациясына чейин. Паритетке жетүү үчүн архитектуралык үлгүлөр, жалпы core модулунун Python мисалдары жана өндүрүштө мониторинг үчүн текшерүү тизмеси.
- 09
Jul 9, 2026 #алготрейдингЧынчыл терс натыйжа: он миңдеген бэктест, беш ири монета, туруктуу артыкчылык жок
Издөө жана оверфиттинг багытындагы макалалардын жыйынтыктоочусу — жана ал терс натыйжа менен бүтөт, ал эми бул туура натыйжа. ETHUSDT боюнча бир символдук, кош таймфреймдүү издөө үлгүдөн тышкары +16.35% жана тийбеген холдаутта +2.62% берген конфигурацияны тапты; ~37,000 сыноону эске алган Дефляцияланган Шарп коэффициенти аны 0.00гө чейин дефляциялады. Беш ири монета боюнча (ETH/BTC/SOL/BNB/XRP, ар бири ~1.18 млн 1 мүнөттүк бар) үлгүдөн тышкаркы медиана менен тандаган инструменттер аралык текшерүү аны биротоло жокко чыгарды: кош таймфрейм DSR 0.24 / PBO 0.264, үч таймфрейм DSR 0.14 / PBO 0.327 — экөө тең гейттерден өтпөйт. Чемпион 5 символдун 1инде гана кирешелүү, калгандарында терс. Оверфиттингге каршы аппарат так ушул үчүн бар: шумдун эң мыктысын альфа катары ишке чыгарып жибербешиң үчүн.