Чынчыл терс натыйжа: он миңдеген бэктест, беш ири монета, туруктуу артыкчылык жок

"Иллюзиясыз бэктесттер" сериясынын бир бөлүгү.

Биз каалабаган натыйжа

Бул серия бир нече макала бою жалганды кармоочу аспаптарды курду: бир бардык агып кетүүдөн Шарпты 15ке чейин жасалма көбөйткөн look-ahead катасы, издөөнүн жеңүүчүсүнө баа берген Дефляцияланган Шарп коэффициенти, издөөнүн өзүнө баа берген бэктесттин оверфиттинг ыктымалдыгы. Ошол макалалардын ар бири, кандайдыр бир мааниде, репетиция болчу. Бул макала — спектаклдин өзү: биз бүт аппаратты чын эле соода кылгыбыз келген реалдуу стратегиялар үй-бүлөсүнө багыттап, ага өзү курулган өкүмүн чыгарууга жол бердик — атүгүл ал өкүм жок деген жооп болсо да.

Чынчыл жыйынтыкты дароо айтабыз. Биз беш ири монета боюнча, кош жана үч таймфреймдүү конфигурацияларда, туруктуу артыкчылык (robust edge) издеп, он миңдеген бэктест жүргүздүк. Биз аны тапкан жокпуз. "Кичине артыкчылык таап, позицияны азайттык" деген да эмес. Биз текшерүү механизмине кабылганда аман калган эч нерсе тапкан жокпуз — бир эле учурда бардык инструменттерде кирешелүү жана көптүк тестирлөөгө түзөтүүдөн кийин корголо ала турган бир да конфигурация жок. Бул эксперименттин ийгиликсиздиги эмес. Тескерисинче, бул — эксперименттин так ийгилиги.

Азгырган жери — начарыраак куралданган команданы капитал бөлүүгө түртө турган жери — жөнөкөй окуганда натыйжа чын эле жакшы көрүнгөнү:

Жогорку сапты биз алгач кандай окусак, ошондой окуп көргүлө: жылма орточолордун кесилишине негизделген, ETHUSDT боюнча кош таймфреймдүү тордо тууралган стратегия издөө учурунда эч качан көрбөгөн маалыматта +16.35% көрсөтүп, биз толугу менен бөлүп таштаган экинчи терезеде оң +2.62% сактап турат. Эгер ушул жерде токтосоңор — жарыяланган бэктесттердин көбү так ушул жерде токтойт — аны ишке чыгарасыңар. Макаланын калган бөлүгү — бизге "чыгарба" деген механизм жана анын эмне үчүн туура болгону жөнүндө.

1-акт — Азгырган жеңүүчү

Стратегиялар үй-бүлөсү атайылап жөнөкөй тандалган: Hull жылма орточолорунун кесилиши, жабылган барларда бааланат, чынчыл аткаруу модели менен (чечим i барынын жабылышында кабыл алынат, ордер i+1 барынын ачылышында аткарылат — бул серия эч качан баш тартпаган бир бар дисциплинасы). "Кош таймфрейм" дегени — сигнал жайыраак таймфреймдин тренди аркылуу чыпкаланат; "үч" дегени андан да жайыраак үчүнчүсүн кошот. Ар бир таймфрейм эркин параметрлерди кошот, ал эми издөө так ошол эркин параметрлерди көрүнгөн натыйжалуулукка айландырат.

Бир символдук изилдөө ETHUSDT боюнча жүргүзүлдү. Протокол башынан эле туура түзүлгөн: жылма walk-forward бөлүштүрүү (жылытуу терезеси, бир нече үлгү ичиндеги фолд, үлгүдөн тышкаркы (out-of-sample) тест терезеси), плюс издөөгө эң аягына чейин тийүүгө тыюу салынган акыркы холдаут терезеси. Параметрлер мейкиндигин Sobol/QMC издөө изилдеди; аман калганы — эң мыкты walk-forward упайлуу конфигурация, жана ал холдаутка бир жолу — так бир жолу — алып барылды.

Аман калган конфигурация артыкчылыктай көрүндү:

• Үлгүдөн тышкаркы тест терезесинде +16.35% — бул маалымат конфигурацияларга баа берүү үчүн гана колдонулган, аларды тууралоо үчүн эч качан колдонулган эмес.
• Тийбеген холдаутта +2.62% — экинчи дубал да багынды.

Изилдөө процесси чынчылбы же театралдыкпы — ушул учур чечет. Үлгүдөн тышкаркы киреше тар мааниде реалдуу: сандар ойлоп табылган эмес жана look-ahead агып кетүү жок — биз текшердик. Бирок "реалдуу сандар, агып кетүү жок" деген босого "реалдуу артыкчылык" дегенден алда канча төмөн. Экөөнүн ортосунда ушул бүт сериянын башкы темасы турат: тандоо (selection). Биз бир стратегияны баалап, анын 16% тапканын көргөн жокпуз. Биз абдан көп стратегияны баалап, эң мыктысынын 16%ин жарыяладык. Үлгүдөн тышкаркы терезе look-ahead жагынан таза болчу, бирок тандоодон таза эмес болчу — анткени жеңүүчүнү жарым-жартылай анын так ошол терезедеги натыйжасына карап тандадык. Бул эки окуяны айырмалай ала турган жалгыз аспап — биз канча жолу карап көргөнүбүздү билген аспап.

2-акт — Дефляция: ~37,000 сыноо, DSR = 0.00

Канча жолу караганыбызды санайлы. Фолддор, таймфрейм комбинациялары жана параметрлер тору боюнча кош таймфреймдүү издөө болжол менен 37,000 ар башка конфигурацияны баалады. Алардын ар бири — стратегиялар мейкиндигинен бир тартуу, ал эми издөө алардын максимумун сактап калды. Толук чыгарылышы Дефляцияланган Шарп коэффициенти жөнүндөгү макалада бар, бирок бул жерде керектүү жалгыз факт — Жалган стратегия теоремасы (False Strategy Theorem, Bailey & López de Prado): чыныгы артыкчылыгы нөл болгон N стратегиянын күтүлгөн максималдуу Шарпы N менен кошо өсөт. N ≈ 30,000 болгондо таза шумдун эң мыктысы жалаң тандоонун эсебинен нөлдөн болжол менен төрт стандарттык четтөө жогору турат. Төрт сигма ачылыштай көрүнөт. Чынында бул — издөөнүн көлөкөсү.

Демек, туура суроо "жеңүүчүнүн Шарпы оңбу?" деген эмес — албетте оң, силер максимумун тандадыңар. Туура суроо: "жеңүүчүнүн Шарпы 37,000 тыйын ыргытуучунун эң бактылуусу көрсөтө турган деңгээлден жогорубу?" DSR так ошону эсептейт: ал эталонду нөлдөн сыноолордун санынан келип чыккан шум чегине чейин көтөрөт да, чыныгы Шарптын ошол чектен ашуу ыктымалдыгын кайтарат.

ETHUSDT жеңүүчүсүнүн үлгүдөн тышкаркы натыйжасы болжол менен 0.19 күндүк Шарпка туура келет. Өзүнчө алганда, узун терезедеги 0.19 күндүк SR — толук сыйга татырлык сан. Бирок ~37,000 сыноого каршы дефляцияланганда ал буу болуп учуп кетет:

$\text{DSR}\big(\hat{SR}=0.19\,\text{daily},\; N\approx 37{,}000\big) = \mathbf{0.00}$

Нөл. "Чектеш" эмес, "0.4, көз салып тур" да эмес. DSR мындай дейт: биз канчалык катуу издегенибизди эске алганда, 0.19 күндүк Шарп таза шумдун эң мыкты тартуусунан айырмаланбайт. Үлгүдөн тышкаркы +16.35% жана холдауттагы +2.62% — бул тест ажырата алган тактыкта — эч кандай артыкчылыгы жок, жөн гана 37,000 билеттүү лотереяны уткан стратегияга толук дал келет.

Бир назик жагдайды белгилей кетүү керек, анткени дефляцияны ашыра баалагыбыз келбейт: параметрлер торундагы коңшу чекиттер дээрлик бири-биринин көчүрмөсү, ошондуктан сыноолордун чийки саны көз карандысыз кароолордун санын ашыра эсептейт. Биздин гейт (босого-текшерүү) сыноолордун эффективдүү санын колдонот — дефляциядан мурун сыноолор кирешелердин корреляциясы боюнча ONC (López de Prado & Lewis) аркылуу кластерлерге топтолот — так ушул себептен биз реалдуу артыкчылыкты жөн эле эсеп-кысап себебинен четке какпайбыз. Ошол түзөтүү киргизилген күндө да ETHUSDT жеңүүчүсү аман калбайт. Натыйжа DSR 0.00 деп окулганда, эффективдүү-N назиктиги аны куткара албайт; ал шумдун ичинде терең жатат.

Ушул жерде бүтсө да болмок. Бир символ, бир издөө, нөлгө чейин дефляцияланды. Бирок DSR-дин бир гана символдо кулашы, чечкиндүү оптимизатор ар дайым кысылып өткүсү келген тешик калтырат: балким ETHUSDT жөн эле оор символдур, ал эми конфигурация башка жерде чын эле иштейттир. Ошол тешикти жабуу үчүн тесттин огун өзгөртүү керек.

3-акт — Чечүүчү сынак: туруктуулук инструменттер аралык текшерилет

Бир символдук издөөнүн, ал башка жагынан канчалык кемчиликсиз болбосун, структуралык алсыздыгы бар: анын жалгыз үлгүдөн тышкаркы огу — убакыт. Ал конфигурациянын ETHUSDT-нин кийинки терезесинде кармалып турганын айта алат — бирок конфигурация рыноктор жөнүндө бир нерсе үйрөндүбү же так ETHUSDT жөнүндөбү, айта албайт. Бир инструментке оверфиттинг ошол инструменттен эч чыкпаган тестке көрүнбөйт.

Ошондуктан биз максат функциясын өзгөрттүк. "ETHUSDT-де үлгүдөн тышкары эң мыкты" дегендин ордуна инструменттер аралык аңчылык универсалдарды издейт: көп символдо бир убакта жакшы иштеген конфигурацияларды. Протокол:

• Беш ликвиддүү ири монета: ETHUSDT, BTCUSDT, SOLUSDT, BNBUSDT, XRPUSDT — ар биринде болжол менен 1.18 миллион 1 мүнөттүк бар, бир жалпы календардык терезе, бир жалпы бөлүштүрүү топтому (жылытуу → K үлгү ичиндеги фолд → тест → тийбеген холдаут).
• Туруктуу максат функциясы: ар бир конфигурацияга ар бир символдун walk-forward натыйжасы боюнча баа берилет, андан кийин символдор боюнча медиана менен ранжирленет. Медиана — маселенин өзөгү: бир монетада укмуштуудай, төртөөндө үрөй учурарлык конфигурация жалгыз четтеп кеткен натыйжа менен өтүп кете албайт. Тандалыш үчүн ал алардын көпчүлүгүндө жок дегенде ортозаар болушу керек.
• Гейттер үчүн портфелдик киреше матрицасы: ар бир сыноонун күндүк кирешеси — беш символ боюнча бирдей салмактагы портфель (ар бирине капиталдын 1/S бөлүгү), мындан DSR жана PBO-CSCV гейттери керектеген T×N натыйжалуулук матрицасы келип чыгат.
• Холдаутка бир гана жолу тийишет — ага ар бир режимдин туруктуу чемпиону гана барат.

Бул бир символдук тестке караганда так эле оорураак сынак, жана бул атайылап кылынган. Конфигурация ETHUSDT издөөсүн бир монетанын өзгөчөлүгүн пайдаланып ута алат; бештин медианасы боюнча издөөнү андай жол менен ута албайт. Эгер бул стратегиялар үй-бүлөсүндө туруктуу артыкчылык бар болсо, аны так ушул түзүлүш табат. Эгер жок болсо, так ушул түзүлүш аны тартынбай айтат.

4-акт — Өкүм: эки режим тең гейттерден өтпөйт

Биз инструменттер аралык аңчылыкты эки конфигурацияда тең жүргүзүп, ар бир туруктуу чемпионду гейттерден өткөрдүк. Гейттер стандарттуу экөө: DSR ≥ 0.95 (сыноолордун эффективдүү санына каршы дефляцияланган) жана PBO ≤ 0.2 (натыйжалуулук матрицасынын үстүнөн CSCV аркылуу). Мына толук өкүм, чынчылдык менен:

Экөө тең кулады, эки гейт тең, эки режим тең. Ар бир санды мурунку макалалар орноткон калибрлөө менен окугула, анткени эки гейт ар башка нерсени айтып жатат жана алар бири-бирине дал келет:

• DSR 0.24 (кош), 0.14 (үч). DSR — чыныгы Шарптын издөөдөн келип чыккан шум чегинен ашуу ыктымалдыгы. Бизге 0.95 керек. Биз 0.24 жана 0.14 алдык — канча конфигурация сыналганын эске алганда, артыкчылыктын жок дегенде оң болуу мүмкүнчүлүгү араң төрттөн бир жана жетиден бир. Үчүнчү таймфреймди кошуу абалды жакшыртпастан, начарлатты: параметр көбүрөөк, үлгүгө ыңгайлашуунун жолу көбүрөөк, жалпылана турганы азыраак. Ошол тескери байланыштын өзү — оверфиттингдин манжа изи.

• PBO 0.264 (кош), 0.327 (үч). PBO жөнүндө баары туура эмес окуган бир фактыны эстегиле (толук талдоо бул жерде): анын нөлдүк гипотезасы 0.5, 1 эмес. PBO — үлгү ичиндеги жеңүүчүнүн үлгүдөн тышкары төмөнкү жарымга түшүп калуу ыктымалдыгы. Ишенимдүү тандоо нөлгө жакын турат; таза тыйын ыргытуу 0.5 деңгээлинде турат. Биздин 0.264 жана 0.327 — 0.5тен төмөн, демек тандоо сөзмө-сөз тыйын ыргытуу эмес, сигналдын алсыз шыбыры бар — бирок экөө тең тандоону ишенимдүү деп атоо үчүн талап кылган 0.2 босогосунан кыйла жогору. Жана дагы бир жолу үч таймфрейм (0.327) кош таймфреймге (0.264) караганда тыйын-ыргытуу сызыгына жакыныраак: татаалдык көбүрөөк, жалпылоо азыраак.

Бул эки аспап ортогоналдуу — DSR параметрдик жана жеңүүчүгө баа берет, PBO параметрдик эмес жана процедурага баа берет — жана алар карама-каршы багыттардан бир эле жоопко келишет. Бул таблицаны кайсы жагынан окубагыла, эки стратегиянын бири да босогодон өтпөйт. Ушул бүт аңчылыкты баштаган +16.35% көрсөткүчүнүн туруктуу инструменттер аралык тууганы жок. Ал бир монетанын жана бир издөөнүн касиети болчу.

5-акт — Чемпионду символ боюнча чечмелейбиз

Жалпыланган гейттер стратегиянын кулаганын айтат; символ боюнча ажыратуу кантип кулаганын көрсөтөт, жана ошол "кантип" — бүт изилдөөнүн эң таалимдүү бөлүгү. Үч таймфреймдүү чемпионду — бештин медианасы боюнча максат функциясы чын эле таажы кийгизген конфигурацияны — алып, анын ар бир символдун үлгүдөн тышкаркы тест терезесинде эмне кылганын карагыла:

Мына бүт иллюзия, беш сапта жылаңачталып турат. Чемпион беш символдун так бирөөндө гана кирешелүү — SOLUSDT, көзгө урунган +14.74% менен — жана калган төртөөндө терс. Бул кокусунан алсыз чыккан универсал эмес. Бул — портфелдин кийимин кийген SOL адиси. Бүт жумушту жалгыз чоң оң натыйжа аткарып жатат; медианалык максат функциясы аны чийки ETHUSDT жеңүүчүсүнөн төмөн түшүргөн, анткени медиана жалгыз четтеп кеткен натыйжага алданбайт, бирок медиана тандаган чемпион да, чечмелеп көрсөң, дээрлик толугу менен бир монетага таянып турганы чыгат.

Холдаут — эч кимге ага каршы оптималдаштырууга уруксат берилбеген терезе — ошол эле окуяны мүмкүн болушунча эң таза бийиктиктен айтып берет: беш ири монета боюнча чемпиондун холдаут кирешеси 5 символдун 1инде гана оң. Эгер бул стратегиялар үй-бүлөсүндөгү реалдуу артыкчылык болсо, ал жок дегенде алсыз болсо да бирден ашык инструменттин тийбеген маалыматында көрүнмөк. Ал бирөөндө көрүнөт. Бул — рынокту эмес, символду үйрөнгөн конфигурациянын кол тамгасы.

Мына ошондуктан инструменттер аралык ок жөн гана "болсо жакшы" нерсе эмес, чечүүчү сынак болду. Бир символдук DSR ансыз да ETHUSDT-ни нөлгө чейин дефляциялаган. Бирок кулоону диагноздоо үчүн бештин медианасы боюнча дизайн керек болду — көрүнгөн артыкчылык башынан эле инструменттер боюнча таралбаганын, издөө ошол жолу кайсы монетага оверфиттелип калса, ал ошонун касиети болгонун көрсөтүү үчүн. ETHUSDT-де ал ETHUSDT-ники болчу; медианалык аңчылыкта ал SOLUSDT-ге көчүп кетти. Артыкчылык жылып жүрдү. Реалдуу артыкчылыктар мындай жылбайт.

Эмне үчүн терс натыйжа — туура натыйжа

Биз эмнени ырастап жатканыбызды жана эмнени ырастабай жатканыбызды ачык айтуу керек, анткени "биз артыкчылык тапкан жокпуз" дегенди жасалма момундук же жөндөмсүздүктү мойнуна алуу деп жаңылыш окуу оңой. Ал экөө тең эмес.

Биз HMA кесилиштери эч качан иштебейт, же бул беш монета алдын ала айтылгыс, же кош/үч таймфреймдүү стратегия такыр жок деп ырастабайбыз. Биз тарыраак жана алда канча күчтүү нерсени ырастайбыз: ушул стратегиялар үй-бүлөсүнүн ичинде, ушул маалыматта, ушул издөө интенсивдүүлүгүндө, көрүнгөн натыйжалуулугу биз сынаган нерселердин санына түзөтүүдөн аман кала турган бир да конфигурация жок. Артыкчылыктай көрүнгөндүн баары шумдун эң мыктысынын ишеним тилкесинин ичинде. Бул так, төгүндөлө турган, корголо турган билдирүү — жана жарыялоого туура келгени так ушул.

Механизм жеңген азгырык эбегейсиз чоң, жана анын башка ар бир тармакта аты бар: "суурма" көйгөйү (file-drawer problem). Терс натыйжалар көмүлөт; оң натыйжалар макала болуп жазылат. Трейдингде түрткү андан да курч, анткени дефляциялай албай калган оң натыйжаң — жөн эле начар макала эмес, ал шумга каршы жайгаштырылган капитал: сигнал деп жаңылып ойлогон лотерея билетин соодалоо үчүн реалдуу комиссия төлөгөн реалдуу акча. Look-ahead макаласы агып кетүү Шарпты 15ке чейин жасалма кура аларын көрсөттү; DSR макаласы издөө эч кандай агып кетүүсүз эле таза шумдан 1.63 Шарп жасаганын көрсөттү. Бул макала — ошол аспаптарды өзүңдүн эң сүйүктүү идеяңа багыттап, чынчыл болууну сураганда кандай болорун көрсөтөт. Аппарат — DSR, PBO/CSCV, эффективдүү-N кластерлөө, инструменттер аралык тандоо — стратегияларыңа бата берүү үчүн жашабайт. Ал шумдун эң мыктысын альфа катары ишке чыгарып жиберүүдөн токтотуу үчүн жашайт, жана анын иштегенинин жалгыз далили — кээде "жок" деп айтканы.

Мындай аппараты жок команда +16.35% натыйжасын ишке чыгармак. Аларда таза көрүнгөн walk-forward, оң холдаут, табылбаган look-ahead агып кетүү жана ишенимдүү окуя болмок. Алар жаңылмак, жана муну live P&L ажырай баштаганга чейин билмек эмес — терс-бирок-чынчыл натыйжа эч качан түшүндүрбөй турган бэктест менен live ортосундагы ажырым, анткени ал эч качан live соодага чыккан эмес. Катуу айтылган жоктун баасы силер эч качан башыңардан өткөрбөгөн жоготуулар (drawdown) менен өлчөнөт.

Булактар (Provenance)

Бул макаладагы ар бир сан баянга эмес, кодго барып такалат. Инструменттер аралык артыкчылык аңчылыгы — беш символду жүктөө, жалпы бөлүштүрүүлөр, символдор боюнча медиана максат функциясы, гейттерге берилген бирдей салмактагы портфелдик матрица — backtester репозиторийиндеги scripts/edge_hunt_multitf.py файлында жашайт (коммит acd84e8). Ал чакырган статистикалык гейттер — ыктымалдык жана дефляцияланган Шарп, минималдуу трек-рекорд узундугу, ONC кластерлөө аркылуу эффективдүү-N жана CSCV аркылуу PBO, баары кара-куту китепканага эмес, баштапкы булактарга таянып NumPy/SciPy үстүндө нөлдөн жазылган — scripts/overfit_gates.py файлында (коммит 7b966e1); аны менен кошо өзүн-өзү текшерүү тести келет: ал таза шумга белгилүү артыкчылык отургузуп, гейттер аны өткөрүп, шумду четке кагарын ырастайт. Азгырган +16.35% натыйжасын чыгарган бир символдук ETHUSDT изилдөөсү мурунку bench_search_multitf аппаратынан келген, аңчылык аны окуу-үчүн-гана импорттойт. Бул жерде кол менен эсептелген бир да сан жок; жооп "ооба" болобу же "жок" болобу, гейттер бир эле код жолу.

Корутундулар

1. Биз беш ири монета боюнча, кош жана үч таймфреймде он миңдеген бэктест жүргүзүп, туруктуу артыкчылык тапкан жокпуз — жана механизм так ушул натыйжаны чыгаруу үчүн курулган. Катуу далилденген терс натыйжа — ийгиликсиздик эмес, табылга.
2. Таза көрүнгөн үлгүдөн тышкаркы сан — артыкчылык эмес. ETHUSDT жеңүүчүсү үлгүдөн тышкары +16.35% жана тийбеген холдаутта +2.62% көрсөттү, look-ahead агып кетүүсүз — бирок артындагы ~37,000 сыноону санаганда DSR 0.00 болуп дефляцияланды. Үлгүдөн тышкаркы текшерүү look-ahead катасынан коргойт; тандоо эффектинен бир гана дефляция коргойт.
3. Себеби — Жалган стратегия теоремасы. ~30,000 сыноодо таза шумдун эң мыктысы жалаң тандоонун эсебинен нөлдөн болжол менен төрт сигма жогору турат. 0.19 күндүк Шарп — так ошол лотерея төлөгөн сумма. Жеңүүчүңдү эч качан нөл менен эмес, шум чеги менен салыштырышың керек.
4. Туруктуулук убакыт боюнча гана эмес, инструменттер боюнча да текшерилет. Беш символдун медианасы боюнча тандоо бир монеталык иллюзияны диагноз коюлчу иллюзияга айландырды: кош DSR 0.24 / PBO 0.264, үч DSR 0.14 / PBO 0.327 — экөө тең эки гейттен тең өтпөйт, жана үч таймфрейм (параметри көбүрөөк) ар бир метрика боюнча коштон начар.
5. Чемпионго ишенгенден мурун аны чечмелеп чык. Үч таймфреймдүү "портфелдик" чемпион 5 символдун 1инде кирешелүү болду (SOL +14.74%; ETH −0.39%, BTC −0.38%, BNB −8.58%, XRP −4.13%) жана холдаутта да 5тин 1инде гана оң. Бир инструментте жашаган жана кайра издегенде жылып кеткен артыкчылык — артыкчылык эмес, ал портфелдин кийимин кийген оверфиттинг.
6. Терс натыйжаны жарыяла. Оверфиттингге каршы аппарат — DSR, PBO/CSCV, эффективдүү-N, инструменттер аралык тандоо — так ошондуктан баалуу: ал кээде сага жок дейт, ал эми дисциплина — ал айтканда угуу.

Биз эң иштешин каалаган стратегия иштеген жок. Муну кармоо үчүн курган аспаптарыбыз бизге муну төрт көз карандысыз жол менен, бир дагы доллар тобокелге коюлганга чейин айтты. Сериянын бүт маңызы ушунда, жана бул — ошол маңыз акчага айланган макала: механизм өз наркын сени мактаган күнү эмес, сени токтоткон күнү актайт.