Адал теріс нәтиже: ондаған мың бэктест, бес мажор, робастты эдж жоқ

"Иллюзиясыз бэктестер" сериясының бөлігі.

Біз қаламаған нәтиже

Бұл серия бірнеше мақала бойы өтірікті ұстайтын құралдар жасаумен өтті: бір барлық ағып кетуден Шарп коэффициентін 15-ке дейін жасап шығаратын look-ahead қателігі, іздеу жеңімпазына баға беретін Дефляцияланған Шарп коэффициенті, іздеудің өзіне баға беретін бэктест оверфиттингінің ықтималдығы. Сол бөліктердің әрқайсысы белгілі бір мағынада репетиция ғана еді. Ал бұл мақала — қойылымның өзі: біз бүкіл аппаратты өзіміз шынымен саудалағымыз келген нақты стратегиялар тобына бағыттаймыз да, оған өзі шығаруға арналған үкімді шығаруға мүмкіндік береміз — тіпті ол үкім жоқ болса да.

Адал қорытындыны бірден айтайық. Біз робастты эдж (тұрақты нарықтық артықшылық) іздеп, бес ірі монета (мажор) бойынша, қос және үш таймфреймді конфигурацияларда ондаған мың бэктест жүргіздік. Біз оны таппадық. "Кішкентай эдж тауып, позицияны азайттық" емес. Біз осы механизммен байланысқа шыдайтын ештеңе таппадық — бір мезгілде барлық инструментте пайдалы әрі көп мәрте тестілеу түзетуіне төтеп бере алатын бірде-бір конфигурация жоқ. Бұл эксперименттің сәтсіздігі емес. Бұл — эксперименттің дәл сәтті шыққаны.

Ең азғырғыш тұсы — құралдары нашарлау команданы капитал бөлуге итермелейтін тұсы — аңғал көзбен қарағанда нәтиже шынымен жақсы көрінгені:

Жоғарғы жолды біз алғаш оқығандай оқып көріңіз: жылжымалы орташалардың қиылысуына негізделген, ETHUSDT-де қос таймфреймді тор бойынша бапталған стратегия іздеу барысында мүлде көрмеген деректерде +16.35% көрсетіп, біз толығымен қоршап тастаған екінші терезеде оң +2.62% ұстап тұр. Осы жерде тоқтасаңыз — ал жарияланған бэктестердің көбі дәл осы жерде тоқтайды — сіз оны саудаға жібересіз. Мақаланың қалған бөлігі — бізге олай істемеуді айтқан механизм туралы және оның неге дұрыс болғаны туралы.

1-акт — Азғырғыш жеңімпаз

Стратегиялар тобы әдейі қарапайым таңдалды: Халл жылжымалы орташасының (HMA) қиылысуы, жабылған барларда бағаланады, орындаудың адал моделімен (i барының жабылуында шешім қабылдап, i+1 барының ашылуында орындау — бұл серия ешқашан бас тартпайтын бір бар тәртібі). "Қос таймфрейм" дегеніміз — сигналды баяуырақ таймфреймнің тренді сүзгіден өткізеді; "үш таймфрейм" одан да баяу үшіншісін қосады. Әр таймфрейм еркін параметрлер қосады, ал іздеудің жалған өнімділікке айналдыратыны — дәл сол еркін параметрлер.

Бір символды зерттеу ETHUSDT-де жүргізілді. Протокол әуел бастан дұрыс түрде құрылған еді: жылжымалы walk-forward бөлінісі (жылыну терезесі, іріктеме ішіндегі бірнеше фолд, іріктемеден тыс (out-of-sample) тест терезесі), оған қоса іздеуге ең соңына дейін қол тигізуге тыйым салынған қорытынды холдаут терезесі. Параметрлер кеңістігін Sobol/QMC іздеуі зерттеді; аман қалғаны — ең жақсы walk-forward ұпайына ие конфигурация, және ол холдаутқа бір рет — дәл бір рет — шығарылды.

Аман қалған конфигурация эджге ұқсайтын:

• Іріктемеден тыс тест терезесінде +16.35% — бұл деректер конфигурацияларды тек бағалауға пайдаланылды, оларды баптауға ешқашан пайдаланылған жоқ.
• Қол тигізілмеген холдаутта +2.62% — екінші қабырға да алынды.

Зерттеу процесінің адал ма, әлде жай көрініс пе екенін шешетін сәт — дәл осы. Іріктемеден тыс пайда тар мағынада шынайы: сандар ойдан шығарылмаған және look-ahead ағып кетуі жоқ — біз тексердік. Бірақ "сандар шын, ағып кету жоқ" деген талап "шын эдж" дегеннен әлдеқайда төмен жатыр. Екеуінің арасында осы бүкіл серия арналған нәрсе тұр: селекция. Біз бір стратегияны бағалап, оның 16% тапқанын көргеніміз жоқ. Біз орасан көп стратегияны бағалап, солардың ең жақсысының 16%-ын хабарладық. Іріктемеден тыс терезе look-ahead тұрғысынан таза болды, бірақ селекциядан таза емес еді — өйткені жеңімпазды ішінара оның дәл сол терезедегі нәтижесіне қарап таңдадық. Бұл екі оқиғаны бір-бірінен ажырата алатын жалғыз құрал — біздің қанша рет қарағанымызды білетін құрал.

2-акт — Дефляция: ~37,000 сынақ, DSR = 0.00

Қарауларды санайық. Фолдтар, таймфрейм комбинациялары және параметрлер торы бойынша қос таймфреймді іздеу шамамен 37,000 түрлі конфигурацияны бағалады. Олардың әрқайсысы — стратегиялар кеңістігінен алынған бір жеребе, ал іздеу максимумды сақтап қалды. Толық қорытылым Дефляцияланған Шарп коэффициенті туралы мақалада бар, бірақ бұл жерде керек жалғыз факт — Жалған стратегия теоремасы (False Strategy Theorem, Bailey & López de Prado): шын эджі нөл болатын N стратегияның күтілетін максималды Шарпы N-мен бірге өседі. N ≈ 30,000 болғанда таза шудың ең жақсысы тек селекцияның арқасында ғана нөлден шамамен төрт стандартты ауытқу жоғары тұрады. Төрт сигма жаңалық ашылғандай көрінеді. Шын мәнінде ол — іздеудің көлеңкесі.

Сондықтан дұрыс сұрақ "жеңімпаздың Шарпы оң ба?" емес — әрине оң, сіз максимумды таңдадыңыз. Дұрыс сұрақ: "жеңімпаздың Шарпы 37,000 тиын лақтырушының ең жолдысы көрсететін деңгейден асып тұр ма?" DSR дәл осыны есептейді: ол эталонды нөлден сынақ саны білдіретін шу төбесіне дейін көтереді де, шын Шарптың дәл сол деңгейден асу ықтималдығын хабарлайды.

ETHUSDT жеңімпазының іріктемеден тыс нәтижесі шамамен 0.19 күндік Шарпқа сәйкес келеді. Өз бетінше алғанда ұзақ терезедегі 0.19 күндік SR — әбден лайықты көрсеткіш. Ал ~37,000 сынаққа қарсы дефляцияланғанда ол буланып кетеді:

$\text{DSR}\big(\hat{SR}=0.19\,\text{daily},\; N\approx 37{,}000\big) = \mathbf{0.00}$

Нөл. "Шекаралық" емес, "0.4, бақылап отырыңыз" да емес. DSR былай дейді: біздің қаншалықты қарқынды іздегенімізді ескергенде, 0.19 күндік Шарп таза шудың ең жақсы жеребесінен ажыратылмайды. Іріктемеден тыс +16.35% пен холдауттағы +2.62% — осы тест ажырата алатын дәлдік шегінде — эджі мүлде жоқ, жай ғана 37,000 билеті бар лотереяны ұтып алған стратегиямен толық үйлеседі.

Атап өткен жөн бір нәзік тұс бар, өйткені дефляцияны асыра сілтегіміз келмейді: параметрлер торындағы көрші нүктелер — дерлік көшірмелер, сондықтан сынақтардың шикі саны тәуелсіз қарауларды артық санайды. Біздің гейт сынақтардың эффективті санын пайдаланады — дефляциялаудан бұрын сынақтар кірістілік корреляциясы бойынша ONC әдісімен (López de Prado & Lewis) кластерленеді — дәл осының арқасында біз шын эджді жай есеп жүргізу себебінен қабылдамай тастамаймыз. Тіпті осы түзетуді қосқанда да ETHUSDT жеңімпазы аман қалмайды. Нәтиже DSR 0.00 деп тұрса, эффективті N нюансы оны құтқара алмайды; ол шудың терең ішінде жатыр.

Осымен аяқталуы да мүмкін еді. Бір символ, бір іздеу, нөлге дейін дефляцияланды. Бірақ DSR-дің жалғыз символда өтпеуі табанды оптимизатор әрқашан сығылып өтуге тырысатын саңылау қалдырады: мүмкін ETHUSDT жай ғана қиын символ шығар, ал конфигурация басқа жерде шын шығар. Ол саңылауды жабу үшін тесттің осін өзгерту керек.

3-акт — Шешуші тест: робасттылық инструменттер арасында өлшенеді

Бір символды іздеудің, басқа жағынан мінсіз болса да, құрылымдық әлсіздігі бар: оның іріктемеден тыс жалғыз осі — уақыт. Ол конфигурацияның ETHUSDT-нің кейінгі терезесінде ұсталып тұрғанын айта алады — бірақ конфигурация нарықтар туралы бірдеңе үйренді ме, әлде нақты ETHUSDT туралы ма — оны айта алмайды. Бір инструментке оверфиттинг сол инструменттен ешқашан шықпайтын тестке көрінбейді.

Сондықтан біз мақсатты функцияны өзгерттік. "ETHUSDT-де іріктемеден тыс ең жақсы" дегеннің орнына кросс-инструменттік іздеу әмбебаптарды (генералистерді) іздейді: көп символда бір мезгілде жақсы болатын конфигурацияларды. Протокол мынадай:

• Бес өтімді мажор: ETHUSDT, BTCUSDT, SOLUSDT, BNBUSDT, XRPUSDT — әрқайсысында шамамен 1.18 миллион 1 минуттық бар, бір ортақ күнтізбелік терезе, бір ортақ бөліністер жиыны (жылыну → іріктеме ішіндегі K фолд → тест → қол тигізілмеген холдаут).
• Робастты мақсатты функция: әр конфигурацияны әр символдың walk-forward нәтижесі бойынша бағалап, содан кейін символдар арасындағы медиана бойынша сұрыптау. Медиана — мәселенің өзегі: бір монетада керемет, ал төртеуінде нашар конфигурация жалғыз шектен шыққан нәтижемен жол сатып ала алмайды. Таңдалу үшін ол көпшілігінде кем дегенде орташа болуы керек.
• Гейттерге арналған портфельдік кірістілік матрицасы: әр сынақтың күндік кірістілігі — бес символ бойынша тең салмақты портфель (әрқайсысына капиталдың 1/S бөлігі); бұл DSR және PBO-CSCV гейттері тұтынатын T×N өнімділік матрицасын береді.
• Холдаутқа бір-ақ рет қол тигізіледі — оны да тек әр режимнің робастты чемпионы ғана.

Бұл бір символды тестке қарағанда қатаң түрде қиынырақ тест, әрі әдейі солай жасалған. Конфигурация ETHUSDT іздеуін бір монетаның жеке қылығын пайдаланып ұтып алуы мүмкін; бесеу-арасындағы-медиана іздеуін олай ұта алмайды. Егер бұл стратегиялар тобында робастты эдж бар болса, оны табатын қондырғы — осы. Егер жоқ болса, мұны бұлтақсыз айтатын қондырғы да — осы.

4-акт — Үкім: екі режим де гейттерден өтпейді

Біз кросс-инструменттік іздеуді екі конфигурацияда да жүргізіп, әр робастты чемпионды гейттер арқылы тексердік. Гейттер — стандартты екеу: DSR ≥ 0.95 (сынақтардың эффективті санына қарсы дефляцияланған) және PBO ≤ 0.2 (өнімділік матрицасы бойынша CSCV-ден). Міне, бүкіл үкім, адал түрде:

Екеуі де өтпеді — екі гейттен де, екі режимде де. Әр санды алдыңғы мақалалар орнатқан калибрлеумен оқыңыз, өйткені екі гейт әртүрлі нәрсе айтып тұрса да, бір-бірімен келіседі:

• DSR 0.24 (қос), 0.14 (үш). DSR — шын Шарптың іздеу білдіретін шу төбесінен асу ықтималдығы. Бізге 0.95 керек. Біз 0.24 пен 0.14 алдық — қанша конфигурация сыналғанын ескергенде, эдждің тіпті оң болу мүмкіндігі әрең дегенде төрттен бір және жетіден бір. Үшінші таймфреймді қосу жағдайды жақсартқан жоқ, нашарлатты: параметр көбірек, іріктемеге бапталу жолы көбірек, жалпыланып қалатыны азырақ. Осы инверсияның өзі — оверфиттингтің саусақ ізі.

• PBO 0.264 (қос), 0.327 (үш). PBO туралы барлығы қате оқитын бір фактіні еске түсірейік (толық талдау мұнда): оның нөлдік деңгейі — 0.5, 1 емес. PBO — іріктеме ішіндегі жеңімпаздың іріктемеден тыс төменгі жартыға түсу ықтималдығы. Сенімді селекция 0-ге жақын тұрады; таза тиын лақтыру 0.5-те тұрады. Біздің 0.264 пен 0.327 0.5-тен төмен — селекция сөзбе-сөз тиын лақтыру емес, сигналдың әлсіз сыбыры бар — бірақ екеуі де селекцияны сенімді деп атау үшін біз талап ететін 0.2-ден едәуір жоғары. Және тағы да үш таймфрейм (0.327) тиын-лақтыру сызығына қос таймфреймнен (0.264) жақынырақ: күрделілік көбірек, жалпылау азырақ.

Бұл екі құрал ортогоналды — DSR параметрлік және жеңімпазға баға береді, PBO параметрлік емес және процедураға баға береді — және олар қарама-қарсы бағыттардан бір жауапқа тоғысады. Бұл кестені қалай оқысаңыз да, екі стратегияның бірде-бірі кедергіден өтпейді. Осы бүкіл іздеуді бастаған +16.35%-дың робастты кросс-инструменттік туысы жоқ. Ол бір монетаның және бір іздеудің қасиеті болды.

5-акт — Чемпионның ізімен, символ бойынша

Жиынтық гейттер стратегияның өтпей қалғанын айтады; символ бойынша талдау оның қалай өтпей қалғанын көрсетеді, және дәл сол "қалай" — бүкіл зерттеудің ең тағылымды бөлігі. Үш таймфреймді чемпионды — бесеу-арасындағы-медиана мақсатты функциясы нақты тәж кигізген конфигурацияны — алып, оның әр символдың іріктемеден тыс тест терезесінде не істегеніне қараңыз:

Міне, бүкіл иллюзия бес жолда жалаңаштанып тұр. Чемпион бес символдың дәл біреуінде ғана пайдалы — SOLUSDT, көз тартатын +14.74% — және қалған төртеуінде теріс. Бұл кездейсоқ әлсіз болып шыққан әмбебап емес. Бұл — портфельдің киімін киген SOL маманы. Барлық жұмысты сол бір үлкен оң нәтиже атқарып тұр; медианалық мақсатты функция оны шикі ETHUSDT жеңімпазынан төмен түсірді, өйткені медиана жалғыз шектен шыққан мәнге алданудан бас тартады — бірақ тіпті медианамен таңдалған чемпионның өзі, ашып қарасаңыз, дерлік толығымен бір монетаға сүйенетін болып шығады.

Холдаут — ешкімге оған қарсы оптимизациялауға рұқсат етілмеген терезе — сол оқиғаны мүмкін болатын ең таза тұрғыдан айтады: бес мажор бойынша чемпионның холдаут кірістілігі 5 символдың тек 1-інде ғана оң. Егер бұл стратегиялар тобындағы шын эдж болса, ол кем дегенде әлсіз түрде болса да бірден көп инструменттің қол тигізілмеген деректерінде көрінер еді. Ол біреуінде ғана көрінеді. Бұл — нарықты емес, символды үйреніп алған конфигурацияның қолтаңбасы.

Кросс-инструменттік остің жай "болса жақсы" қосымша емес, шешуші тест болғанының себебі осы. Бір символды DSR ETHUSDT-ні онсыз да нөлге дейін дефляциялап қойған. Бірақ сәтсіздікке диагноз қою үшін бесеу-арасындағы-медиана дизайны қажет болды — көрінген эдж әуел бастан инструменттер арасында таралмағанын, оның іздеу сол жүгірісте кездейсоқ оверфиттеп алған монетаның қасиеті ғана екенін көрсету үшін. ETHUSDT-де ол ETHUSDT-нікі еді; медианалық іздеуде ол SOLUSDT-ге көшті. Эдж қозғалды. Шын эдждер олай қозғалмайды.

Неге теріс нәтиже — дұрыс нәтиже

Нені мәлімдеп, нені мәлімдемей отырғанымызды ашық айтқан жөн, өйткені "біз эдж таппадық" дегенді жалған қарапайымдылық немесе біліксіздікті мойындау деп қате оқу оңай. Ол екеуі де емес.

Біз HMA қиылысулары ешқашан жұмыс істемейді деп те, бұл бес монета болжауға келмейді деп те, қос/үш таймфреймді стратегия атымен жоқ деп те мәлімдеп отырған жоқпыз. Біз тар әрі әлдеқайда күшті нәрсені мәлімдеп отырмыз: осы стратегиялар тобының ішінде, осы деректерде, осы іздеу қарқындылығында, көрінген өнімділігі біздің қанша нәрсе сынағанымызға жасалған түзетуден аман қалатын бірде-бір конфигурация жоқ. Эджге ұқсаған нәрсенің бәрі шудың ең жақсысының сенім жолағының ішінде жатыр. Бұл — нақты, теріске шығаруға болатын, қорғауға келетін тұжырым — және жариялауға дұрысы да осы.

Механизм жеңетін азғыру орасан зор, және оның басқа салалардың бәрінде аты бар: "үстел жәшігі" мәселесі (file-drawer problem). Теріс нәтижелер көміледі; оң нәтижелер жазылып жарияланады. Трейдингте ынталандыру одан да өткір, өйткені сіз дефляцияламай өткізіп алған оң нәтиже — жай ғана нашар мақала емес, ол шуға қарсы орналастырылған капитал, сигнал деп қателескен лотерея билетін саудалау үшін нақты комиссия төлеп жатқан нақты ақша. Look-ahead туралы мақала ағып кетудің Шарпты 15-ке дейін жасап шығарғанын көрсетті; DSR туралы мақала ешбір ағып кетусіз-ақ таза шудан іздеудің Шарпты 1.63-ке дейін жасап шығарғанын көрсетті. Бұл мақала — сол құралдарды өзіңіздің ең сүйікті идеяңызға бағыттап, адал болуын сұрағанда көретініңіз. Аппарат — DSR, PBO/CSCV, эффективті N кластерлеуі, кросс-инструменттік селекция — сіздің стратегияларыңызға бата беру үшін өмір сүрмейді. Ол шудың ең жақсысын альфа ретінде саудаға жіберуден сізді тоқтату үшін бар, және оның жұмыс істейтінінің жалғыз дәлелі — оның кейде "жоқ" дейтіні.

Мұндай аппараты жоқ команда +16.35%-ды саудаға жіберер еді. Оларда таза көрінетін walk-forward, оң холдаут, анықталатын look-ahead ағып кетуі жоқ және сенімді әңгіме болар еді. Олар қателескен болар еді және мұны нақты сауданың P&L-і алшақтай бастағанша білмес еді — теріс-бірақ-адал нәтиже ешқашан түсіндіруге мәжбүр болмайтын бэктест пен нақты сауда арасындағы алшақтық, өйткені ол нақты саудаға ешқашан шыққан жоқ. Қатаң жоқ деген жауаптың құны сіз ешқашан бастан кешірмеген просадкалармен өлшенеді.

Дереккөз ізі

Бұл мақаладағы әр сан баяндауға емес, кодқа тіреледі. Кросс-инструменттік эдж іздеуі — бес символды жүктеу, ортақ бөліністер, символдар-арасындағы-медиана мақсатты функциясы, гейттерге берілетін тең салмақты портфель матрицасы — backtester репозиторийіндегі scripts/edge_hunt_multitf.py файлында (коммит acd84e8) жатыр. Ол шақыратын статистикалық гейттер — ықтималдық және дефляцияланған Шарп, трек-рекордтың минималды ұзындығы, ONC кластерлеуі арқылы эффективті N және CSCV арқылы PBO, барлығы қара жәшік кітапхана емес, бастапқы дереккөздерге сүйеніп NumPy/SciPy негізінде нөлден жазылған — scripts/overfit_gates.py файлында (коммит 7b966e1); оның ішінде таза шуға белгілі эдж отырғызып, гейттердің оны өткізіп, шуды қабылдамайтынын растайтын өзіндік тест бар. Азғырғыш +16.35% берген бір символды ETHUSDT зерттеуі бұрынғы bench_search_multitf жүйесінен шықты — іздеу оны тек оқу режимінде импорттайды. Мұнда қолмен есептелген бірде-бір сан жоқ; жауап "иә" болсын, "жоқ" болсын, гейттер — сол бір код жолы.

Қорытындылар

1. Біз бес мажор бойынша, қос және үш таймфреймде ондаған мың бэктест жүргізіп, робастты эдж таппадық — және механизм дәл осы нәтижені шығаруға арналған. Қатаң түрде дәлелденген теріс нәтиже — сәтсіздік емес, ғылыми нәтиже.
2. Таза көрінетін іріктемеден тыс сан — эдж емес. ETHUSDT жеңімпазы іріктемеден тыс +16.35% және қол тигізілмеген холдаутта +2.62% көрсетті, look-ahead ағып кетуі жоқ — бірақ артында тұрған ~37,000 сынақты санағанда DSR 0.00-ге дейін дефляцияланды. Іріктемеден тыс тест look-ahead-тен тазартады; селекциядан тек дефляция ғана тазартады.
3. Себебі — Жалған стратегия теоремасы. ~30,000 сынақта таза шудың ең жақсысы тек селекцияның арқасында ғана нөлден шамамен төрт сигма жоғары тұрады. 0.19 күндік Шарп — дәл сол лотереяның төлейтіні. Жеңімпазыңызды ешқашан нөлмен емес, әрқашан шу төбесімен салыстыруыңыз керек.
4. Робасттылық тек уақыт бойынша ғана емес, инструменттер арасында өмір сүреді. Бес символ арасындағы медиана бойынша таңдау бір монеталық иллюзияны диагноз қоюға болатын иллюзияға айналдырды: қос DSR 0.24 / PBO 0.264, үш DSR 0.14 / PBO 0.327 — екеуі де екі гейттен де өтпейді, әрі үш таймфрейм (параметрі көбірек) барлық метрика бойынша қостан нашар.
5. Чемпионға сенбес бұрын оны ашып қараңыз. Үш таймфреймді "портфельдік" чемпион 5 символдың 1-інде пайдалы болды (SOL +14.74%; ETH −0.39%, BTC −0.38%, BNB −8.58%, XRP −4.13%) және холдаутта тек 5-тің 1-інде оң болды. Бір инструментте өмір сүретін және қайта іздегенде орын ауыстыратын эдж — эдж емес, ол — портфельдің киімін киген оверфит.
6. Теріс нәтижені жариялаңыз. Анти-оверфит аппараты — DSR, PBO/CSCV, эффективті N, кросс-инструменттік селекция — дәл кейде сізге жоқ дейтіні үшін құнды, ал тәртіп — ол айтқанда тыңдай білу.

Біз жұмыс істегенін ең қатты қалаған стратегия жұмыс істемеді. Дәл осыны ұстау үшін жасаған құралдарымыз мұны бізге төрт тәуелсіз жолмен, бірде-бір доллар тәуекелге тігілмей тұрып айтты. Серияның бүкіл мәні осында, ал бұл — сол мәннің ақшаға айналатын мақаласы: механизм өз нанын сізді мақтаған күні емес, сізді тоқтатқан күні ақтайды.