النتيجة السلبية الصادقة: عشرات الآلاف من الـ Backtests، خمس عملات كبرى، ولا ميزة متينة

جزء من سلسلة "اختبارات رجعية بلا أوهام".

النتيجة التي لم نُردها

قضت هذه السلسلة عدة مقالات في بناء أدوات لالتقاط كذبة: الانحياز الاستشرافي (look-ahead bias) الذي يصنع Sharpe قدره 15 من تسرب بمقدار شمعة واحدة، والـ Deflated Sharpe Ratio الذي يُسعّر الفائز في عملية بحث، واحتمال الإفراط في توفيق الاختبار الرجعي (Probability of Backtest Overfitting) الذي يُسعّر عملية البحث نفسها. كان كل جزء من تلك الأجزاء، بمعنى ما، بروفة. وهذا المقال هو العرض الفعلي: نوجّه المنظومة بأكملها نحو عائلة استراتيجيات حقيقية أردنا فعلا تداولها، ونتركها تُصدر الحكم الذي بُنيت لإصداره — حتى حين يكون الحكم لا.

إليك النهاية الصادقة منذ البداية. أجرينا عشرات الآلاف من الـ backtests عبر خمس عملات كبرى، في تكوينات ثنائية وثلاثية الإطار الزمني، بحثا عن ميزة متينة. لم نجد أي ميزة. ليس "وجدنا ميزة صغيرة فقلّصنا حجم المركز". وجدنا لا شيء يصمد أمام احتكاكه بالآلة — لا يوجد أي تكوين مربح في آنٍ واحد عبر عدة أدوات وقابل للدفاع عنه بعد تصحيح الاختبارات المتعددة. هذا ليس فشلا للتجربة. هذا هو نجاح التجربة.

الجزء المُغري — الجزء الذي كان سيدفع فريقا أقل تجهيزا إلى تخصيص رأس المال — هو أن القراءة الساذجة بدت جيدة بحق:

اقرأ ذلك الصف العلوي كما قرأناه أول مرة: استراتيجية تقاطع متوسطات متحركة (moving-average crossover)، مضبوطة على ETHUSDT عبر شبكة ثنائية الإطار الزمني، تطبع +16.35% على بيانات لم ترها قط أثناء البحث، وتحافظ على +2.62% موجبة على نافذة ثانية عزلناها تماما. إذا توقفت عند هذا الحد — ومعظم الاختبارات الرجعية المنشورة تتوقف هناك — فإنك تشحنها. بقية هذا المقال هي الآلة التي أخبرتنا ألا نفعل، ولماذا كانت محقة.

الفصل الأول — الفائز المُغري

عائلة الاستراتيجية عادية عن قصد: تقاطع متوسط متحرك من نوع Hull (Hull-moving-average crossover)، يُقيَّم على شموع مغلقة، بنموذج تنفيذ صادق (اتخذ القرار عند إغلاق الشمعة i، ونفّذ عند فتح الشمعة i+1 — انضباط الشمعة الواحدة الذي لن تتنازل عنه هذه السلسلة). "ثنائي الإطار الزمني" يعني أن الإشارة مقيّدة باتجاه إطار زمني أبطأ؛ و"ثلاثي" يضيف إطارا ثالثا أبطأ منه. كل إطار زمني يضيف معاملات حرة، والمعاملات الحرة هي بالضبط ما يحوّله البحث إلى أداء ظاهري.

أُجريت دراسة الرمز الواحد على ETHUSDT. كان البروتوكول من النوع الجيد بالفعل: تقسيم walk-forward متدحرج (نافذة إحماء، وعدة طيّات داخل العينة (in-sample folds)، ونافذة اختبار خارج العينة)، بالإضافة إلى نافذة holdout نهائية مُنع البحث من لمسها حتى النهاية تماما. استكشف بحث Sobol/QMC فضاء المعاملات؛ وكان الناجي هو التكوين صاحب أفضل درجة walk-forward، ونُقل مرة واحدة — مرة واحدة بالضبط — إلى الـ holdout.

بدا الناجي وكأنه ميزة:

• +16.35% على نافذة الاختبار خارج العينة — بيانات استُخدمت فقط لـتقييم التكوينات، لا لـملاءمتها (fit) أبدا.
• +2.62% على الـ holdout الذي لم يُمس — جدار ثانٍ، تم تجاوزه.

هذه هي اللحظة التي تحدد ما إذا كانت عملية البحث صادقة أم مسرحية. الربح خارج العينة حقيقي بالمعنى الضيق بأن الأرقام غير ملفّقة ولا يوجد تسرب استشرافي (look-ahead) — لقد تحققنا. لكن "أرقام حقيقية، بلا تسرب" هو معيار أدنى بكثير من "ميزة حقيقية". بينهما يكمن الأمر الذي تدور حوله هذه السلسلة بأكملها: الاختيار (selection). لم نقيّم استراتيجية واحدة فوجدناها حققت 16%. بل قيّمنا عددا هائلا من الاستراتيجيات وأبلغنا عن 16% التي حققها أفضلها. كانت نافذة خارج العينة خالية من التسرب الاستشرافي، لكنها لم تكن خالية من الاختيار — لأننا اخترنا الفائز جزئيا بناء على أدائه هناك. الأداة الوحيدة القادرة على التمييز بين هاتين الروايتين هي أداة تعرف كم مرة نظرنا.

الفصل الثاني — التقليص: ~37,000 محاولة، DSR = 0.00

احسب عدد النظرات. عبر الطيّات، وتوليفات الأطر الزمنية، وشبكة المعاملات، قيّم البحث ثنائي الإطار الزمني ما يقارب 37,000 تكوين متمايز. كل واحد منها هو سحبة من فضاء الاستراتيجيات، والبحث احتفظ بالقيمة القصوى. يتضمن مقال الـ Deflated Sharpe Ratio الاشتقاق الكامل، لكن الحقيقة الوحيدة التي تحتاجها هنا هي نظرية الاستراتيجية الزائفة (False Strategy Theorem) (Bailey & López de Prado): القيمة القصوى المتوقعة لـ Sharpe لعدد N من الاستراتيجيات ذات الميزة الحقيقية الصفرية تنمو مع N. عند N ≈ 30,000، يقع أفضل ناتج من الضجيج المحض على بُعد نحو أربعة انحرافات معيارية فوق الصفر بفعل الاختيار وحده. أربعة سيغما تبدو كاكتشاف. لكنها ظل البحث.

لذا فالسؤال الصحيح ليس "هل Sharpe الفائز موجب؟" — بالطبع هو موجب، فأنت اخترت القيمة القصوى. السؤال الصحيح هو "هل Sharpe الفائز يتجاوز ما قد يحققه أكثر رامي عملة حظا من بين 37,000 رامٍ؟" وهذا بالضبط ما يحسبه الـ DSR: فهو ينقل المرجع من الصفر إلى سقف الضجيج الذي يفرضه عدد المحاولات، ويُبلغ عن احتمال أن يتجاوز Sharpe الحقيقي ذلك السقف.

يقابل مسار الفائز على ETHUSDT خارج العينة Sharpe يوميا يبلغ نحو 0.19. وحده، فإن SR يوميا بقيمة 0.19 على نافذة طويلة هو رقم محترم تماما. لكن بعد تقليصه في مواجهة ~37,000 محاولة، يتبخر:

$\text{DSR}\big(\hat{SR}=0.19\,\text{daily},\; N\approx 37{,}000\big) = \mathbf{0.00}$

صفر. ليس "هامشيا"، ولا "0.4، راقبه". يقول الـ DSR: نظرا لمدى شدة بحثنا، فإن Sharpe يوميا بقيمة 0.19 لا يمكن تمييزه عن أفضل سحبة من الضجيج المحض. إن +16.35% خارج العينة و+2.62% على الـ holdout متسقان، بالدقة التي يستطيع هذا الاختبار حلّها، مع استراتيجية ليست لها أي ميزة على الإطلاق وفازت ببساطة في يانصيب يضم 37,000 تذكرة.

دقيقة تستحق التنويه، لأننا لا نريد المبالغة في التقليص: النقاط المتجاورة على شبكة المعاملات شبه مكررة، لذا فإن العدد الخام للمحاولات يبالغ في عدّ النظرات المستقلة. تستخدم بوابتنا العدد الفعّال للمحاولات — محاولات مُجمّعة عنقوديا حسب ارتباط العوائد عبر ONC (López de Prado & Lewis) قبل التقليص — تحديدا كي لا نرفض ميزة حقيقية لسبب محاسبي. حتى مع إدماج ذلك التصحيح، لا ينجو الفائز على ETHUSDT. حين تكون النتيجة DSR 0.00، فإن دقّة العدد الفعّال (effective-N) لن تنقذها؛ إنها عميقة داخل الضجيج.

كان يمكن أن تكون تلك هي النهاية. رمز واحد، بحث واحد، مُقلَّص إلى لا شيء. لكن فشل الـ DSR على رمز واحد يترك ثغرة سيحاول أي مُحسِّن مُصمِّم أن يتسلل منها دائما: ربما يكون ETHUSDT مجرد رمز صعب، والتكوين حقيقي في مكان آخر. ولإغلاق تلك الثغرة عليك تغيير محور الاختبار.

الفصل الثالث — الاختبار الحاسم: المتانة تكون عبر الأدوات

للبحث على رمز واحد ضعف بنيوي حتى حين يكون في ما عدا ذلك مثاليا: محوره الوحيد خارج العينة هو الزمن. يستطيع أن يخبرك بأن التكوين صمد على نافذة لاحقة من ETHUSDT — لكنه لا يستطيع أن يخبرك بما إذا كان التكوين قد تعلّم شيئا عن الأسواق أم شيئا عن ETHUSDT تحديدا. الإفراط في التوفيق (overfitting) لأداة واحدة غير مرئي لاختبار لا يغادر تلك الأداة أبدا.

لذا غيّرنا دالة الهدف. فبدلا من "الأفضل على ETHUSDT خارج العينة"، يبحث المسح عبر الأدوات عن استراتيجيات معمّمة (generalists): تكوينات جيدة في آنٍ واحد عبر عدة رموز. البروتوكول:

• خمس عملات كبرى عالية السيولة: ETHUSDT، BTCUSDT، SOLUSDT، BNBUSDT، XRPUSDT — بنحو 1.18 مليون شمعة بإطار دقيقة واحدة لكل منها، ونافذة تقويمية مشتركة واحدة، ومجموعة تقسيمات مشتركة واحدة (إحماء ← K طيّة داخل العينة ← اختبار ← holdout لم يُمس).
• دالة هدف متينة: قيّم كل تكوين على نتيجة walk-forward لكل رمز، ثم رتّب حسب الوسيط عبر الرموز. الوسيط هو بيت القصيد — فالتكوين المبهر على عملة واحدة والفظيع على أربع لا يستطيع أن يشتري طريقه للداخل بقيمة شاذة واحدة. لكي يُختار، عليه أن يكون على الأقل متوسطا على معظمها.
• مصفوفة عوائد محفظة من أجل البوابات: العوائد اليومية لكل محاولة هي محفظة متساوية الأوزان عبر الرموز الخمسة (بواقع 1/S من رأس المال لكل رمز)، مما يعطي مصفوفة الأداء T×N التي تستهلكها بوابتا الـ DSR والـ PBO-CSCV.
• يُلمس الـ holdout مرة واحدة، من قِبل البطل المتين لكل وضع فقط.

هذا اختبار أصعب بشكل صارم من اختبار الرمز الواحد، وذلك عن قصد. يستطيع التكوين أن يفوز في بحث ETHUSDT عبر استغلال خصوصية عملة واحدة؛ لكنه لا يستطيع الفوز في بحث الوسيط عبر خمس عملات بهذه الطريقة. إن كانت هناك ميزة متينة في عائلة الاستراتيجية هذه، فهذا هو الإعداد الذي يجدها. وإن لم تكن، فهذا هو الإعداد الذي يقول ذلك دون تردد.

الفصل الرابع — الحكم: كلا الإطارين الزمنيين يفشلان في اجتياز البوابات

أجرينا المسح عبر الأدوات في كلا التكوينين وأخضعنا كل بطل متين للبوابات. البوابتان هما المعياريتان: DSR ≥ 0.95 (مُقلَّص في مواجهة العدد الفعّال للمحاولات) وPBO ≤ 0.2 (من CSCV على مصفوفة الأداء). وإليك الحكم كاملا، بصدق:

كلاهما يفشل، وفي كلتا البوابتين، وفي كلا الوضعين. اقرأ كل رقم بالمعايرة التي أرستها المقالات السابقة، لأن البوابتين تقولان أشياء مختلفة لكنهما تتفقان:

• DSR 0.24 (الثنائي)، 0.14 (الثلاثي). الـ DSR هو احتمال أن يتجاوز Sharpe الحقيقي سقف الضجيج الذي يفرضه البحث. نحتاج 0.95. حصلنا على 0.24 و0.14 — بالكاد فرصة واحد من أربعة وواحد من سبعة في أن تكون الميزة موجبة أصلا بعد احتساب عدد التكوينات التي جُرّبت. إضافة الإطار الزمني الثالث جعلها أسوأ، لا أفضل: معاملات أكثر، وطرق أكثر لملاءمة العينة، وأقل تعميما. ذلك الانقلاب هو بحد ذاته بصمة للـ overfitting.

• PBO 0.264 (الثنائي)، 0.327 (الثلاثي). تذكّر الحقيقة الوحيدة التي يُسيء الجميع قراءتها بشأن PBO (المعالجة الكاملة هنا): فرضيته الصفرية هي 0.5، وليست 1. الـ PBO هو احتمال أن يهبط الفائز داخل العينة في النصف الأدنى خارج العينة. الاختيار الجدير بالثقة يقع قرب 0؛ ورمي العملة المحض يقع عند 0.5. قيمتانا 0.264 و0.327 أدنى من 0.5 — فالاختيار ليس حرفيا رمية عملة، وهناك همسة خافتة من الإشارة — لكن كلتيهما أعلى بكثير من 0.2 التي نشترطها لوصف الاختيار بالموثوق. ومرة أخرى، الثلاثي (0.327) أقرب إلى خط رمي العملة من الثنائي (0.264): تعقيد أكبر، وتعميم أقل.

الأداتان متعامدتان — الـ DSR بارامتري ويُسعّر الفائز، والـ PBO لا-بارامتري ويُسعّر الإجراء — وتلتقيان عند الإجابة نفسها من اتجاهين متعاكسين. لا توجد قراءة لهذا الجدول تجتاز فيها أيٌّ من الاستراتيجيتين العتبة. الـ +16.35% التي بدأت هذا المسح بأكمله ليس لها قريب متين عبر الأدوات. لقد كانت خاصية لعملة واحدة وبحث واحد.

الفصل الخامس — تتبّع البطل، رمزا برمز

البوابات المُجمّعة تخبرك بأن الاستراتيجية فشلت؛ أما التفصيل لكل رمز فيخبرك كيف، والكيف هو الجزء الأكثر إفادة في الدراسة بأكملها. خذ بطل الإطار الزمني الثلاثي — التكوين الذي توّجته فعليا دالة الوسيط عبر الخمسة — وانظر إلى ما فعله على نافذة الاختبار خارج العينة لكل رمز:

هناك الوهم بأكمله، مكشوفا في خمسة صفوف. البطل مربح على رمز واحد بالضبط من الرموز الخمسة — SOLUSDT، بنسبة صارخة +14.74% — وسلبي على الأربعة الأخرى. إنه ليس استراتيجية معمّمة تصادف أنها ضعيفة. إنه متخصص في SOL يرتدي ثياب محفظة. القيمة الموجبة الكبيرة الوحيدة تقوم بكل العمل؛ خفّضته دالة الوسيط دون الفائز الخام على ETHUSDT تحديدا لأن الوسيط يرفض أن ينخدع بقيمة شاذة واحدة، لكن حتى البطل المُختار بالوسيط يتبيّن أنه يتّكئ كليا تقريبا على عملة واحدة بمجرد أن تفكّكه.

الـ holdout — النافذة التي لم يُسمح لأحد بالتحسين في مواجهتها — يروي القصة نفسها من أنقى موقع ممكن: عبر العملات الكبرى الخمس، يكون عائد البطل على الـ holdout موجبا على رمز واحد فقط من أصل 5. لو كانت هذه ميزة حقيقية في عائلة الاستراتيجية، لظهرت، ولو بشكل خافت، على بيانات لم تُمس لأكثر من أداة واحدة. لكنها تظهر على واحدة. تلك هي بصمة تكوين تعلّم رمزا، لا سوقا.

هذا هو سبب كون محور "عبر الأدوات" هو الاختبار الحاسم لا مجرد ميزة إضافية مستحبّة. الـ DSR على رمز واحد سبق أن قلّص ETHUSDT إلى صفر. لكن الأمر تطلّب تصميم الوسيط عبر الخمسة كي يُشخّص الفشل — كي يُظهر أن الميزة الظاهرية لم تكن موزّعة عبر الأدوات من الأساس، وأنها كانت خاصية لأي عملة صادف أن أفرط البحث في توفيقها في تلك الجولة. على ETHUSDT كانت خاصية ETHUSDT؛ وفي مسح الوسيط هاجرت لتصبح خاصية SOLUSDT. الميزة تحركت. الميزات الحقيقية لا تتحرك هكذا.

لماذا تكون النتيجة السلبية هي النتيجة الصحيحة

يجدر بنا أن نكون صريحين بشأن ما ندّعيه وما لا ندّعيه، لأن "لم نجد ميزة" يسهل إساءة قراءته إما كتواضع زائف أو كاعتراف بالعجز. وهو ليس أيّا منهما.

نحن لا ندّعي أن تقاطعات HMA لا يمكن أن تنجح أبدا، ولا أن هذه العملات الخمس غير قابلة للتنبؤ، ولا أنه لا توجد أي استراتيجية ثنائية/ثلاثية الإطار الزمني. بل ندّعي شيئا أضيق وأقوى بكثير: ضمن عائلة الاستراتيجية هذه، على هذه البيانات، وبهذه الكثافة البحثية، لا يوجد أي تكوين يصمد أداؤه الظاهري أمام التصحيح لعدد الأشياء التي جرّبناها. كل ما بدا كميزة يقع داخل نطاق الثقة لأفضل ما في الضجيج. هذه عبارة دقيقة، قابلة للتفنيد، وقابلة للدفاع عنها — وهي العبارة الصحيحة التي يجب نشرها.

الإغراء الذي تهزمه الآلة هائل، وله اسم في كل حقل آخر: مشكلة درج الملفات (file-drawer problem). النتائج السلبية تُدفن؛ والنتائج الإيجابية تُكتب وتُنشر. في التداول يكون الحافز أشد وطأة، لأن النتيجة الإيجابية التي أخفقت في تقليصها ليست مجرد ورقة بحثية سيئة — بل هي رأس مال منشور في مواجهة الضجيج، أموال حقيقية تدفع رسوما حقيقية لتتداول تذكرة يانصيب حسبتها إشارة. أظهر مقال الانحياز الاستشرافي تسربا يلفّق Sharpe قدره 15؛ وأظهر مقال الـ DSR بحثا يلفّق Sharpe قدره 1.63 من الضجيج المحض دون أي تسرب على الإطلاق. هذا المقال هو ما يبدو عليه الأمر حين تُوجَّه تلك الأدوات نحو فكرتك المفضلة أنت ويُطلب منها أن تكون صادقة. المنظومة — الـ DSR، والـ PBO/CSCV، والتجميع العنقودي بالعدد الفعّال، والاختيار عبر الأدوات — لا توجد لتبارك استراتيجياتك. بل توجد لتمنعك من شحن أفضل ما في الضجيج على أنه alpha، والدليل الوحيد على أنها تعمل هو أنها أحيانا تقول لا.

فريق بلا هذه المنظومة كان سيشحن الـ +16.35%. كان سيحصل على walk-forward يبدو نظيفا، وholdout موجب، ولا تسرب استشرافي قابل للكشف، وقصة معقولة. وكانوا سيكونون على خطأ، ولم يكونوا ليعرفوا ذلك حتى ينحرف الربح والخسارة الحي (live P&L) — فجوة الاختبار الرجعي مقابل التداول الحي التي لا تضطر نتيجة سلبية لكن صادقة أبدا إلى تفسيرها، لأنها لم تنتقل قط إلى التداول الحي. تُقاس قيمة "لا" الصارمة بالـ drawdowns التي لم تتكبّدها قط.

المصدر والإسناد

كل رقم في هذا المقال يعود إلى شيفرة برمجية، لا إلى سرد. مسح الميزة عبر الأدوات — تحميل الرموز الخمسة، والتقسيمات المشتركة، ودالة الوسيط عبر الرموز، ومصفوفة المحفظة متساوية الأوزان المُغذّاة للبوابات — يوجد في scripts/edge_hunt_multitf.py (commit acd84e8) في مستودع الـ backtester. أما البوابات الإحصائية التي يستدعيها — الـ Sharpe الاحتمالي والمُقلَّص، والحد الأدنى لطول سجل الأداء (minimum track-record length)، والعدد الفعّال عبر التجميع العنقودي بـ ONC، والـ PBO عبر CSCV، وكلها مُنفَّذة من الصفر على NumPy/SciPy استنادا إلى المصادر الأولية بدلا من مكتبة صندوق أسود — فتوجد في scripts/overfit_gates.py (commit 7b966e1)، الذي يأتي مع اختبار ذاتي يزرع ميزة معلومة في ضجيج محض ويؤكد أن البوابات تجيزها وترفض الضجيج. أما دراسة الرمز الواحد على ETHUSDT التي أنتجت الـ +16.35% المُغرية فقد جاءت من منظومة bench_search_multitf الأسبق التي يستوردها المسح للقراءة فقط. لا شيء هنا رقم محسوب يدويا؛ فالبوابات هي مسار الشيفرة نفسه سواء كان الجواب نعم أم لا.

الخلاصات

1. أجرينا عشرات الآلاف من الـ backtests عبر خمس عملات كبرى، بإطارين ثنائي وثلاثي، ولم نجد ميزة متينة — وهذه هي النتيجة التي بُنيت الآلة لإنتاجها. النتيجة السلبية، إذا أُثبتت بصرامة، هي اكتشاف لا فشل.
2. الرقم الذي يبدو نظيفا خارج العينة ليس ميزة. حقق الفائز على ETHUSDT +16.35% خارج العينة و+2.62% على holdout لم يُمس، دون أي تسرب استشرافي — ومع ذلك تقلّص إلى DSR 0.00 بمجرد أن تحسب الـ ~37,000 محاولة خلفه. خارج العينة يتجاوز التسرب الاستشرافي؛ لكن التقليص وحده يتجاوز الاختيار.
3. نظرية الاستراتيجية الزائفة هي السبب. عند ~30,000 محاولة، يقع أفضل ناتج من الضجيج المحض على بُعد نحو أربعة سيغما فوق الصفر بفعل الاختيار وحده. Sharpe يوميا بقيمة 0.19 هو بالضبط ما يدفعه ذلك اليانصيب. عليك أن تقارن فائزك بسقف الضجيج، لا بالصفر أبدا.
4. المتانة تكمن عبر الأدوات، لا عبر الزمن فقط. حوّل الاختيار وفق الوسيط عبر خمسة رموز وهم العملة الواحدة إلى وهم قابل للتشخيص: الثنائي DSR 0.24 / PBO 0.264، والثلاثي DSR 0.14 / PBO 0.327 — كلاهما يفشل في كلتا البوابتين، والثلاثي (معاملات أكثر) أسوأ من الثنائي في كل مقياس.
5. فكّك البطل قبل أن تثق به. كان بطل "المحفظة" ثلاثي الإطار الزمني مربحا على رمز واحد من أصل 5 (SOL +14.74%؛ ETH −0.39%، BTC −0.38%، BNB −8.58%، XRP −4.13%) وموجبا على الـ holdout على رمز واحد فقط من أصل 5. الميزة التي تعيش على أداة واحدة وتتحرك حين تعيد البحث ليست ميزة — إنها overfit يرتدي ثياب محفظة.
6. انشر النتيجة السلبية. منظومة مكافحة الـ overfitting — الـ DSR، والـ PBO/CSCV، والعدد الفعّال، والاختيار عبر الأدوات — تستحق الاقتناء تحديدا لأنها أحيانا تقول لك لا، والانضباط هو أن تُصغي حين تفعل.

الاستراتيجية التي أردنا لها النجاح أكثر من غيرها لم تنجح. والأدوات التي بنيناها لالتقاط ذلك أخبرتنا به، بأربع طرق مستقلة، قبل أن يتعرض دولار واحد للخطر. هذا هو مغزى السلسلة بأكمله، وهذا هو المقال الذي يتحقق فيه المغزى: الآلة تستحق نفقتها يوم توقفك — لا يوم تُطريك.