Backtesting Without Fooling Yourself
A step-by-step path from what your backtest really optimizes to proving an edge survives overfitting, multiple testing, and live execution. Read top to bottom — each part builds on the last.
- 01
Jul 2, 2026 #algotradingتصميم دالة الهدف: المقياس الذي تُحسّنه يختار استراتيجيتك سراً
للبحث عن الاستراتيجية 'الأفضل' يجب أولاً تعريف 'الأفضل' — وذلك الرقم القياسي يختار الفائز خفية. على بيانات اصطناعية بميزة معروفة (600 بذرة، T=2000، 80 عتبة)، تُتوّج نسبة Sharpe الساذجة لكل صفقة فائزاً قماريا: تختار فائزاً بتعرض سوقي أقل من 5% في 56% من البذور وتتحلل في 57% منها — وفي أوضح بذرة، 8 صفقات تُسجّل نسبة Sharpe داخل العينة قدرها 21.09 تنهار إلى 0.13 خارج العينة. الإصلاح الصادق يكاد يكون مملاً: القياس على كامل الخط الزمني، الذي لا يتحلل أبداً (خارج العينة 1.71). يمكن لتقليص عدد الصفقات (conf_k) وحد أدنى للتعرض إصلاح مقياس لكل صفقة بأثر رجعي، لكن حتى بعد الإصلاح الكامل فإنهما فقط يُطابقان Sharpe كامل الخط الزمني (1.70 مقابل 1.71) — ولا يتفوقان عليه أبداً. قانون Goodhart، في اختبار رجعي، بحقيقة أساسية مضبوطة.
- 02
Mar 15, 2026 #algotradingتحسين المشي للأمام: الاختبار الصادق الوحيد للاستراتيجية
لماذا لا يحمي تقسيم واحد للتدريب/الاختبار من الإفراط في التخصيص، وكيف يتحقق تحسين المشي للأمام بشكل منهجي من متانة المعلمات، ولماذا تعتبر استراتيجية بـ 21 معلمة و PnL@ML +3342% قنبلة موقوتة بدون WFO.
- 03
Mar 12, 2026 #algotradingتحليل الهضبة: كيفية التمييز بين النقطة المثلى المتينة والإفراط في التخصيص
لماذا إيجاد أفضل معلمات الاستراتيجية هو نصف العمل فقط. كيفية التمييز بصرياً وكمياً بين هضبة مستقرة وقمة هشة، ولماذا تعد مخططات Optuna الكنتورية خطوة إلزامية قبل إطلاق استراتيجية محسّنة في الإنتاج.
- 04
Mar 6, 2026 #algotradingمونت كارلو بوتستراب: كيف تحصل على فترات الثقة لاختبار رجعي في 10 أسطر من الكود
لماذا التقدير النقطي الوحيد من الاختبار الرجعي هو وهم خطير. كيف يمنحك مونت كارلو بوتستراب في ثانيتين من الحساب فترة ثقة 95% لـ PnL و MaxDD، ولماذا هذه خطوة إلزامية قبل إطلاق استراتيجية في الإنتاج.
- 05
Jul 2, 2026 #algotradingاحتمال الإفراط في تخصيص الاختبار الرجعي: هل تغلب بحثك على رمية عملة؟
نسبة Sharpe المخفّضة تُسعِّر الاستراتيجية الفائزة؛ وPBO تُسعِّر البحث الذي اختارها. يُشغّل التحقق المتقاطع المتماثل تركيبياً (CSCV) C(16,8) = 12,870 تقسيمة تدريب/اختبار عبر مصفوفة أداء 1000x200 ويسأل: هل يهبط الفائز داخل العينة إلى النصف السفلي خارج العينة؟ الفخ الذي يُخطئه الجميع تقريباً — قيمة العدم لـPBO هي 0.5، لا 1. على 200 استراتيجية بلا ميزة، ينهار أفضل Sharpe سنوية داخل العينة البالغة 1.98 إلى 0.06 خارج العينة وPBO = 0.476: رمية عملة، إفراط كامل في التخصيص. ازرع ميزة حقيقية (Sharpe سنوية 2.38) وتهبط PBO إلى 0.001، مع نجاة الـ3.73 داخل العينة إلى 2.34 خارج العينة. شبكة تقاطع متوسط متحرك على مسير عشوائي خالص لا تملك مهارة خارج العينة أيضاً — PBO تبلغ 0.463 بالمتوسط عبر 60 مصفوفة، لا تُميَّز إحصائياً عن حالة العدم — وعلى مصفوفة تمثيلية واحدة يكون السراب صارخاً: أفضل Sharpe داخل العينة تبلغ 2.33 تنهار إلى وسيط Sharpe خارج العينة قدره -0.22، PBO تبلغ 0.573، واحتمال خسارة 63%.
- 06
Jul 2, 2026 #algotradingنسبة Sharpe المخفّضة: كم عدد "الفائزين" في اختبارك الرجعي ينجون من الاختبار المتعدد؟
البحث عن المعلمات آلة لتصنيع الحظ. على ضوضاء خالصة — 1,000 استراتيجية بلا أي ميزة حقيقية — يبلغ متوسط أفضل Sharpe سنوية 1.63، ويُبلغ اختبار الدلالة الساذج عن اكتشاف بنسبة 100% من الوقت. نبني حقيقة أساسية مضبوطة ونُظهر أن نسبة Sharpe المخفّضة، وتشذيب Harvey-Liu، وReality Check لـWhite تستعيد الصدق: تنخفض الاكتشافات الكاذبة من 1.000 إلى 0.001-0.057، وتُحفظ الميزات الحقيقية فوق سقف الضوضاء بقوة اكتشاف ~1 — وفخ حقيقي واحد (الشبكات المترابطة) حيث تُفرط نسخة DSR الخام في التخفيض ويجب قراءة الحكم عبر نطاق كامل من مقدّرات عدد التجارب الفعّال، وليس مقدّراً واحداً.
- 07
Mar 7, 2026 #algotradingتطابق الاختبار الخلفي والتداول الحي: لماذا يتداول الروبوت الخاص بك بشكل مختلف عن الاختبار الخلفي
تصنيف شامل للتباينات بين الاختبار الخلفي والتداول الحي: من الانزلاق السعري والتنفيذ الجزئي إلى عدم تزامن قاعدة الكود. أنماط معمارية لتحقيق التطابق، أمثلة Python لوحدة النواة المشتركة، وقائمة مراجعة للمراقبة في بيئة الإنتاج.