مدونة

يجعل برنامج Flash Attention سياق تداول مكون من 23,400 خطوة خاليًا من الناحية الحسابية — التبليط، وsoftmax عبر الإنترنت، وحدود الإدخال/الإخراج بقيمة N^2 d^2 / M. ما إذا كان هذا السياق الأطول يجعل النموذج أفضل هو سؤال منفصل، ويجب قياسه، وليس التأكيد عليه.

ثلاثة أشياء حول مجموعات التداول لم تغطيها هذه المدونة: لماذا يهيمن مصطلح التغاير - وليس عدد النماذج - على خطأ المجموعة، وكيف يعمل التراص كطبقة تجميع الإشارة مع ميزات تعريفية خارج الطية، وما إذا كانت شبكة الدوران عبر العديد من الإشارات تقلل في الواقع تكلفة التنفيذ.

كل نموذج في هذه المدونة حتى الآن يجيب عن السؤال 'ماذا يتنبأ بماذا؟'. التعلم الآلي المزدوج يجيب 'ماذا يسبب ماذا؟' - مع خطأ معياري يمكنك الدفاع عنه. النموذج الخطي الجزئي،および Neyman orthogonality، والتقاطع المطهر عبر البيانات، وحساب صريح لسبب بقاء فاصل الثقة DML صالحاً لسؤال محدد مسبقاً واحداً فقط.

كل اختبار إرجاع في هذه المدونة يقدر متوسطاً شرطياً. الغابات السببية تقدر تأثير العلاج الشرطي بدلاً من ذلك — tau(x) وليس mu(x) — مع تقسيم صادق، وتمثيل أوزان نواة تكيفية، واختبار معايرة يخبرك ما إذا كان التباين الذي وجدته حقيقياً.

كل قاعدة تحجيلة في هذه المدونة تعامل عدم اليقين كرقم واحد. إسقاط مونت كارلو والتشكيلات العميقة تقسمانه إلى جهل النموذج وضجيج السوق — وكلاهما يستحق أحجامًا مختلفة من المراكز.

إنشاء الميزات تلقائيًا (tsfresh وFeaturetools)، والبحث النموذجي المراعي للميزانية (مُحسِّن FLAML الموفر للتكلفة)، ومصنع ألفا المعتمد من WorldQuant - أجزاء مسار البحث التي لم يغطيها قوس البحث والتجاوز في هذه المدونة مطلقًا، وما تقوله نتائج القوس الخاصة عنها.

كل مركز برافعة مالية يعلن السعر الذي يجب عنده بيعه. كيف نبني مخطط عمق التصفية على السلسلة وخريطة حرارة تصفيات العقود الدائمة في منصات التداول المركزية، وننمذج ديناميكيات التتابع كرقم تكاثر، ونتداول التدفق القسري كإشارة بدلًا من الخوف منه باعتباره مجرد مخاطرة.