بحث لا يخدعك

الأفضل بين كثيرين غالبًا حظ

تجرّب GridSearchCV كل إعداد في شبكة وتقيّمه بالتحقق المتقاطع وتبقي الأفضل. وفي البيانات المالية يجب أن تتقدم الطيات في الزمن: TimeSeriesSplit(5) تدرّب على الماضي وتتحقق على الكتلة التالية خمس مرات. ويمكن أن يكون المقياس AUC (scoring='roc_auc'). وفي الأنبوب يُشار إلى الإعداد باسم الخطوة وشرطتين سفليتين والمعامل: 'logit__C'. بعد البحث يحمل best_params_ الفائز وcv_results_['mean_test_score'] درجة كل نقطة في الشبكة ومع refit=True الافتراضي يتنبأ البحث نفسه بأفضل نموذج أعيدت ملاءمته على كل البيانات التي تلقاها. مع إعدادات قليلة ودرجة سلسة تكون أفضل درجة تحقق مبالغة طفيفة. وفي أعمدة العوائد الستين لدينا تعطي شبكة C قيم AUC هي 0.512 و0.500 و0.504: الضبط لا يغيّر شيئًا لأنه لا شيء ليُوجد.

يزداد الخطر مع عدد المرشحين. اسحب n نموذجًا مهارتها الحقيقية صفر؛ تتشتت درجات تحققها حول المتوسط بانحراف σ ويقع أفضلها فوق المتوسط بنحو σ((1-γ)Φ⁻¹(1-1/n)+γΦ⁻¹(1-1/ne)) حيث γ=0.5772 ثابت أويلر وΦ⁻¹ الكمّي الطبيعي. جرّب 12 نموذجًا عشوائيًا يستخدم كل منها ثلاثة من الأعمدة الستين: لأفضلها AUC تحقق 0.523 ويتوقع الحظ وحده 0.523. أعد ملاءمة الفائز على صفوف التدريب وقيّمه على الـ30% اللاحقة من الأيام التي لم يرها: AUC له 0.478 دون عملة. هذه لعنة الفائز. والدفاعات: مجموعة اختبار نهائية لا يلمسها أي بحث، ومرشحون أقل، ونظرة رصينة إلى مقدار ما تفسره الصيغة من أفضل درجة.

• تقدّم مع الزمن: استخدم TimeSeriesSplit في البحث ولا تستخدم طيات مخلوطة مع السلاسل الزمنية.
• أفضل n يتجاوز المتوسط بنحو σ Φ⁻¹(1-1/n) حتى لو لم ينجح شيء.
• احتفظ بمجموعة اختبار نهائية لا يلمسها أي بحث وأبلغ عن درجتها لا درجة التحقق.

المختبر: ما الذي يُقيَّم

• الأنبوب5 نقطة
• البحث الشبكي20 نقطة
• درجات التحقق10 نقطة
• نماذج صغيرة كثيرة20 نقطة
• الأفضل المتوقع بالحظ10 نقطة
• لعنة الفائز15 نقطة
• الدراسة20 نقطة