حين يجب أن تعني 80% فعلًا 80%
يكون التنبؤ الاحتمالي معايَرًا عندما تكون نسبة أيام الصعود، بين الأيام التي قال فيها p، قريبة من p. الترتيب والمعايرة فضيلتان مختلفتان: يمكن لنموذج أن يرتب الأيام جيدًا (AUC مرتفعة) ويقول 0.8 والحقيقة 0.55. وأبسط مقياس للاحتمالات هو درجة برير 1/nΣ(pᵢ-yᵢ)² أي متوسط مربع خطأ التنبؤ؛ 0 مثالي و0.25 ما تحصل عليه بقول 0.5 دائمًا. ولرؤية المعايرة قسّم [0,1] إلى سلال وقارن في كل سلة متوسط الاحتمال المتنبَّأ بنسبة الآحاد. هذا الجدول هو منحنى الموثوقية. وجمع الفروق موزونة بحجم كل سلة يعطي خطأ المعايرة المتوقع: ECE=Σₖnₖ/n |ȳₖ-p̄ₖ|.
تأخذ الغابة العشوائية متوسط أشجار كثيرة، والمتوسط يبعد الاحتمالات عن 0 و1 بطريقة غريبة: كثيرًا ما تكون متطرفة جدًا حيث تتفق الأشجار بحفظ الضجيج. تصلح CalibratedClassifierCV ذلك بتعلّم تصحيح صغير على بيانات محجوزة. تلائم طريقة 'sigmoid' منحنى لوجستيًا p'=1/(1+e^(-(a s+b))) لدرجات النموذج (رقمان ومستقر) وتلائم 'isotonic' دالة درجية غير متناقصة حرة (أكثر مرونة وتحتاج بيانات أكثر). ومع البيانات المالية يجب أن تأتي الطيات المحجوزة بعد طيات التدريب زمنيًا فمرّر cv=TimeSeriesSplit(3). على آخر 30% من 5,344 يومًا لـ SPY يعطي التنبؤ الدائم بمعدل الأساس درجة برير 0.2473. وتحصل الغابة الخام على 0.2600 بخطأ 0.095 واحتمالاتها من 0.15 إلى 0.83؛ وبعد المعايرة السيغمويدية تصير درجة برير 0.2475 والخطأ 0.0001. حوّلت المعايرة نموذجًا مفرط الثقة إلى نموذج أمين والأمين هو معدل الأساس لأن الغابة بلا مهارة.
- الترتيب ليس احتمالًا: AUC المرتفعة لا تخبر هل 80% تعني 80%.
- درجة برير وسلال الموثوقية هي الفحوص؛ والمرجع الذي يجب التفوق عليه هو درجة برير لمعدل الأساس.
- عاير على بيانات لاحقة:
CalibratedClassifierCV(..., cv=TimeSeriesSplit(3))سيغمويدية أولًا وأيزوتونية مع بيانات أكثر.
المختبر: ما الذي يُقيَّم
- درجة برير10 نقطة
- جدول الموثوقية25 نقطة
- خطأ المعايرة15 نقطة
- الغابة10 نقطة
- الغابة المعايَرة20 نقطة
- دراسة المعايرة20 نقطة