أشجار صغيرة كثيرة وترتيب أمين للمتغيرات
تقسم شجرة القرار الصفوف مرة بعد مرة بسؤال مثل «هل عائد 20 يومًا فوق 1%؟» مختارةً عند كل خطوة التقسيم الذي يجعل المجموعات أنقى. وشائبة جيني لمجموعة هي G=1-Σₖpₖ² والتقسيم جيد إذا خفّض الشائبة الموزونة لطرفيه. والشجرة غير المحدودة العمق تنتهي بصف واحد في كل ورقة: دقة تدريب 100% ودقة اختبار قرب 50%. وهناك طريقتان تُبقيان الأشجار أمينة. الغابة العشوائية تأخذ متوسط أشجار ضحلة كثيرة تنمو كل منها على عينة عشوائية من الصفوف والمتغيرات فتلغي أخطاؤها بعضها جزئيًا. أما التعزيز المتدرج فيضيف أشجارًا صغيرة واحدة تلو الأخرى تُلائم كل منها ما لا يزال المجموع الحالي يخطئ فيه: Fₘ=Fₘ₋₁+νhₘ حيث يُبقي معدل التعلم ν كل خطوة صغيرة. ويُضبط كلاهما بـ max_depth وmin_samples_leaf وعدد الأشجار ويحتاجان إلى random_state لنتائج قابلة للتكرار.
للأهمية نوعان. أهمية الشائبة (feature_importances_) تجمع مقدار ما خفّضه كل متغير من الشائبة في صفوف التدريب؛ مجموعها 1 وتفضّل المتغيرات ذات القيم المميزة الكثيرة وتُحسب على بيانات رآها النموذج. أما أهمية التبديل فتخلط عمودًا واحدًا من صفوف الاختبار وتقيس هبوط الدرجة: المتغير المهم يؤلم عند خلطه وغير المفيد لا. في مسألة اصطناعية يعتمد فيها الوسم على حاصل ضرب متغيرين يكون AUC للانحدار اللوجستي قرب 0.5 بينما تجد الأشجار التفاعل ويشير الترتيبان إلى العمودين الصحيحين. وفي اتجاه SPY الصورة عكس المفيد: الشجرة غير المحدودة تسجل 50.5% في الاختبار وقيم AUC هي 0.498 (لوجيت) و0.515 (غابة) و0.531 (تعزيز) والأهميات الست بالشائبة كلها بين 0.13 و0.20 وترتيب التبديل يخالفها. أهميات مسطحة وAUC اختبار قرب 0.5 تعني أنه لا شيء يستحق الترتيب.
- حدّد العمق: الشجرة غير المحدودة تسجل 100% في التدريب ونحو 50% في الاختبار.
- أهمية الشائبة تُحسب على صفوف التدريب؛ وأهمية التبديل على الاختبار هي الجديرة بالثقة.
- ترى الأشجار التفاعلات التي لا يراها النموذج الخطي لكن العوائد الصاخبة لا تقدّم أيًّا منها: توقّع AUC قرب 0.5.
المختبر: ما الذي يُقيَّم
- منحنى العمق15 نقطة
- الغابة والتعزيز10 نقطة
- ثلاثة نماذج وثلاث قيم AUC20 نقطة
- أهميات الشائبة10 نقطة
- ترتيب التبديل20 نقطة
- دراسة SPY25 نقطة