الأشجار والغابات العشوائية

أسئلة متتالية وأشجار كثيرة

تطرح شجرة القرار سلسلة أسئلة بنعم أو لا عن الميزات مثل هل الزخم فوق قيمة وتنتهي بورقة تتنبأ بمتوسط (أو الفئة الغالبة) صفوف التدريب التي وصلت إليها. وتختار كل سؤال بجشع: من بين كل الميزات ونقاط القطع تأخذ ما يجعل المجموعتين الابنتين أنقى. وللفئات تُقاس النقاوة بشوائب جيني $1-\sum p_k^{2}$ وهي $0$ لمجموعة نقية. وكسب القطع هو شوائب الأب ناقص شوائب الأبناء موزونة بأحجامهم. والشجرة تستطيع ملاءمة أي شيء فالشجرة العميقة تحفظ ضجيج صفوف التدريب.

تأخذ الغابة العشوائية متوسط أشجار كثيرة. وتُنمّى كل شجرة على عينة بوتستراب من الصفوف وتنظر عند كل قطع إلى مجموعة جزئية عشوائية من الميزات فتختلف الأشجار. وإذا كان لكل من $B$ شجرة تباين $\sigma^{2}$ وارتباط زوجي $\rho$ فإن لمتوسطها تباينًا $\rho\sigma^{2}+(1-\rho)\sigma^{2}/B$: فالمتوسط يُلغي الجزء المستقل بين الأشجار ويبقي الجزء المشترك وحده. فتفرط الغابة في الملاءمة أقل من شجرة عميقة لكنها تلاءم الضجيج حين تكون الإشارة الحقيقية ضعيفة كما في العوائد. فاحكم عليها دائمًا على بيانات لاحقة.

• نقاوة جشعة: كل قطع هو الذي يخفض الشوائب أكثر في تلك اللحظة.
• المتوسط يقلل التباين: يبقى للغابة الجزء المشترك $\rho\sigma^{2}$ مهما أضفت من أشجار.
• النماذج المرنة تفرط في ملاءمة الإشارات الضعيفة: قد تكون المهارة داخل العينة حقيقية وخارجها معدومة.

المختبر: ما الذي يُقيَّم

• شوائب عقدة10 نقطة
• شوائب ابن10 نقطة
• الشوائب الموزونة15 نقطة
• كسب القطع15 نقطة
• تباين غابة15 نقطة
• لماذا يفيد متوسط الأشجار10 نقطة
• طابق المصطلحات10 نقطة
• جيد داخل العينة وضعيف لاحقًا15 نقطة