التعدد الخطي والتنظيم

متنبئات تقول الشيء نفسه

حين يتحرك متغيران مستقلان معًا تقريبًا مثل زخم سهم على 6 أشهر وعلى 12 شهرًا لا يستطيع الانحدار أن يحدد أيهما يستحق الفضل. وهذا هو التعدد الخطي. قد تبقى الملاءمة جيدة لكن المعاملات الفردية تصبح غير مستقرة: فتغيّر صغير في البيانات قد يرفع أحدها ويخفض الآخر وتتضخم أخطاؤها المعيارية. وعامل تضخم التباين للمتغير $j$ هو $\mathrm{VIF}_j=\dfrac{1}{1-R_j^2}$ حيث $R_j^2$ ناتج من انحدار ذلك المتغير على كل الباقي. وVIF فوق 5 أو 10 علامة تحذير.

\hat{\boldsymbol\beta}_{\text{ridge}}=(X^{T}X+\lambda I)^{-1}X^{T}\mathbf{y},\qquad \hat{\boldsymbol\beta}_{\text{lasso}}=\arg\min\ \|\mathbf{y}-X\boldsymbol\beta\|^{2}+\lambda\|\boldsymbol\beta\|_{1}

(1)

يعالج التنظيم عدم الاستقرار بإضافة عقوبة على حجم المعاملات. يضيف ريدج (L2) الحد $\lambda\|\boldsymbol\beta\|^2$ : فالحل هو الحل العادي مع إضافة $\lambda I$ إلى $X^{T}X$ مما يجعل المصفوفة حسنة الاشتراط (اربط ذلك بمهارة الجبر الخطي) ويقلّص كل معامل نحو الصفر. ويضيف لاسو (L1) الحد $\lambda\|\boldsymbol\beta\|_1$ وقد يجعل بعض المعاملات صفرًا تمامًا فيختار المتغيرات. وكلاهما يستبدل قدرًا قليلًا من التحيز بانخفاض كبير في التباين، ويُختار $\lambda$ بالتحقق المتقاطع وهو الموضوع التالي.

أرقام لمتنبئات مترابطةإذا أعطى انحدار المتنبئ

j

على الباقين

R_j^2=0.9

فإن

\mathrm{VIF}_j=1/(1-0.9)=10

: أي أن خطؤه المعياري أكبر بنحو

\sqrt{10}\approx3.2

مرة منه مع متنبئات غير مترابطة. وعكسًا

\mathrm{VIF}=5

يعني

R_j^2=0.8

. ومع

X^{T}X=\begin{pmatrix}4&3\\3&4\end{pmatrix}

يستعمل ريدج بـ

\lambda=1

المصفوفة

\begin{pmatrix}5&3\\3&5\end{pmatrix}

. وفي بُعد واحد مع

X^{T}X=4

X^{T}y=8

تعطي المربعات الصغرى

\hat\beta=2

بينما يعطي ريدج بـ

\lambda=4

القيمة

8/(4+4)=1

: فالعقوبة تنصّف المعامل.

التعدد الخطي: معاملات غير مستقرة وأخطاء معيارية متضخمة وتنبؤات غالبًا ما تبقى جيدة.
ريدج: يقلّص كل المعاملات ولا يجعلها صفرًا تمامًا. لاسو: قد يجعل معاملات صفرًا تمامًا.
اختر العقوبة $\lambda$ بالتحقق المتقاطع لا بالنظر إلى ملاءمة التدريب.

لا تقرأ معاملًا حين يكون توأمه في النموذجمع عاملين متكررين تقريبًا لا يُفسَّر كل معامل وحده: فمعامل موجب كبير وآخر سالب كبير قد يلغي أحدهما الآخر فيعطيان مجموعًا معقولًا. احكم على الزوج معًا، أو احذف أحدهما أو ادمجهما، أو نظّم. وقد تبقى تنبؤات النموذج جيدة لأن التركيبة محددة جيدًا حتى لو لم يكن كل جزء كذلك.

المختبر: ما الذي يُقيَّم

عامل تضخم التباين15 نقطة
من VIF إلى R تربيع10 نقطة
مصفوفة ريدج15 نقطة
معامل مقلَّص15 نقطة
أي عقوبة تختار المتغيرات15 نقطة
ما يفعله التداخل الخطي15 نقطة
لماذا يفيد ريدج15 نقطة

متنبئات تقول الشيء نفسه

\hat{\boldsymbol\beta}_{\text{ridge}}=(X^{T}X+\lambda I)^{-1}X^{T}\mathbf{y},\qquad \hat{\boldsymbol\beta}_{\text{lasso}}=\arg\min\ \|\mathbf{y}-X\boldsymbol\beta\|^{2}+\lambda\|\boldsymbol\beta\|_{1}

(1)

أرقام لمتنبئات مترابطةإذا أعطى انحدار المتنبئ

j

على الباقين

R_j^2=0.9

فإن

\mathrm{VIF}_j=1/(1-0.9)=10

: أي أن خطؤه المعياري أكبر بنحو

\sqrt{10}\approx3.2

مرة منه مع متنبئات غير مترابطة. وعكسًا

\mathrm{VIF}=5

يعني

R_j^2=0.8

. ومع

X^{T}X=\begin{pmatrix}4&3\\3&4\end{pmatrix}

يستعمل ريدج بـ

\lambda=1

المصفوفة

\begin{pmatrix}5&3\\3&5\end{pmatrix}

. وفي بُعد واحد مع

X^{T}X=4

X^{T}y=8

تعطي المربعات الصغرى

\hat\beta=2

بينما يعطي ريدج بـ

\lambda=4

القيمة

8/(4+4)=1

: فالعقوبة تنصّف المعامل.

التعدد الخطي: معاملات غير مستقرة وأخطاء معيارية متضخمة وتنبؤات غالبًا ما تبقى جيدة.
ريدج: يقلّص كل المعاملات ولا يجعلها صفرًا تمامًا. لاسو: قد يجعل معاملات صفرًا تمامًا.
اختر العقوبة $\lambda$ بالتحقق المتقاطع لا بالنظر إلى ملاءمة التدريب.

المختبر: ما الذي يُقيَّم

عامل تضخم التباين15 نقطة
من VIF إلى R تربيع10 نقطة
مصفوفة ريدج15 نقطة
معامل مقلَّص15 نقطة
أي عقوبة تختار المتغيرات15 نقطة
ما يفعله التداخل الخطي15 نقطة
لماذا يفيد ريدج15 نقطة

التعدد الخطي والتنظيم

متنبئات تقول الشيء نفسه

المختبر: ما الذي يُقيَّم

سجّل الدخول لتشغيل الكود الخاص بك.

التعدد الخطي والتنظيم

متنبئات تقول الشيء نفسه

المختبر: ما الذي يُقيَّم

سجّل الدخول لتشغيل الكود الخاص بك.