التنظيم L1 وL2 بوصفه تحسينًا

عقوبات تُقلّص

يضيف التنظيم عقوبة إلى خسارة الضبط لتكلف المعاملات الكبيرة شيئًا: $\min_{\mathbf w}\ \lVert\mathbf y-X\mathbf w\rVert^2+\lambda\,\Omega(\mathbf w)$. يستعمل ريدج $\Omega=\lVert\mathbf w\rVert_2^2$ ويستعمل لاسو $\Omega=\lVert\mathbf w\rVert_1$. وهي مسألة تحسين كأي مسألة، ولها صيغة مقيّدة مكافئة، تصغير الخسارة بشرط $\Omega(\mathbf w)\le t$، حيث $\lambda$ هو بالضبط مضروب KKT للميزانية $t$. وكلما كبر $\lambda$ صغرت الميزانية.

تُظهر مسائل المتغير الواحد الفرق. يقسم ريدج القيمة غير المعاقبة $z$ على $1+\lambda$: يتقلص كل معامل بالنسبة نفسها ولا يبلغ أي منها الصفر. أما لاسو فيطرح $\lambda$ من $|z|$ ويقطع عند الصفر، فيصير كل معامل بـ $|z|\le\lambda$ صفرًا تمامًا؛ ولهذا يختار لاسو المتغيرات. هندسيًا، لكرة $\ell_1$ زوايا على المحاور وتميل منحنيات مستوى الخسارة إلى ملامستها عند زاوية، أما كرة $\ell_2$ المستديرة فلا زوايا لها. وتحليليًا، لـ $|w|$ نتوء عند الصفر يقفز عنده الميل من $-\lambda$ إلى $+\lambda$ ويمكن أن توجد النهاية الصغرى على هذا النتوء.

في المالية تثبّت عقوبة ريدج الانحدارات على متنبئات مترابطة وهي قريبة من انكماش التباين المشترك، ويبني لاسو محافظ متناثرة لتتبع المؤشر. وثمة فخ: في محفظة شراء فقط مستثمرة بالكامل يكون $\sum_i|w_i|=\sum_i w_i=1$ فتكون العقوبة $\lambda\lVert\mathbf w\rVert_1$ هي الثابت $\lambda$ ولا تغيّر شيئًا. ولتحصل على مراكز قليلة غير صفرية أو صفقات قليلة عاقب الصفقات $\lVert\mathbf w-\mathbf w'\rVert_1$ وهذا بالضبط ما تفعله حدود الدوران والتكلفة في المشروع الختامي. وبلغة بايز يقابل ريدج توزيعًا أوليًا غاوسيًا للمعاملات ويقابل لاسو توزيعًا أوليًا لابلاسيًا.

• ريدج: $w=z/(1+\lambda)$ في متغير واحد؛ يتقلص بسلاسة ولا يبلغ الصفر تمامًا.
• لاسو: عتبة ناعمة $\mathrm{sign}(z)\max(|z|-\lambda,0)$؛ يجعل المعاملات الصغيرة صفرًا تمامًا.
• الصيغة المقيّدة: الوزن $\lambda$ هو مضروب KKT للميزانية $\Omega(\mathbf w)\le t$.

المختبر: ما الذي يُقيَّم

• معامل لاسو10 نقطة
• معامل ريدج10 نقطة
• معامل يصبح صفرًا15 نقطة
• انحدار ريدج بمتغير واحد15 نقطة
• لماذا ينتج لاسو أصفارًا دقيقة15 نقطة
• عقوبة عديمة الجدوى15 نقطة
• التوزيعات الأولية والآثار10 نقطة
• ماذا يفعل لامدا أكبر10 نقطة