النماذج الخطية والتنظيم

تقليص المعاملات عمدًا

تجد المربعات الصغرى العادية الخط الأنسب لبيانات التدريب ومع البيانات المالية المشوشة تلاءم الضجيج أيضًا. ويضيف التنظيم عقوبة على حجم المعاملات فيتنازل النموذج عن قليل من الملاءمة مقابل كثير من الثبات. ويعاقب ridge مجموع مربعات المعاملات ويقلصها كلها نحو الصفر. ويعاقب lasso قيمها المطلقة وقد يدفع المعاملات الضعيفة إلى الصفر تمامًا فيختار الميزات. والقوة $\alpha$ معامل فائق: $\alpha=0$ هو المربعات الصغرى العادية و $\alpha$ الكبير جدًا يعطي نموذجًا مسطحًا يتنبأ بالمتوسط.

\hat b_{\mathrm{ridge}}=\frac{S_{xy}}{S_{xx}+\alpha},\qquad \hat b_{\mathrm{lasso}}=\frac{\max(\rho-\alpha,\,0)}{S_{xx}/n},\quad \rho=\frac{S_{xy}}{n}

(1)

عمليًا قيّس الميزات داخل خط معالجة لأن العقوبة تعامل كل المعاملات بالتساوي. واختر $\alpha$ على بيانات تحقق تأتي بعد بيانات التدريب زمنيًا. وابدأ بـ ridge حين تكون الميزات مترابطة والإشارة ضعيفة كما في درجات الزخم والقيمة والجودة واستعمل lasso حين تريد قائمة قصيرة من الميزات. ويمزج elastic net العقوبتين. ولا تصنع أي منهما إشارة: فالعقوبة لا تجعل النموذج إلا أقل حساسية للضجيج.

ثلاث نقاط وميزة واحدةخذ

x=-1,0,1

y=-1;0.5;2

. فيكون

S_{xy}=3

S_{xx}=2

n=3

. تعطي المربعات الصغرى الميل

3/2=1.5

. وridge بـ

\alpha=1

يعطي

3/(2+1)=1.0

وبـ

\alpha=2

يعطي

3/4=0.75

. وفي lasso يكون

\rho=1

S_{xx}/n=2/3

فـ

\alpha=0.5

يعطي

0.5/(2/3)=0.75

\alpha=1

يعطي

0

تمامًا. وعلى اللوحة الشهرية الحقيقية للأسهم (16,470 صفًا وثلاث ميزات معيارية) معاملات ridge عند

\alpha=1

نحو

0.0032

للزخم و

0.00001

للشهر الأخير و

0.0040

للتقلب. ولأن

S_{xx}

قرب

16{,}000

فحتى

\alpha=1000

لا يقلص معاملًا إلا بنحو

6\%

ويبقى معامل المعلومات للمشي الأمامي عند

0.033

لكل

\alpha

من

0.01

إلى

10^{4}

ridge يقلّص وlasso يختار: يبقي ridge كل الميزات بأوزان أصغر وقد يسقط lasso الضعيفة.
القوة موازنة: $\alpha=0$ مربعات صغرى و $\alpha$ الضخم يتنبأ بالمتوسط.
قيّس الميزات أولًا: العقوبة تعامل كل المعاملات بالتساوي فلا بد من مقياس مشترك.

المختبر: ما الذي يُقيَّم

المربعات الصغرى10 نقطة
ridge بـ alpha 115 نقطة
ridge بـ alpha 215 نقطة
lasso بـ alpha 0.515 نقطة
lasso بـ alpha 110 نقطة
عقوبة ضخمة10 نقطة
طابق المصطلحات10 نقطة
لماذا قد يعطي lasso صفرًا تمامًا15 نقطة

تقليص المعاملات عمدًا

\hat b_{\mathrm{ridge}}=\frac{S_{xy}}{S_{xx}+\alpha},\qquad \hat b_{\mathrm{lasso}}=\frac{\max(\rho-\alpha,\,0)}{S_{xx}/n},\quad \rho=\frac{S_{xy}}{n}

(1)

ثلاث نقاط وميزة واحدةخذ

x=-1,0,1

y=-1;0.5;2

. فيكون

S_{xy}=3

S_{xx}=2

n=3

. تعطي المربعات الصغرى الميل

3/2=1.5

. وridge بـ

\alpha=1

يعطي

3/(2+1)=1.0

وبـ

\alpha=2

يعطي

3/4=0.75

. وفي lasso يكون

\rho=1

S_{xx}/n=2/3

فـ

\alpha=0.5

يعطي

0.5/(2/3)=0.75

\alpha=1

يعطي

0

تمامًا. وعلى اللوحة الشهرية الحقيقية للأسهم (16,470 صفًا وثلاث ميزات معيارية) معاملات ridge عند

\alpha=1

نحو

0.0032

للزخم و

0.00001

للشهر الأخير و

0.0040

للتقلب. ولأن

S_{xx}

قرب

16{,}000

فحتى

\alpha=1000

لا يقلص معاملًا إلا بنحو

6\%

ويبقى معامل المعلومات للمشي الأمامي عند

0.033

لكل

\alpha

من

0.01

إلى

10^{4}

ridge يقلّص وlasso يختار: يبقي ridge كل الميزات بأوزان أصغر وقد يسقط lasso الضعيفة.
القوة موازنة: $\alpha=0$ مربعات صغرى و $\alpha$ الضخم يتنبأ بالمتوسط.
قيّس الميزات أولًا: العقوبة تعامل كل المعاملات بالتساوي فلا بد من مقياس مشترك.

المختبر: ما الذي يُقيَّم

المربعات الصغرى10 نقطة
ridge بـ alpha 115 نقطة
ridge بـ alpha 215 نقطة
lasso بـ alpha 0.515 نقطة
lasso بـ alpha 110 نقطة
عقوبة ضخمة10 نقطة
طابق المصطلحات10 نقطة
لماذا قد يعطي lasso صفرًا تمامًا15 نقطة

النماذج الخطية والتنظيم

تقليص المعاملات عمدًا

المختبر: ما الذي يُقيَّم

سجّل الدخول لتشغيل الكود الخاص بك.

النماذج الخطية والتنظيم

تقليص المعاملات عمدًا

المختبر: ما الذي يُقيَّم

سجّل الدخول لتشغيل الكود الخاص بك.