المربعات الصغرى والمعادلات الطبيعية

معادلات أكثر من المجاهيل

للانحدار ملاحظات كثيرة ومعاملات قليلة: المعادلة $A\mathbf{x}=\mathbf{b}$ مع $A$ طويلة ($n$ صفًّا و$p$ عمودًا و$n>p$) لا حل تامًّا لها لأن $\mathbf{b}$ نادرًا ما يقع في فضاء الأعمدة. وتختار المربعات الصغرى $\hat{\mathbf{x}}$ الذي يجعل الخطأ أصغر ما يمكن، $\min_{\mathbf{x}}\|A\mathbf{x}-\mathbf{b}\|^2$. هندسيًا يكون $A\hat{\mathbf{x}}$ إسقاط $\mathbf{b}$ على فضاء الأعمدة، فالمتبقي $\mathbf{b}-A\hat{\mathbf{x}}$ متعامد مع كل عمود من $A$.

تعامد المتبقي، $A^{T}(\mathbf{b}-A\hat{\mathbf{x}})=\mathbf{0}$، يُعاد ترتيبه إلى المعادلات الطبيعية أعلاه. ولها دائمًا حل، وهو وحيد حين تكون أعمدة $A$ مستقلة (فتكون $A^{T}A$ قابلة للقلب). وفي رمز الانحدار تضم $A=X$ المتغيرات المستقلة مع عمود أول من الآحاد للحد الثابت، و$\mathbf{b}=\mathbf{y}$ هو المتغير التابع، و$\hat{\boldsymbol\beta}=(X^{T}X)^{-1}X^{T}\mathbf{y}$ معاملات OLS. وفي البرمجة تحل النظام ولا تقلب $X^{T}X$.

• المعادلات الطبيعية: $A^{T}A\hat{\mathbf{x}}=A^{T}\mathbf{b}$؛ حلّها ولا تقلب.
• المتبقي: $\mathbf{b}-A\hat{\mathbf{x}}$ متعامد مع كل عمود من $A$؛ ومع عمود حد ثابت يكون مجموعه صفرًا.
• الأعمدة المستقلة ضرورية لجواب وحيد؛ والمتغيرات المتوازية تجعل $A^{T}A$ شاذة.

المختبر: ما الذي يُقيَّم

• المصفوفة الطبيعية15 نقطة
• الميل15 نقطة
• الحد الثابت15 نقطة
• حجم الخطأ10 نقطة
• ما يتعامد معه المتبقي15 نقطة
• خطوات مطابقة بالمربعات الصغرى15 نقطة
• لماذا يساوي مجموع المتبقيات صفرًا15 نقطة