الانحدار التدريجي العشوائي والدفعات الصغيرة

تقدير التدرج من عينات قليلة

تقلّل معظم مسائل الضبط متوسطًا على البيانات، $f(\mathbf w)=\frac1n\sum_{i=1}^{n}\ell_i(\mathbf w)$، كأخطاء مربعة على $n$ ملاحظة. ويحتاج التدرج الدقيق كل الحدود $n$ في كل خطوة، وهذا بطيء جدًا حين تبلغ $n$ ملايين من التيكات. ويسحب الانحدار التدريجي العشوائي دفعة صغيرة عشوائية $B$ من $b$ ملاحظة ويستعمل متوسط تدرجها $g_B$ بدلًا من ذلك. وهذا التقدير غير متحيز أي أنه يساوي التدرج الحقيقي في المتوسط.

ثمن الاختصار هو الضجيج. فتباين تدرج الدفعة يتناقص كـ $1/b$، فتنصيف انحرافه المعياري يتطلب دفعة أكبر أربع مرات، وهو عائد متناقص بشدة. والحقبة مرور كامل على البيانات وتضم $n/b$ تحديثًا. ومع خطوة ثابتة لا تستقر التكرارات أبدًا: تظل ترتعش في كرة صغيرة حول النهاية الصغرى لأن تدرج الدفعة ليس صفرًا حتى عندها. والعلاج خطوة تتقلص. وتشترط شروط روبنز-مونرو الكلاسيكية $\sum_t\eta_t=\infty$ ليستطيع المسار الذهاب بعيدًا بقدر الحاجة، و$\sum_t\eta_t^{2}<\infty$ ليخبو الضجيج. والجدول $\eta_t=\eta_0/t$ يحقق الشرطين.

• غير متحيز: تدرج الدفعة العشوائية يساوي التدرج الكامل في المتوسط.
• مشوّش: التباين $\sigma^2/b$ فدفعة أكبر أربع مرات تنصّف الانحراف المعياري.
• خطوات متناقصة: $\sum\eta_t=\infty$ و$\sum\eta_t^2<\infty$ مثل $\eta_t=\eta_0/t$ تضمنان التقارب.

المختبر: ما الذي يُقيَّم

• التدرج الكامل15 نقطة
• ضجيج عينة واحدة15 نقطة
• ضجيج دفعة15 نقطة
• التحديثات في كل حقبة15 نقطة
• جدول خطوات متقارب15 نقطة
• حلقة الدفعات الصغيرة10 نقطة
• لماذا لا تستقر الخطوة الثابتة15 نقطة