بوم-ويلش وخوارزمية EM

دع النموذج يتعلم أرقامه بنفسه

افترضنا حتى الآن أننا نعرف $\pi$ و$A$ و$B$. وفي البيانات الحقيقية لا نعرفها: لدينا الملاحظات فقط. وخوارزمية بوم-ويلش تتعلم الأرقام من البيانات. وهي مثال على التوقع والتعظيم (EM) وتعمل بتكرار خطوتين. في خطوة E نستعمل الأرقام الحالية وخوارزمية الأمام الخلفي لحساب مدى احتمال كل حالة خفية وكل تحول بين الحالات في كل يوم. وفي خطوة M نعيد تقدير الأرقام بالعدّ لكن بهذه الاحتمالات بدل الأعداد الصحيحة.

هنا $\gamma_t(i)$ هو الاحتمال المنعَّم للحالة $i$ في اليوم $t$ و$\xi_t(i,j)$ هو الاحتمال المنعَّم للانتقال من $i$ إلى $j$ بين اليوم $t$ و$t+1$. فالقيمة الجديدة لـ $A_{ij}$ هي العدد المتوقع للانتقالات $i\to j$ مقسومًا على العدد المتوقع للأيام التي قُضيت في $i$. وهناك حقيقتان جديرتان بالمعرفة. لوغاريتم إمكان البيانات لا ينقص أبدًا من جولة EM إلى التالية فيمكن التوقف حين يتوقف عن التحسن. لكن EM لا يصعد إلا إلى أقرب قمة فقد ينتهي عند قيمة عظمى محلية، وقد تعطي قيم ابتدائية مختلفة إجابات مختلفة. وعمليًا تُجرَّب بدايات عدة ويُحتفظ بالأفضل.

• خطوة E: بالأرقام الحالية احسب $\gamma$ و$\xi$ بالأمامي الخلفي.
• خطوة M: أعد تقدير $\pi$ و$A$ و$B$ كأعداد متوقعة مقسومة على مجاميع متوقعة.
• لوغاريتم الإمكان لا ينقص أبدًا لكن EM قد يتوقف عند قيمة عظمى محلية: جرّب بدايات عدة.

المختبر: ما الذي يُقيَّم

• الأيام الهادئة المتوقعة10 نقطة
• احتمال انبعاث جديد15 نقطة
• احتمال ابتدائي جديد10 نقطة
• احتمال انتقال جديد15 نقطة
• ما الذي تضمنه EM15 نقطة
• جولة EM واحدة10 نقطة
• طابق المصطلحات10 نقطة
• لماذا تهم البدايات15 نقطة