מה זה מודל מרקוב חבוי
מודל מרקוב חבוי מתאר תהליך שמתפתח לאורך זמן דרך רצף של מצבים פנימיים, בדיוק כמו שרשרת מרקוב רגילה — כל מצב תלוי רק במצב הקודם, לא בכל ההיסטוריה. ההבדל המכריע: ברצף עצמו איש לא צופה ישירות. מה שכן נצפה, בכל שלב, הוא "פליטה" (Emission) — תוצר שתלוי במצב הפנימי אך אינו חושף אותו במדויק. המשימה היא לשחזר, מתוך רצף הפליטות הנצפות בלבד, מה קרה במצבים הנסתרים שהפיקו אותן. מבחינה סטטיסטית זהו מודל גנרטיבי: הוא לא רק מסווג רצף קיים, אלא לומד גם איך רצף כזה 'נוצר' מלכתחילה, ולכן אפשר בעיקרון גם לדגום ממנו רצפים חדשים.
שנות ה-60: ליאונרד באום ועמיתיו
היסודות המתמטיים פורסמו על ידי ליאונרד א. באום וטד פטרי, בסדרת מאמרים סטטיסטיים במחצית השנייה של שנות ה-60, ובהם "Statistical Inference for Probabilistic Functions of Finite State Markov Chains" מ-1966. באום עבד באותה תקופה במרכז-מחקר לתקשורת של IDA בפרינסטון, לא במעבדת-שפה — המסגרת המתמטית נולדה בהקשר כללי של תהליכים סטוכסטיים, לפני שנמצא לה השימוש שהפך אותה מוכרת. רק כעשור אחר-כך יישמו אותה בפועל ג'יימס בייקר באוניברסיטת קרנגי-מלון, וצוותו של פרדריק ילינק במעבדות IBM, לבעיית זיהוי-הדיבור.
שלוש בעיות קלאסיות, שלושה אלגוריתמים
העבודה עם HMM מתפרקת לשלוש בעיות נפרדות. הראשונה: מה ההסתברות שרצף-פליטות מסוים נוצר ממודל נתון — נפתרת באלגוריתם ה"קדימה" (Forward Algorithm). השנייה: מהו רצף-המצבים הנסתר הסביר-ביותר שהוליד את הפליטות שנצפו — נפתרת באלגוריתם ויטרבי, שפרסם אנדרו ויטרבי ב-1967 במקור לפענוח קודי-תקשורת, ואומץ למשימת HMM רק מאוחר יותר. השלישית: איך ללמוד את פרמטרי-המודל עצמם מתוך דוגמאות בלבד — נפתרת באלגוריתם באום-וולש, מקרה פרטי של אלגוריתם ה-EM (Expectation-Maximization). שלושת האלגוריתמים משתמשים באותה טכניקת-יסוד, תכנות דינמי, שהופכת בעיה שנראית כאילו דורשת בדיקה של כל רצף-מצבים אפשרי לחישוב יעיל בהרבה.
עידן-הזהב: זיהוי-דיבור לפני הלמידה העמוקה
מהמחצית השנייה של שנות ה-70 ועד תחילת שנות ה-2010 היה HMM הכלי השולט כמעט-בלעדית בזיהוי-דיבור אוטומטי: כל מילה נדגמת ברצף פונמות, וה-HMM מוצא את רצף-המילים הסביר-ביותר מתוך אות-הקול הנשמע. הגישה הזו החליפה ניסיונות מוקדמים יותר שביקשו לחקות ישירות איך בני-אדם מפענחים דיבור, בגישה סטטיסטית-טהורה. דוגמה בולטת היא Sphinx, מערכת מבוססת-HMM שפיתח קאי-פו לי בקרנגי-מלון ב-1988 לעבודת-הדוקטורט שלו, והדגימה לראשונה זיהוי-דיבור רציף, בלתי-תלוי-דובר ובאוצר-מילים גדול — יכולת שהייתה שנויה-במחלוקת קודם לכן. רק עם התבססותן של רשתות-נוירונים עמוקות בתחילת שנות ה-2010 הוחלף HMM בהדרגה במערכות קצה-לקצה (End-to-End) מבוססות-רשתות, שאינן זקוקות עוד למודל-שרשרת נפרד.
שימושים נוספים: מכתב-יד ועד גנום
מעבר לדיבור, HMM שימש בסיס לזיהוי כתב-יד, לתיוג חלקי-דיבור בעיבוד-שפה-טבעית (למשל לסמן כל מילה כשם-עצם או כפועל), ונעשה כלי-יסוד בביואינפורמטיקה — בין השאר לאיתור גנים בתוך רצפי DNA, שבהם ה"מצבים" הנסתרים הם אזורים תפקודיים שונים בגנום וה"פליטות" הן האותיות הנצפות של הרצף עצמו. בכל היישומים האלה משותף אותו מבנה: רצף-נתונים נצפה שמסתיר מאחוריו רצף-קטגוריות שרוצים לשחזר.
מגבלה ומורשת: הנחת מרקוב מול זיכרון ארוך-טווח
הנחת-מרקוב עצמה היא גם המגבלה המרכזית: מצב תלוי רק בקודמו, ולכן HMM מתקשה ללכוד תלות בין אירועים רחוקים ברצף. רשתות-נוירונים חוזרות (RNN) ובהמשך מודלים מבוססי-קשב (Attention) פתרו את זה בכך שלמדו ייצוג עשיר ורציף במקום מספר קטן של מצבים דיסקרטיים, ועקפו את HMM ברוב המשימות בקנה-מידה גדול. באופן מושגי, HMM הוא הקרוב-המשפחה הדיסקרטי-הסתברותי של מסנן קלמן: שניהם מעריכים מצב נסתר מתוך תצפיות רועשות, אלא ש-HMM עובד על מספר סופי של מצבים ומסנן קלמן על מצב רציף. עם זאת, HMM נשאר עד היום כלי-לימוד מרכזי להסבר מודל-סדרתי גנרטיבי, ונשאר בשימוש פעיל בביואינפורמטיקה ובבעיות שבהן פרשנות שקופה של המודל חשובה יותר מדיוק מרבי.