ההגדרה: לומד רק את הגבול
מודל מבחין הוא מודל למידת-מכונה שמטרתו היחידה היא לסווג — לקבוע לאיזו קטגוריה שייך קלט נתון. כדי לעשות את זה, הוא לומד ישירות את ההסתברות המותנית של תווית בהינתן קלט, או פשוט את קו-הגבול הישיר שמפריד בין הקטגוריות במרחב הקלט — למשל הקו שמפריד תמונות-חתול מתמונות-כלב. מה שהוא לא לומד הוא איך הנתונים עצמם "נראים" או "נוצרו": מודל מבחין לא בונה ייצוג פנימי של התפלגות-הקלט, ולכן אינו מסוגל לדגום ממנו דוגמה חדשה שלא הופיעה באימון. זהו ההבדל המהותי בינו לבין מודל גנרטיבי, שלומד את התפלגות-הנתונים המלאה כדי שיוכל גם ליצור דוגמאות חדשות, לא רק לסווג קיימות.
דוגמאות מוכרות
רגרסיה לוגיסטית היא דוגמת-המבוא הקלאסית למודל מבחין — היא מעריכה ישירות את ההסתברות שדוגמה נתונה שייכת לקטגוריה מסוימת, בלי לבנות מודל נפרד לכל קטגוריה. מכונת-וקטורים-תומכים (SVM) היא דוגמה נוספת: היא מחפשת את קו-הגבול שמפריד בין הקטגוריות במרווח הרחב ביותר האפשרי, שוב בלי לדגמן איך כל קטגוריה מתפלגת בפני עצמה. עצי-החלטה, יערות-אקראיים ורוב רשתות-הנוירונים הרגילות המשמשות לסיווג — כולל רשתות-קונבולוציה סטנדרטיות לזיהוי-תמונות — הן גם הן מודלים מבחינים במובן הזה, גם אם הן לא נראות דומות זו לזו מבחינה ארכיטקטונית.
אנלוגיה מוכרת מהוראת למידת-מכונה
הפרשי-הגישה בין שני סוגי המודלים מודגמים לעיתים קרובות בקורסי-מבוא בעזרת דוגמה פשוטה: משימת סיווג בין תמונות פילים לתמונות כלבים. מודל מבחין מנסה למצוא ישירות קו — או פונקציה מורכבת יותר — שמפריד בין שתי הקבוצות במרחב-התכונות, בלי לדעת בכלל איך פיל "אמור להיראות". מודל גנרטיבי, לעומת זאת, בונה קודם מודל נפרד למה שפיל טיפוסי נראה כמוהו ומודל נפרד לכלב טיפוסי, ומסווג תמונה חדשה לפי איזה משני המודלים היא דומה לו יותר. הדוגמה הזו, המופיעה בהערות-הקורס המוכרות של אנדרו נג בסטנפורד (CS229), ממחישה למה מודל מבחין יכול להסתפק בהרבה פחות מידע כדי לבצע את אותה משימת-סיווג.
יתרון וחיסרון מול מודל גנרטיבי
מחקר-השוואה משנת 2001 מאת אנדרו נג ומייקל ג'ורדן, שבחן ישירות רגרסיה לוגיסטית (מבחינה) מול סיווג בייסיאני נאיבי (גנרטיבי) על אותן משימות בדיוק, מצא שברוב המקרים מודל מבחין משיג בסופו של דבר דיוק גבוה יותר ככל שכמות-נתוני-האימון גדלה — כי הוא לא "מבזבז" יכולת-למידה על מידול היבטים של הנתונים שלא רלוונטיים ישירות למשימת-הסיווג עצמה. מצד שני, כשנתוני-האימון מעטים, מודל גנרטיבי נוטה להגיע מהר יותר לדיוק סביר, כי ההנחות המובנות שלו על צורת-ההתפלגות מספקות לו "ידע קודם" שמודל מבחין חסר.
מתי בוחרים במודל מבחין
כשהמשימה היחידה היא סיווג — ולא יצירת דוגמאות חדשות, השלמת נתונים חסרים, או זיהוי דוגמאות חריגות שרחוקות מהתפלגות-האימון — מודל מבחין הוא לרוב הבחירה היעילה יותר: הוא דורש פחות הנחות-מבנה על הנתונים, מתמקד רק במה שבאמת נחוץ למשימה, ולעיתים קרובות מגיע לביצועי-סיווג גבוהים יותר בכמות-נתונים גדולה. רוב מערכות-הסיווג המסחריות בפועל — מסנני-דואר-זבל, זיהוי-הונאה, סיווג-תמונות — בנויות על מודלים מבחינים בדיוק מהסיבה הזו.
המגבלה: אין יכולת ליצור
המחיר של היעילות הזו הוא חד-משמעי: מודל מבחין אינו יכול לשמש ליצירת דוגמאות חדשות, לדגום מהתפלגות-הנתונים, או לענות על שאלות כמו "כמה סביר קלט הזה בכלל" — משום שהוא מעולם לא למד את ההתפלגות הזו, רק את קו-הגבול. כשצריך יכולת כזו — למשל ביצירת-תמונות, בהשלמת-טקסט, או בגילוי חריגות עמוק יותר מסיווג בינארי — עוברים למודל גנרטיבי, גם במחיר של יעילות-נתונים נמוכה יותר.