מבוכיות (Perplexity)

מבוכיות מודדת כמה "בטוח" המודל בתחזיות שלו על רצף מילים אמיתי — אם הוא נותן הסתברות גבוהה למילה הנכונה בכל שלב, המבוכיות נמוכה; אם הוא "מופתע" לעיתים קרובות, היא גבוהה.

המדד מקורו עוד בתחום זיהוי-הדיבור בשנות ה-70 של המאה הקודמת, והפך מאז לכלי-הערכה סטנדרטי במידול-שפה סטטיסטי. מבחינה מתמטית, מבוכיות קשורה ישירות לאנטרופיה של המודל — ערך שאפשר לפרש, בקירוב, כ"כמה מילים-מועמדות שקולות המודל מתלבט ביניהן" בממוצע בכל שלב.

להמחשה מספרית: מבוכיות של 1 משמעה חיזוי מושלם וודאי, בלי שום "הפתעה" בכלל; מבוכיות של, למשל, 20 אפשר לפרש בקירוב כאילו בכל שלב המודל "מהסס" בין כ-20 מילים-מועמדות שקולות-בסבירותן. ככל שמודלי-השפה השתפרו לאורך השנים, המבוכיות הממוצעת שלהם על טקסט טבעי ירדה בהתמדה — אחד הסימנים המספריים המוקדמים ביותר לכך שמודל "מבין" את השפה טוב יותר, עוד לפני שהיה אפשר למדוד זאת באמצעות בנצ'מארקים מתוחכמים יותר.

זהו מדד-אימון פנימי ושימושי להשוואת גרסאות-מודל, אך לא מודד ישירות "איכות" בעיני משתמש אנושי — מודל יכול להיות בעל מבוכיות נמוכה ועדיין לייצר תשובות משעממות, חוזרות-על-עצמן, או לא-מדויקות עובדתית. זו הסיבה שמבוכיות נחשבת כלי-אבחון פנימי למפתחי-מודלים, לא מדד-איכות שמפורסם לצרכן הסופי.

מבחינת האימון עצמו, מבוכיות קשורה ישירות ל"פונקציית-האובדן" (Loss Function) שהמודל מנסה למזער בכל שלב-אימון — כשחוקרים מדווחים ש"האובדן ירד" במהלך אימון, זו למעשה דרך שקולה לומר שהמבוכיות של המודל על נתוני-האימון השתפרה. זו הסיבה שמבוכיות היא לרוב הגרף הראשון שמפתחי-מודלים בוחנים כדי לוודא שאימון מתקדם כראוי, עוד לפני שהמודל עובר בדיקות-איכות מקיפות יותר. עם זאת, שתי גרסאות-מודל עם מבוכיות דומה יכולות עדיין להיבדל מאוד באיכות-התשובות בעיני הקוראים בפועל — סיבה מרכזית לכך שבנצ'מארקים ייעודיים-למשימה משלימים את המבוכיות, ולא מחליפים אותה.