פונקציית איבוד (Loss Function)

אחרי שהמודל מנבא תשובה, פונקציית-האיבוד משווה אותה לתשובה האמיתית ומחזירה מספר יחיד: ככל שהתחזית רחוקה יותר, המספר גבוה יותר. תשובה מושלמת תיתן איבוד אפס.

צורת פונקציית-האיבוד משתנה לפי המשימה: במשימת-רגרסיה (חיזוי מספר) נהוג למדוד את ריבוע-ההפרש מהתשובה הנכונה (שגיאה-ריבועית-ממוצעת, Mean Squared Error); במשימת-סיווג (בחירה בין קטגוריות) נהוג להשתמש בפונקציה שנקראת "אנטרופיה-צולבת" (Cross-Entropy), שמעניקה עונש חמור במיוחד על תחזית בטוחה-מדי שמתבררת כשגויה — עונש חמור בהרבה מאשר על תחזית מהוססת ושגויה באותה מידה.

מודלי שפה גדולים משתמשים באנטרופיה-צולבת בדיוק כזו: בכל צעד אימון, המודל מנבא הסתברות לכל טוקן אפשרי כ"מילה הבאה", ופונקציית-האיבוד מודדת כמה רחוקה ההסתברות שהוא נתן לטוקן הנכון-בפועל מהסתברות של 100%. בשלב הכוונון-מאוחר-יותר של RLHF (למידת חיזוק מפידבק אנושי), לעומת זאת, נכנס לתמונה "מודל-תגמול" (Reward Model) נפרד שמאומן במיוחד לחזות דירוג-העדפה אנושי — ופונקציית-האיבוד שלו שונה לגמרי, כי המשימה כבר לא "נחש את המילה הבאה" אלא "נחש כמה בן-אדם יאהב את התשובה הזו".

כל תהליך האימון — backpropagation וירידת-גרדיאנט — קיים בשביל מטרה אחת: להקטין את ערך פונקציית-האיבוד בהדרגה, עד שהמודל מייצר תחזיות קרובות ככל האפשר למציאות על נתוני-האימון. חשוב להבחין בין פונקציית-האיבוד (המספר שהאימון עצמו ממזער באופן ישיר) לבין מדדי-הצלחה אחרים שמשתמשים בהם רק להערכה (כמו דיוק-סיווג באחוזים) — לא תמיד שיפור בפונקציית-האיבוד מתורגם ישירות לשיפור זהה במדד שבאמת מעניין את המשתמש הסופי — לדוגמה, מודל שממזער היטב אנטרופיה-צולבת יכול עדיין להזות (Hallucination) עובדות שגויות בביטחון גבוה, כי "לחזות את הטוקן הסביר ביותר סטטיסטית" ו"להיות עובדתית נכון" הן שתי מטרות שלא תמיד חופפות.