זיקוק מודל (Model Distillation)

במקום ללמד את המודל הקטן ישירות מנתונים גולמיים, הוא לומד לחקות את הפלטים (או ההסתברויות הפנימיות) של המודל הגדול על אותם קלטים — "לומד מהמורה" במקום מהעולם ישירות.

התוצאה: מודל קטן שמריץ הרבה יותר מהר וזול מהמודל המקורי, תוך שמירה על חלק ניכר מהיכולת שלו — פשרה נפוצה כשצריך להריץ AI במכשירים קטנים או בקנה-מידה עצום.