למידה-עצמית-מפוקחת (Self-supervised Learning)

במקום שאדם יתייג כל דוגמה, המודל לומד מהמבנה הפנימי של הנתונים עצמם — למשל, מסתירים מילה אקראית במשפט ומאמנים את המודל לנחש אותה מתוך ההקשר. "התשובה הנכונה" ידועה מראש, בלי צורך בתיוג ידני.

השיטה הזו היא הסיבה שאפשר לאמן מודלי שפה על טריליוני מילים מהאינטרנט — אין צורך שמישהו יתייג ידנית כל משפט; הטקסט עצמו, כפי שהוא, מספק את "התשובות הנכונות" לתהליך האימון.