למידה-עצמית-מפוקחת (Self-supervised Learning)

במקום שאדם יתייג כל דוגמה, המודל לומד מהמבנה הפנימי של הנתונים עצמם — למשל, מסתירים מילה אקראית במשפט ומאמנים את המודל לנחש אותה מתוך ההקשר. "התשובה הנכונה" ידועה מראש, בלי צורך בתיוג ידני.

יאן לה-קון, ממדעני ה-AI הבכירים בעולם, כינה בפוסט מפורסם מ-2021 את למידה-עצמית-מפוקחת "החומר האפל של האינטליגנציה" — ברוח הכינוי הפיזיקלי לחומר-האפל שאי-אפשר לראות ישירות אבל מרכיב את רוב היקום: לטענתו, רוב מה שבני-אדם ובעלי-חיים לומדים קורה בדיוק בדרך הזו, לא דרך תיוג-מפורש או ניסוי-וטעייה.

בתחום התמונות, גישה שונה מ"הסתרת-מילה" נקראת "למידה-ניגודית" (Contrastive Learning): במקום להסתיר חלק מהתמונה, לוקחים את אותה תמונה, יוצרים לה שני עיוותים-אקראיים שונים (חיתוך, סיבוב, שינוי-צבע), ומאמנים את המודל "לזהות" שמדובר עדיין באותו פריט מקורי — בלי שאף אחד אמר לו במפורש מה הפריט הזה. השיטה הזו היא הבסיס למודלים כמו CLIP של OpenAI, שלמדו לקשר בין תמונות לתיאורים טקסטואליים שלהן מתוך מיליוני זוגות תמונה-כיתוב מהאינטרנט, בלי תיוג-קטגוריות ידני כלל.

השיטה הזו היא הסיבה שאפשר לאמן מודלי שפה על טריליוני מילים מהאינטרנט — אין צורך שמישהו יתייג ידנית כל משפט; הטקסט עצמו, כפי שהוא, מספק את "התשובות הנכונות" לתהליך האימון. חשוב להבחין בין למידה-עצמית-מפוקחת ללמידה-לא-מפוקחת "טהורה": בשתיהן אין תיוג אנושי, אבל בלמידה-עצמית-מפוקחת יש בכל זאת "תשובה נכונה" ברורה שהמודל שואף אליה (המילה שהוסתרה, למשל) — ולכן היא, מבחינה טכנית, קרובה יותר בפועל ללמידה מפוקחת מבחינת מנגנון-האימון, למרות שהנתונים עצמם לא-מתויגים.