מנגנון קשב (Attention Mechanism)

כשמודל מעבד משפט, לא כל מילה חשובה באותה מידה להבנת כל מילה אחרת — "קשב" מאפשר למודל לחשב, לכל מילה, כמה "לשים לב" לכל מילה אחרת במשפט, ולשקלל בהתאם לרלוונטיות.

מנגנון הקשב הוצג לראשונה עוד ב-2014, שלוש שנים לפני הטרנספורמר, בהקשר של תרגום-מכונה: רשתות שקראו משפט שלם ודחסו אותו לייצוג יחיד לפני התרגום התקשו במשפטים ארוכים, וקשב איפשר למודל "להציץ" חזרה במילים הרלוונטיות במקור בכל שלב של ייצור התרגום.

אפשר להמחיש את הרעיון בדוגמה יומיומית: במשפט "הכלב שרדף אחרי החתול, שנעלם מתחת לרכב, נבח בכעס" — קורא אנושי יודע אינטואיטיבית ש"נבח" מתייחס ל"כלב" ולא ל"רכב", למרות המרחק במשפט. מנגנון-קשב מחשב לכל מילה "ציון-רלוונטיות" (משקל-קשב) כלפי כל מילה אחרת, ומאפשר למודל לבצע קפיצה דומה ישירות אל המילה הרלוונטית — בלי לעבור, שלב-אחר-שלב, דרך כל המילים שביניהן.

לפני הקשב, מודלים עיבדו טקסט ברצף, מילה-אחר-מילה, ואיבדו הקשר רחוק. קשב מאפשר לכל מילה "להסתכל" ישירות על כל מילה אחרת בבת אחת, ללא קשר למרחק ביניהן במשפט — פריצת-הדרך שהובילה ב-2017 לטרנספורמר, ומאז לכל מודלי השפה הגדולים של היום. חוקרים משתמשים גם היום במשקלי-הקשב שהמודל מחשב ככלי-פרשנות (Interpretability) — הצגתם כמפת-חום מראה, לעיתים, אילו מילים "השפיעו" הכי הרבה על תשובה נתונה, אם כי הקשר בין משקל-קשב גבוה להסבר-סיבתי אמיתי עדיין נתון לוויכוח מחקרי.

בפועל, הטרנספורמר אינו מפעיל "ראש-קשב" יחיד אלא כמה ראשי-קשב במקביל (Multi-Head Attention) — כל אחד יכול ללמוד סוג-קשר אחר בין מילים (אחד עשוי להתמקד ביחסי נושא-פועל, אחר בזיהוי כינויי-גוף), והתוצאות משולבות יחד לייצוג עשיר יותר מכל ראש בודד לבדו. במודלים גדולים יש בדרך-כלל עשרות ראשי-קשב כאלה בכל שכבה, ועשרות שכבות במקביל — כך שהמושג "קשב" הפשוט-לכאורה מתורגם בפועל לחישוב עצום ומקבילי, לא לפעולה בודדת אחת.