"תשומת לב היא כל שצריך" (Attention Is All You Need)

המאמר פורסם ב-12 ביוני 2017, והוצג בהמשך אותה שנה בכנס NIPS (הוא NeurIPS של היום), על-ידי שמונה חוקרי גוגל שווי-תרומה: אשיש ואסוואני, נועם שזייר, ניקי פארמאר, יעקב אוסקוריט, ליון ג'ונס, איידן גומז, לוקאש קייזר ואיליה פולוסוקין. הכותרת עצמה היא מחווה קלילה לשיר של הביטלס, ובתוך הצוות אף כינו את עצמם בבדיחה "Team Transformer" — שם-הארכיטקטורה עצמה, שנדבק כשמה הרשמי לדורות של מודלים שבאו אחריה.

המאמר הציג את ארכיטקטורת הטרנספורמר — צוות החוקרים הראה שאפשר לוותר לגמרי על רשתות נשניות (RNN) ולהסתמך אך ורק על מנגנון-קשב, רעיון שנשמע נועז בזמנו. שלושה חידושים מרכזיים אפשרו זאת: "קשב-מכפלת-נקודה מוגדל" (scaled dot-product attention) ו"קשב-עצמי" (self-attention) שמבטלים את התלות ברצף-נשני; "קשב מרובה-ראשים" (multi-head attention) שמאפשר ללכוד כמה סוגי-קשרים סמנטיים בו-זמנית; ו"קידוד-מיקום" (positional encoding) מבוסס פונקציות סינוס/קוסינוס, ששומר על סדר-המילים ברצף בלי צורך ברשת-נשנית כלל.

היתרון המעשי המכריע היה שהארכיטקטורה ניתנת להאצה מלאה על כרטיסי-מסך (GPU) בזכות המקביליות שלה — מה שקיצר דרמטית זמני-אימון ואפשר לבנות מודלים גדולים בהרבה מבעבר. עד 2026 צוטט המאמר למעלה מ-250,000 פעמים, אחד המאמרים המצוטטים ביותר במאה ה-21 בכל תחומי-המדע.

כל מודלי השפה הגדולים המרכזיים כיום — משפחת GPT (מ-2018 ואילך), BERT (2018), Claude, Gemini ואחרים — בנויים על הארכיטקטורה שהוצגה במאמר הזה, ומאוחר יותר גם מודלים ברב-מודליות, ראייה-ממוחשבת וזיהוי-דיבור אימצו אותה. מעטים מאוד מאמרי-מחקר בהיסטוריה השפיעו כל-כך ישירות ומהר על תעשייה שלמה. עד המאמר הזה, המודלים המובילים לעיבוד-רצפים (כמו תרגום-מכונה) הסתמכו על עיבוד רציף, מילה-אחרי-מילה, שהגביל קשות את מהירות-האימון בקנה-מידה גדול; שבירת ההנחה הזו היא מה שהפך את עידן המודלים בעלי-מיליארדי-הפרמטרים למעשי מבחינה כלכלית וטכנית כאחד — מבלי המקביליות הזו, האימון של מודלים כמו GPT-4 היה עשוי לארוך שנים במקום שבועות.