מנגנון קשב (Attention Mechanism)

כשמודל מעבד משפט, לא כל מילה חשובה באותה מידה להבנת כל מילה אחרת — "קשב" מאפשר למודל לחשב, לכל מילה, כמה "לשים לב" לכל מילה אחרת במשפט, ולשקלל בהתאם.

לפני הקשב, מודלים עיבדו טקסט ברצף, מילה-אחר-מילה, ואיבדו הקשר רחוק. קשב מאפשר לכל מילה "להסתכל" ישירות על כל מילה אחרת בבת אחת, ללא קשר למרחק ביניהן במשפט — פריצת-הדרך שהובילה לטרנספורמר.