קידוד מיקום (Positional Encoding)

בעוד שרשת נשנית קוראת מילה-אחר-מילה וכך "יודעת" סדר באופן טבעי, מנגנון הקשב בטרנספורמר מעבד את כל המילים בבת אחת ומקבילית — ומאבד את המידע על מי הופיעה לפני מי.

קידוד-מיקום פותר את זה: מוסיף לכל מילה "חותמת" מספרית שמייצגת את מיקומה ברצף, כך שהמודל יכול להבחין בין "הכלב נשך את החתול" ל"החתול נשך את הכלב" — אותן מילים, סדר שונה, משמעות שונה.