קודן-מפענח (Encoder-Decoder)

הקודן קורא את כל הטקסט-המקור ומדחיס אותו לייצוג מספרי-פנימי שמכיל את "המשמעות". המפענח לוקח ייצוג זה ובונה ממנו, מילה-אחר-מילה, את הפלט הרצוי — למשל תרגום לשפה אחרת.

מבנה זה שימש כבסיס למאמר "תשומת לב היא כל שצריך" שהציג את הטרנספורמר. מודלים מודרניים רבים (כמו GPT) משתמשים רק בחלק ה"מפענח", בעוד שאחרים (כמו BERT) משתמשים רק ב"קודן" — תלוי במשימה.