קודן-מפענח (Encoder-Decoder)

הקודן קורא את כל הטקסט-המקור ומדחיס אותו לייצוג מספרי-פנימי שמכיל את "המשמעות". המפענח לוקח ייצוג זה ובונה ממנו, מילה-אחר-מילה, את הפלט הרצוי — למשל תרגום לשפה אחרת.

המבנה הזה קדם לטרנספורמר בכמה שנים — הוצג לראשונה ב-2014 עם רשתות נשניות, כדי לפתור משימות שבהן אורך הקלט והפלט שונה (למשל תרגום משפט קצר למשפט ארוך יותר). מבנה קודן-מפענח שימש גם כבסיס למאמר "תשומת לב היא כל שצריך" שהציג את הטרנספורמר ב-2017 — שם שני החלקים חוברו עם מנגנון-קשב, במקום עם רשתות נשניות.

דוגמה מוחשית לשימוש: מערכות תרגום-מכונה מסחריות כמו Google Translate מבוססות בליבתן בדיוק על העיקרון הזה — קודן שקורא משפט בשפת-המקור ובונה ממנו ייצוג-משמעות פנימי, ומפענח שהופך את הייצוג הזה למשפט בשפת-היעד. אותו עיקרון בדיוק עומד גם מאחורי משימות סיכום-טקסט אוטומטי, כשהקלט (מאמר ארוך) והפלט (תקציר קצר) שונים מהותית באורך ובמבנה, לא רק בתוכן.

מודלים מודרניים רבים משתמשים רק בחלק אחד מהמבנה: משפחת GPT — Generative Pre-trained Transformer — של OpenAI משתמשת רק ב"מפענח" (טובה במיוחד ליצירת טקסט חופשי), בעוד BERT — Bidirectional Encoder Representations from Transformers — של Google משתמש רק ב"קודן" (טוב יותר להבנת טקסט קיים, כמו סיווג וניתוח-רגשות). הבחירה בין הגישות תלויה במשימה: יצירת-תוכן חופשי מעדיפה מפענח בלבד, בעוד הבנה/סיווג של טקסט קיים מעדיפים קודן בלבד. בניגוד לשתי הגישות החד-כיווניות האלה, מודלים כמו T5 של Google (2019) שמרו על שני החלקים גם יחד — גישה שמתאימה במיוחד למשימות שבהן הקלט והפלט הם שניהם טקסט מובנה, כמו תרגום או מענה-לשאלה מתוך מסמך נתון. עד היום, כשמפתחים בוחרים ארכיטקטורה למודל חדש, ההחלטה בין קודן-בלבד, מפענח-בלבד, או שניהם יחד היא עדיין אחת ההחלטות הראשונות והמשמעותיות ביותר בתכנון.