טוקניזציה (Tokenization)

מודל שפה לא "קורא" טקסט כמו בן-אדם — הוא מקבל רצף מספרים. טוקניזציה היא השלב הראשון שממיר טקסט לרצף כזה, לפי מילון-טוקנים קבוע שהמודל אומן עליו.

שיטות נפוצות (כמו BPE) מפרקות מילים נדירות לחלקים קטנים יותר וחוזרים-על-עצמם, כדי לאזן בין גודל-מילון סביר ליכולת לייצג כל מילה אפשרית — גם כזו שהמודל מעולם לא ראה שלמה.