טוקן (Token)

טוקן (Token) הוא יחידת הטקסט הבסיסית שמודל שפה "רואה" ומעבד — לרוב לא מילה שלמה, אלא חלק ממילה, סימן פיסוק, או לעיתים מילה שלמה קצרה.

לדוגמה, מילה ארוכה או נדירה עשויה להתפרק לכמה טוקנים, בעוד מילה נפוצה וקצרה עשויה להישאר טוקן אחד שלם. חלוקה כזו מאפשרת למודל להתמודד גם עם מילים נדירות או שגיאות כתיב, על ידי הרכבתן מחלקים מוכרים.

אורך שיחה, וברוב השירותים המסחריים גם עלות השימוש, נמדדים בטוקנים ולא במילים — ולכן טקסט עברי (שנוטה להתפרק ליותר טוקנים ליחידת-מילה מאשר אנגלית) עלול לצרוך יותר "מכסה" מטקסט אנגלי מקביל באורכו.