חלון הקשר (Context Window)

חלון הקשר (Context Window) הוא כמות הטקסט — נמדדת בטוקנים — שמודל שפה "זוכר" ולוקח בחשבון בו-זמנית בתוך שיחה אחת.

כשאורך השיחה חורג מגודל חלון ההקשר, המידע הישן ביותר "נשכח" בפועל — המודל פשוט לא רואה אותו יותר כשהוא מגבש תשובה, גם אם הוזכר קודם באותה שיחה.

חלונות ההקשר גדלו דרמטית בשנים האחרונות — ממודלים שזכרו רק כמה אלפי מילים, למודלים מודרניים שמסוגלים להחזיק במקביל מסמכים שלמים או אפילו ספרים, ולענות עליהם בהתבסס על כל התוכן שהוזן.