כימות מודל (Quantization)

פרמטרי מודל נשמרים בדרך כלל כמספרים עשרוניים מדויקים מאוד. כימות "מעגל" אותם לדיוק נמוך יותר — פחות ספרות אחרי הנקודה, או אפילו מספרים שלמים — מה שמקטין את הקובץ ומאיץ חישוב.

טכניקות כימות ייעודיות למודלי-שפה-גדולים (כמו GPTQ, שהוצגה ב-2022) אפשרו לראשונה לכמת מודלים בני מיליארדי פרמטרים בלי אובדן-דיוק משמעותי, ותוך דקות ספורות של חישוב במקום ימים.

ברמת-הצרכן, הרמות הנפוצות ביותר הן כימות ל-8 סיביות (INT8) ול-4 סיביות (INT4) — כימות ל-4 סיביות מקטין את גודל-הקובץ פי כ-8 יחסית למקור (32 סיביות), ומאפשר להריץ מודלים בני מיליארדי פרמטרים על מחשב אישי רגיל, ולעיתים אפילו על טלפון, במחיר איבוד-איכות שלרוב קשה להבחין בו בשימוש יומיומי.

דוגמה מתקדמת לכימות שמיושם כבר בזמן-האימון עצמו, לא רק אחריו: DeepSeek-V3 (סוף 2024) אימן חלק ניכר מהחישוב במספרים בני 8 סיביות בלבד (FP8) במקום 32 הסיביות המקובלות, וטיפל בנקודות-רגישות מסוימות (כמו תוצרי מנגנון-הקשב) בפורמט-ביניים של 12 סיביות — גישה שהפחיתה משמעותית את דרישות-הזיכרון כבר בשלב-האימון עצמו, לא רק בשלב ההרצה בסופו. נכון ל-2026, כימות הוא חלק שגרתי מכל שחרור מודל בעל-משקלים-פתוחים, לא צעד אופציונלי בדיעבד.

הפשרה אינה תמיד חסרת-סיכון: משימות שדורשות דיוק מספרי גבוה (כמו חישובים מתמטיים מורכבים) עלולות להיפגע יותר מכימות אגרסיבי מאשר משימות שיחה כלליות — ולכן כלים רבים מציעים כמה רמות-כימות שונות לאותו מודל, ומאפשרים למשתמש לבחור נקודת-איזון בין גודל-קובץ לאיכות, בהתאם לצורך המדויק שלו. פלטפורמות שיתוף-מודלים כמו Hugging Face מארחות בדרך-כלל כמה גרסאות-כימות שונות לכל מודל בעל-משקלים-פתוחים פופולרי, כדי שמשתמשים עם חומרה שונה לחלוטין — מטלפון נייד ועד שרת-ענן חזק — יוכלו לבחור את הגרסה המתאימה להם.