הסקה (Inference)

הסקה (Inference) היא הרגע שבו מודל AI כבר מאומן ומשתמשים בו בפועל — לענות על שאלה, לזהות תמונה, לתרגם משפט — בניגוד לשלב האימון, שבו המודל עדיין לומד ומתעדכן. ברשת נוירונים, מדובר בפועל בהעברת קלט חדש דרך כל שכבות המודל פעם אחת, בלי לעדכן אף פרמטר, עד לקבלת פלט.

ההבדל חשוב כלכלית, ובאופן שמפתיע רבים: אימון הוא תהליך חד-פעמי (או חוזר-לעיתים-רחוקות), אבל הסקה קורית בכל פעם שמישהו שולח הודעה ל-ChatGPT או Claude — מיליוני פעמים ביום — ולכן לאורך זמן היא לרוב היקרה מבין השתיים במצטבר. אימון מודל (GPT — Generative Pre-trained Transformer) בגרסת GPT-4, למשל, הוערך בכ-150 מיליון דולר, אבל עלויות-ההסקה המצטברות שלו כבר עברו 2 מיליארד דולר תוך פחות משנתיים משחרורו.

"זמן הסקה" (Inference Time) — כמה זמן לוקח למודל לייצר תשובה — הוא אחד המדדים המרכזיים שמפתחי AI עובדים על שיפורו, כי הוא משפיע ישירות על חוויית המשתמש בזמן אמת. מגמה שהתחזקה מאז 2023 היא הרצת-הסקה ישירות על מכשיר-הקצה של המשתמש (On-device Inference) — טלפון או מחשב, בלי לשלוח נתונים לשרת מרוחק — יתרון לפרטיות ולמהירות-תגובה, שמתאפשר הודות למודלים קטנים-יחסית שתוכננו במיוחד להרצה מקומית, כמו משפחת Phi של מיקרוסופט או המודלים הקטנים בסדרת Gemini Nano של גוגל.

כיוון נוסף, הפוך-כמעט: מאז סוף 2024 הופיעו "מודלי-חשיבה" (Reasoning Models) שמקצים בכוונה יותר זמן-הסקה לכל שאלה בודדת — הם "חושבים בקול" בשלבי-ביניים לפני מתן תשובה סופית — כדי לשפר דיוק במשימות מורכבות כמו מתמטיקה ותכנות, במחיר זמן-תגובה ארוך יותר ועלות-הסקה גבוהה יותר לשאילתה בודדת. שני הכיוונים — הסקה קטנה ומהירה על המכשיר, והסקה כבדה ואיטית עם חשיבה ממושכת — מדגימים שאין תשובה אחת ל"כמה משאבים נכון להשקיע בהסקה": הבחירה תלויה במשימה הספציפית ובאיזון הרצוי בין מהירות, עלות ואיכות התשובה. טכניקה נפוצה לזירוז שלב ההסקה במודלי-שפה היא פענוח ספקולטיבי (Speculative Decoding), שבה מודל קטן מציע כמה טוקנים קדימה והמודל הגדול בודק את כולם במעבר אחד, בלי לשנות את התפלגות הפלט.