אימון משלמים פעם אחת; הרצה משלמים על כל בקשה, של כל משתמש, כל יום. לכן במוצר בקנה-מידה גדול עלות ההרצה היא זו שקובעת אם הוא רווחי — ולא עלות האימון, המרשימה יותר לכותרת.
הנתון המרכזי מגיע מדוח מדד ה-AI של אוניברסיטת סטנפורד, מהדורת 2025: העלות של הרצת מערכת שמגיעה לרמת הביצועים של GPT-3.5 ירדה ביותר מפי 280 בין נובמבר 2022 לאוקטובר 2024. ירידה בסדר גודל כזה, בתוך פחות משנתיים, נדירה מאוד בכל תעשייה.
כדי לתרגם את זה למשהו מוחשי: משימה שעלותה בסוף 2022 הייתה דולר בודד ירדה בתוך פחות משנתיים לפחות מחצי סנט. ההשלכה המעשית היא ששימושים שלא היו כדאיים כלכלית — לסרוק כל מסמך בארגון, לתרגם כל פנייה, לסכם כל שיחה — נעשו כדאיים בלי שהטכנולוגיה עצמה השתנתה מהותית.
הדוח מצביע על שני מקורות לירידה: עלות החומרה יורדת בכ-30 אחוזים בשנה, ויעילות האנרגיה משתפרת בכ-40 אחוזים בשנה. לצידם פועלות שיטות תוכנה כמו כימות מודל וזיקוק מודל, שמאפשרות להריץ מודל קטן וזול במקום גדול ויקר בלי לאבד הרבה מהאיכות.
שתי הסתייגויות שקובעות איך לקרוא את המספר. הראשונה: הוא מתייחס לרמת ביצועים קבועה. הוא אומר שמה שהיה יקר בסוף 2022 זול היום — לא שהמודלים המתקדמים ביותר נעשו זולים. אלה ממשיכים לעלות כסף, ובחלק מהמקרים אף יותר, כי הם משקיעים חישוב רב יותר בכל תשובה.
השנייה: ירידת מחיר ליחידה אינה ירידה בהוצאה הכוללת. באותו דוח עצמו נכתב שכמות החישוב לאימון מודל חזיתי מכפילה את עצמה כל חמישה חודשים בקירוב, ושצריכת החשמל מכפילה את עצמה מדי שנה. התעשייה מוציאה יותר, לא פחות — היא פשוט מקבלת הרבה יותר תמורת כל דולר.