מגמת עלות ההרצה (Inference Cost Trend)
הגדרה
עלות ההרצה של מערכת ברמת GPT-3.5 ירדה ביותר מפי 280 בין נובמבר 2022 לאוקטובר 2024, לפי דוח מדד ה-AI של סטנפורד.
למה עלות ההרצה חשובה יותר מעלות האימון
אימון משלמים פעם אחת; הרצה משלמים על כל בקשה, של כל משתמש, כל יום. לכן במוצר בקנה-מידה גדול עלות ההרצה היא זו שקובעת אם הוא רווחי — ולא עלות האימון, המרשימה יותר לכותרת. מכאן גם החשיבות של המגמה: כשהמחיר ליחידה נופל, שימושים שלא היו כדאיים כלכלית הופכים לכדאיים בלי שהטכנולוגיה עצמה השתנתה.
המספר המרכזי: פי 280 בפחות משנתיים
לפי דוח מדד ה-AI של אוניברסיטת סטנפורד, מהדורת 2025, עלות ההרצה של מערכת שמגיעה לרמת הביצועים של GPT-3.5 ירדה ביותר מפי 280 בין נובמבר 2022 לאוקטובר 2024. ירידה בסדר גודל כזה, בתוך פחות משנתיים, נדירה מאוד בכל תעשייה. כדי לתרגם זאת למשהו מוחשי: משימה שעלותה בסוף 2022 הייתה דולר בודד ירדה בתוך פחות משנתיים לפחות מחצי סנט. ההשלכה המעשית היא שלסרוק כל מסמך בארגון, לתרגם כל פנייה או לסכם כל שיחה נעשה כדאי.
מקורות אחרים, מספרים אחרים — ואותו כיוון
המספר תלוי ברמת-הביצועים שמקבעים. קרן ההון-סיכון Andreessen Horowitz חישבה בנובמבר 2024 ירידה של פי עשרה בשנה לרמת-ביצועים נתונה: מ-60 דולר למיליון טוקנים בנובמבר 2021 לשישה סנט בסוף 2024, ברמה שהייתה בשעתה של GPT-3. מכון המחקר Epoch AI בדק במרץ 2025 שש אמות-מידה שונות וקיבל טווח רחב, בין פי תשעה לפי תשע-מאות בשנה; ברמת הביצועים של GPT-4 בשאלות מדע ברמת דוקטורט הוא מדד ירידה של פי 40 בשנה. כלומר "פי 280" הוא נקודה אחת בתוך תופעה, לא קבוע-טבע.
מה מוריד את המחיר
דוח סטנפורד מצביע על שני מקורות לירידה: עלות החומרה יורדת בכ-30 אחוזים בשנה, ויעילות האנרגיה משתפרת בכ-40 אחוזים בשנה. לצידם פועלות שיטות תוכנה כמו כימות מודל וזיקוק מודל, שמאפשרות להריץ מודל קטן וזול במקום גדול ויקר בלי לאבד הרבה מהאיכות. גם התחרות בין הספקים לוחצת את המחירים כלפי מטה.
מה המספר אינו אומר
הוא מתייחס לרמת ביצועים קבועה. הוא אומר שמה שהיה יקר בסוף 2022 זול היום — לא שהמודלים המתקדמים ביותר נעשו זולים. אלה ממשיכים לעלות כסף, ובחלק מהמקרים אף יותר, כי הם משקיעים חישוב רב יותר בכל תשובה. Epoch AI מוסיפה הסתייגות משלה: הירידות החדות ביותר נמדדו דווקא בשנה האחרונה שנבדקה, ואין ודאות שהקצב הזה יימשך.
מחיר ליחידה מול הוצאה כוללת
ירידת מחיר ליחידה אינה ירידה בהוצאה הכוללת. באותו דוח של סטנפורד נכתב שכמות החישוב לאימון מודל חזיתי מכפילה את עצמה כל חמישה חודשים בקירוב, מאגרי הנתונים כל שמונה, וצריכת החשמל מדי שנה. במקביל גדל נפח השימוש: הערך על נפח הטוקנים המעובד בחודש מראה גידול של פי שבעה בשנה אצל ספק אחד. התעשייה מוציאה יותר, לא פחות — היא פשוט מקבלת הרבה יותר תמורת כל דולר.
📬 הגיליון השבועי של Wiki-AI
פעם בשבוע, ביום ראשון: שלושת הדברים החשובים שקרו בעולם הבינה המלאכותית, בעברית פשוטה, וערכים חדשים באנציקלופדיה. לגיליונות
שאלות נפוצות ❓
כמה ירדה עלות ההרצה?
לפי דוח מדד ה-AI של סטנפורד ממהדורת 2025, ביותר מפי 280 עבור מערכת ברמת GPT-3.5, בין נובמבר 2022 לאוקטובר 2024. מקורות אחרים מדדו טווח רחב יותר, בהתאם לרמת-הביצועים שנבחרה.
למה עלות ההרצה חשובה יותר מעלות האימון?
כי על אימון משלמים פעם אחת, ועל הרצה משלמים על כל בקשה של כל משתמש בכל יום. במוצר גדול, ההרצה היא שקובעת אם הוא רווחי.
האם זה אומר שמודלים מתקדמים נעשו זולים?
לא. המספר מתייחס לרמת ביצועים קבועה: מה שהיה יקר בסוף 2022 זול היום. המודלים בחזית ממשיכים לעלות כסף, ולעיתים אף יותר, כי הם משקיעים חישוב רב יותר בכל תשובה.
מה גורם לירידה?
לפי דוח סטנפורד, עלות החומרה יורדת בכ-30 אחוזים בשנה ויעילות האנרגיה משתפרת בכ-40 אחוזים בשנה. לצידם פועלות שיטות כמו כימות וזיקוק מודל, שמאפשרות להריץ מודל קטן במקום גדול.
אם המחיר יורד, למה ההוצאה על AI רק גדלה?
כי הכמות גדלה מהר יותר מכפי שהמחיר יורד. לפי אותו דוח, החישוב לאימון מודל חזיתי מוכפל כל חמישה חודשים בקירוב וצריכת החשמל מדי שנה, ונפח השימוש בפועל גדל אף הוא בקצב גבוה.