מה נמדד: לא דולרים ולא פרמטרים, אלא כמות-חישוב-בפועל
כוח-החישוב הנדרש לאימון מודל-שפה חזיתי נמדד ב-FLOP (פעולות-נקודה-צפה) — יחידה שסופרת את כמות החישוב הגולמי שהמודל צרך באימון, בלי קשר למה שהיא עלתה בדולרים או לכמה פרמטרים יש למודל שיצא בסופה. זהו מדד שלישי, נפרד, לצד השניים המוכרים יותר: מספר-הפרמטרים מודד את גודל המודל הסופי, ועלות-האימון מודדת כמה זה עלה בכסף. שני מודלים יכולים להחזיק אותו מספר פרמטרים ולצרוך כמויות-חישוב שונות בתכלית — למשל אם אחד מהם אומן על פי כמה יותר טוקנים, או אומן זמן ארוך יותר על אותו מארג-נתונים.
הקצב שמכון-המחקר Epoch AI עוקב אחריו: פי 5 בשנה
מכון-המחקר Epoch AI מפרסם ומעדכן באופן שוטף מעקב שיטתי אחרי המגמה, בלוח-בקרה ייעודי. לפי העדכון מפברואר 2026, כוח-החישוב הנדרש לאימון מודלי-שפה חזיתיים גדל בקצב חציוני של פי 5 בשנה מאז 2020 — כלומר זמן-הכפלה של כ-5.2 חודשים בממוצע. Epoch AI מדווח גם על טווח-סמך של 90 אחוזים: קצב שנתי שבין פי 4 לפי 6, וזמן-הכפלה שבין 4.6 ל-6.0 חודשים. תחת המגמה הזו, כמות-החישוב שהושקעה באימון חמשת המודלים המובילים גדלה, במצטבר, בערך פי 10,000 מאז 2020.
שלושה גורמים שמניעים את הגידול
ניתוח נפרד של Epoch AI מינואר 2025 פירק את הגידול הכולל בכוח-החישוב מאז 2018 לשלושה מרכיבים נפרדים: כמות-החומרה במקבצי-האימון (Cluster Size), משך-האימון, וביצועי-חומרה בודדת (FLOP/s לשבב). המדגם שנבדק הוגדר על-ידי הניתוח עצמו כ"מודלי-חזית אחרי 2018" — עשרת המודלים שנמצאים, נכון לרגע יציאתם לאור, בין עשרת בעלי כוח-החישוב הגבוה ביותר שפורסמו-אי-פעם עד אותו רגע — כלל מצטבר-לאורך-זמן, לא רשימה שמתאפסת בתחילת כל שנה (למעט מודלים מכוונים-עדינות מבסיס קיים). הגורם הדומיננטי-היסטורית הוא כמות-החומרה: לפי הניתוח, היא צומחת בקצב חציוני של פי כ-1.7 בשנה ותורמת כ-40 אחוזים מהגידול הכולל; משך-האימון גדל בפי כ-1.5 בשנה ותורם כ-33 אחוזים; ושיפור-הביצועים לשבב בודד תורם את שאר ה-27 האחוזים הנותרים. בשילוב, שלושת הגורמים האלה נתנו לפי אותו ניתוח קצב-גידול משולב חציוני של פי כ-4.2 בשנה (טווח פי 3.7 עד פי 4.6). המספר הזה קרוב לקצב "פי 5 בשנה" של המדד המצומצם-יותר, אך אינו זהה לו: שני המדדים עוקבים אחרי מודלי-חזית בלבד, אך בהגדרה שונה במקצת — הניתוח המפורק בודק את עשרת המודלים המובילים החל מ-2018, ואילו הקצב המצומצם ("פי 5 בשנה") עוקב רק אחרי חמשת המודלים המובילים החל מ-2020. ההבדל בין 4.2 ל-5 נובע מחלון-הזמן השונה ומרף-הבחירה השונה בין שני המדדים — לא מכך שהניתוח המפורק כלל מדגם רחב-יותר או מודלים שאינם-חזית.
למה זה לא כפילות של קצב-הגידול בפרמטרים
קצב הגידול במספר הפרמטרים, שנדון בערך נפרד, עוקב אחרי גודל המודל עצמו — כמה משתנים-פנימיים הוא לומד. הערך הזה עוקב אחרי משהו אחר: כמה חישוב הושקע כדי להגיע לאותו מודל. ניתן להגדיל את כוח-החישוב בלי לשנות כלל את מספר הפרמטרים — פשוט על-ידי אימון אותו מודל זמן רב יותר, על יותר נתונים. Chinchilla, למשל, החזיק פחות פרמטרים ממודלים מקבילים אך אומן על כמות-נתונים גדולה בהרבה — כלומר צרך כוח-חישוב רב יחסית לגודלו. שני המדדים נעים לרוב יחד, אבל לא תמיד באותו יחס.
ומה ההבדל מ"עלות אימון"
ערך נפרד באתר עוסק בעלות האימון בדולרים, ומזכיר בקצרה גם את מגמת-כוח-החישוב כעובדה תומכת. הערך הזה הוא ההרחבה המלאה של אותה עובדה: לא רק "כמה זה עלה", אלא איך בדיוק המגמה נמדדת, מה טווח-הסמך הסטטיסטי שלה, ומה שלושת הגורמים שמניעים אותה בפועל. עלות בדולרים תלויה גם במחירי-חומרה משתנים ובזמינות-אספקה, ולכן היא מדד תנודתי-יותר מכמות-החישוב הגולמית עצמה — שהיא, לפי Epoch AI, המדד היציב-יותר להשוואה ארוכת-טווח.
המשמעות המעשית: תשתית שגדלה מהר יותר מהיכולת להתאים לה
קצב-גידול של פי 5 בשנה אומר שתשתית שנבנית היום עלולה להיראות קטנה תוך שנתיים-שלוש. הביקוש לחשמל, לשבבים ולמימון גדל בהתאם, וזו הסיבה המרכזית לכך שמעבדות-AI חזיתיות ומפעילי-מרכזי-נתונים מתכננים כיום שנים קדימה על סמך תחזיות-גידול כאלה, לא על סמך הצרכים הנוכחיים בפועל.