פרמטרים הם הערכים הפנימיים שמודל לומד באימון, ומספרם הוא הנתון המצוטט ביותר על גודלו. קצב הגידול בו הוא אחד המספרים החדים בתחום: GPT-1, שיצא ביוני 2018, החזיק 117 מיליון פרמטרים. GPT-3, כעבור פחות משנתיים במאי 2020, החזיק 175 מיליארד — פי אלף וחצי.
שתי הסתייגויות הופכות השוואה גולמית של המספר למטעה. הראשונה היא שיטת תמהיל המומחים, שנפוצה מאז 2024: מודל Kimi K3 של Moonshot AI, שיצא ביולי 2026, מחזיק 2.8 טריליון פרמטרים אך מפעיל רק כ-104 מיליארד מהם בכל חיזוי בודד. השוואת המספר הכולל שלו למודל שמפעיל את כל הפרמטרים בכל פעם משווה שני דברים שונים.
השנייה היא שכמות אינה הכול. Chinchilla של Google DeepMind, שיצא במרץ 2022 עם 70 מיליארד פרמטרים בלבד, אומן על 1.4 טריליון טוקנים — כמעט פי שניים מכמות הנתונים של PaLM, שיצא חודש אחריו עם פי שבעה ושבע-עשיריות יותר פרמטרים.
כדי להפוך את המספרים למוחשיים: 175 מיליארד פרמטרים בדיוק של 16 סיביות תופסים כ-350 ג'יגה-בייט אחסון, כלומר GPT-3 עצמו הוא קובץ גדול מכל דיסק במחשב ביתי טיפוסי של אותה תקופה. בצד הפתוח, DeepSeek-V3 שיצא בדצמבר 2024 החזיק 671 מיליארד פרמטרים ואומן על 14.8 טריליון טוקנים, ופורסם ברישיון MIT — מודל בסדר גודל חזיתי שכל אחד יכול להוריד.
מאז 2023 הנתון פשוט חדל להתפרסם עבור מודלים סגורים: OpenAI לא פרסמה את גודלו של GPT-4, וגם גוגל אינה מפרסמת את גודל הגרסאות הגדולות של Gemini. הרשימות הכמותיות הזמינות היום מכסות בעיקר מודלים בעלי משקלים פתוחים, וזו סיבה טובה לזהירות בכל השוואה בין מודל פתוח למודל סגור: מספר שמופיע לצד מודל מסחרי הוא לרוב הערכה עיתונאית ולא הצהרה של היצרנית.