פרמטרים (Parameters)

מה זה פרמטר בודד, ולמה יש כל כך הרבה

פרמטר הוא מספר. זה הכל. לא כלל, לא משפט, ולא פיסת ידע שאפשר לקרוא — פשוט מספר עשרוני ששמור בזיכרון המודל.

הדימוי המועיל ביותר הוא לוח בקרה ועליו מיליארדי כפתורי עוצמה זעירים. כל כפתור קובע כמה חזק אות אחד בתוך הרשת ישפיע על החישוב הבא אחריו. כשמודל לומד משהו בזמן האימון, מה שקורה בפועל הוא שכמה מיליוני כפתורים כאלה מסתובבים במעט.

חשוב להבין נקודה אחת: אף כפתור בודד אינו אחראי לידיעה מסוימת. אי אפשר להצביע על הפרמטר שבו שמור המידע שפריז היא בירת צרפת, כי הידע הזה מפוזר על פני מספר עצום של פרמטרים בבת אחת. זו גם הסיבה שקשה כל כך למחוק ממודל עובדה מסוימת בלי לפגוע בשאר.

מכאן גם המספרים הגדולים. כדי לייצג את המורכבות של שפה אנושית — דקדוק, הקשר, עובדות, סגנון — נדרשות המון דרגות חופש קטנות. GPT-3 של OpenAI, שיצא ב-2020, כלל 175 מיליארד פרמטרים כאלה.

משקלים והטיות: שני סוגי הפרמטרים

רוב הפרמטרים ברשת נוירונים הם משקלים (Weights). משקל הוא בדיוק אותו כפתור עוצמה: הוא מוכפל בערך שנכנס אליו, וכך קובע כמה הקלט הזה ישפיע על התוצאה. משקל גבוה אומר שים לב לזה, משקל אפסי אומר התעלם מזה, ומשקל שלילי אומר שהקלט דוחף דווקא לכיוון ההפוך.

סוג שני, קטן בהרבה בכמותו, נקרא הטיות (Biases). הטיה היא מספר שנוסף לתוצאה בלי קשר לקלט, ותפקידה להזיז את סף ההפעלה של הנוירון — כלומר לקבוע כמה קל או קשה יהיה להפעיל אותו. ההטיות מרחיבות את מגוון הפונקציות שהרשת יכולה ללמוד.

שני הסוגים נלמדים מהנתונים בזמן האימון, ושניהם נספרים יחד כשמדווחים על גודלו של מודל. ואולם במודלי השפה הגדולים של השנים האחרונות נהוג לוותר על ההטיות כליל בשכבות הליניאריות, מפני שבקנה המידה הזה האימון יציב יותר בלעדיהן — ואז המשקלים הם כמעט כל הפרמטרים.

כדאי להיזהר מבלבול נפוץ: הטיה במובן הזה היא פרמטר טכני חסר משמעות חברתית, ואין לה שום קשר להטיה במובן של אפליה או דעה קדומה במערכת AI. באנגלית שתיהן נקראות Bias, אבל מדובר בשני דברים שונים לגמרי.

כמה מקום תופסים הפרמטרים בזיכרון

אפשר לתרגם את מספר הפרמטרים למשקל מוחשי, וזה מסביר לא מעט. כל פרמטר נשמר לרוב בדיוק של 16 סיביות, כלומר שני בתים. 175 מיליארד פרמטרים כפול שני בתים הם 350 ג׳יגה-בייט — הרבה יותר ממה שנכנס במחשב ביתי, ואפילו לא בכרטיס מסך יחיד.

מכאן נובעות שתי מסקנות מעשיות. הראשונה: מודלים גדולים חייבים לרוץ על שרתים, ולעיתים על כמה מעבדים גרפיים במקביל, פשוט מפני שהפרמטרים אינם נכנסים בזיכרון של אחד. השנייה: כל שאלה שנשאלת חייבת לעבור דרך הפרמטרים האלה, ולכן מודל גדול יותר הוא גם איטי יותר ויקר יותר להפעלה — לא רק לאימון.

זו בדיוק הבעיה שכימות מודל (Quantization) בא לפתור. מקטינים את הדיוק של כל פרמטר, למשל משש-עשרה סיביות לארבע, וכך מכווצים את המודל לרבע ממשקלו. איכות התשובות נפגעת מעט, אבל המודל מתחיל לרוץ על חומרה זולה בהרבה, ולעיתים אפילו על מחשב נייד.

פרמטרים מול היפר-פרמטרים

לצד הפרמטרים שהמודל לומד בעצמו יש קבוצה שנייה של מספרים, שנקבעים מראש בידי בני-אדם. אלה היפר-פרמטרים (Hyperparameters), והם ההגדרות של תהליך האימון עצמו, לא של המודל.

כמה דוגמאות: כמה שכבות תהיינה לרשת, כמה נוירונים בכל שכבה, מה יהיה קצב הלמידה, מה יהיה גודל האצווה, וכמה מעברים לעשות על הנתונים. אף אחד מהמספרים האלה אינו נלמד מהנתונים. מישהו בוחר אותם לפני שהאימון מתחיל.

ההבדל חשוב כי הוא מגדיר מי אחראי למה. הפרמטרים הם התוצאה של האימון. ההיפר-פרמטרים הם ההחלטות האנושיות שמעצבות אותו.

בחירה גרועה בהיפר-פרמטר אחד יכולה להכשיל ריצת אימון שלמה, ולכן מקדישים זמן ומשאבים ניכרים לחיפוש הערכים הטובים. התהליך הזה נקרא כיוונון היפר-פרמטרים, והוא יקר במיוחד מפני שהוא מחייב להריץ את האימון שוב ושוב תחת הגדרות שונות ולהשוות ביניהן.

יותר פרמטרים אינו בהכרח מודל טוב יותר

במשך כמה שנים היה נהוג להשוות מודלים לפי מספר הפרמטרים, כאילו זהו מדד איכות. שתי עבודות מרכזיות ערערו את ההנחה הזו.

הראשונה היא מחקר Chinchilla של DeepMind מ-2022. החוקרים אימנו יותר מ-400 מודלים בגדלים שונים, ומצאו שמודלי הענק של אותה תקופה היו למעשה מאומנים בחסר: הם היו גדולים מדי ביחס לכמות הנתונים שהוזנה להם. מודל בן 70 מיליארד פרמטרים, שאומן על כמות נתונים גדולה פי ארבעה באותו תקציב חישוב, עקף בעקביות את Gopher בן 280 מיליארד הפרמטרים וגם את GPT-3 בן 175 מיליארד.

השנייה היא מחקר InstructGPT של OpenAI. שם מודל בן 1.3 מיליארד פרמטרים בלבד, שעבר כוונון עם משוב אנושי, קיבל מבני-אדם העדפה על פני GPT-3 שהיה גדול ממנו פי מאה.

המסקנה משתי העבודות זהה: כמות הנתונים ואופן הכוונון קובעים לפחות כמו הגודל הגולמי, ולעיתים יותר ממנו.

פרמטרים כוללים מול פרמטרים פעילים

בשנים האחרונות המספר שמפורסם על מודל הפך מטעה, כי ארכיטקטורת תמהיל מומחים (Mixture of Experts) שינתה את משמעותו.

במודל כזה הרשת מחולקת לתת-רשתות שנקראות מומחים, ורכיב ניתוב קטן בוחר לכל טוקן רק כמה מהם — ב-Mixtral, למשל, שניים מתוך שמונה. שאר המומחים פשוט אינם מופעלים באותו רגע. התוצאה היא שני מספרים שונים לגמרי לאותו מודל: פרמטרים כוללים, ופרמטרים פעילים.

דוגמה מוחשית היא Mixtral 8x7B של Mistral. כל טוקן שעובר בו נגיש ל-47 מיליארד פרמטרים, אבל בפועל מופעלים רק כ-13 מיליארד מהם. המודל צורך זיכרון של מודל גדול, אבל עלות חישוב של מודל בינוני.

ולבסוף עניין השקיפות: לא תמיד קיים בכלל מספר לצטט. בדוח הטכני של GPT-4 כתבה OpenAI במפורש שהמסמך אינו כולל פרטים על הארכיטקטורה, ובכלל זה גודל המודל, מטעמי תחרות ובטיחות. מספרים שמסתובבים ברשת על גודלו של GPT-4 אינם מבוססים על פרסום רשמי.

גרסה פשוטה של הערך, לגיל 12. כל מה שכתוב כאן מופיע גם בערך המלא.

פרמטר הוא מספר. זה הכל. לא כלל, לא משפט, ולא פיסת ידע שאפשר לקרוא. פשוט מספר ששמור בתוך מודל של בינה מלאכותית.

דמיינו לוח בקרה כמו של תקליטן במסיבה, רק עם מיליארדי כפתורי עוצמה זעירים. כל כפתור קובע כמה חזק אות אחד בתוך המודל ישפיע על החישוב הבא אחריו. כפתור גבוה אומר "שים לב לזה". כפתור על אפס אומר "התעלם מזה". כפתור שלילי דוחף דווקא לכיוון ההפוך. כשהמודל לומד בזמן האימון, מה שקורה בפועל הוא שהמון כפתורים כאלה מסתובבים קצת, לפי הדוגמאות שהוא מקבל. אף אחד לא מסובב אותם ביד.

והנה החלק המוזר: אין כפתור אחד שבו שמור שפריז היא בירת צרפת. הידע הזה מפוזר על פני מספר עצום של כפתורים ביחד. זה קצת כמו סוכר בעוגה אפויה: אין פירור אחד שבו שמורה המתיקות, היא מעורבבת בכל הבצק. לכן גם קשה מאוד למחוק ממודל עובדה אחת בלי לפגוע בשאר.

כמה כפתורים יש? GPT-3, שיצא ב-2020, כלל 175 מיליארד פרמטרים. כל כך הרבה מספרים לא נכנסים במחשב ביתי רגיל, ולכן מודלים גדולים רצים על שרתים.

אבל יותר כפתורים לא אומר בהכרח מודל טוב יותר. חוקרים הראו שמודל קטן יותר, שקיבל הרבה יותר דוגמאות ללמוד מהן, ניצח מודלים גדולים ממנו. אז בפעם הבאה שתשמעו על מודל חדש "עם מיליארדי פרמטרים", תזכרו: אלה מיליארדי כפתורים קטנים, לא מיליארדי עובדות.

לכל הפרטים והמקורות — הערך המלא ←

מה המושג אומר לארגון ולעסק. כל עובדה כאן מופיעה גם בערך המלא.

פרמטרים הם המספרים שמודל לומד בזמן האימון. כל מה שהמודל רכש באימון שמור בהם, מפוזר על פני מיליארדים, ולא במקום אחד שאפשר להצביע עליו. מספר הפרמטרים הוא הנתון שמצוטט הכי הרבה כשמשווים מודלים, והוא גם הנתון שהכי קל לפרש לא נכון.

איפה זה פוגש אתכם: בעלות ובתשתית. כל שאלה שנשאלת עוברת דרך הפרמטרים, ולכן מודל גדול יותר איטי ויקר יותר להפעלה, לא רק לאימון. מודל בן 175 מיליארד פרמטרים תופס כ-350 ג'יגה-בייט, ולכן רץ על שרתים, לעיתים על כמה מעבדים גרפיים במקביל. כימות מודל (Quantization) מקטין את הדיוק של כל פרמטר ומכווץ את המודל, למשל לרבע ממשקלו: איכות התשובות נפגעת מעט, והמודל רץ על חומרה זולה בהרבה. זו פשרה שכדאי לדעת שנעשתה.

הגבולות. ראשית, יותר פרמטרים אינו בהכרח מודל טוב יותר: במחקר Chinchilla של DeepMind, מודל בן 70 מיליארד פרמטרים שאומן על כמות נתונים גדולה פי ארבעה באותו תקציב חישוב עקף את Gopher בן 280 מיליארד. כמות הנתונים ואופן הכוונון קובעים לפחות כמו הגודל. שנית, המספר עצמו עלול להטעות: בארכיטקטורת תמהיל מומחים, כמו Mixtral 8x7B, כל טוקן (יחידת טקסט) נגיש ל-47 מיליארד פרמטרים אבל מופעלים רק כ-13 מיליארד; המודל צורך זיכרון של מודל גדול ועלות חישוב של מודל בינוני. שלישית, לפעמים אין מספר רשמי בכלל: OpenAI לא פרסמה את גודלו של GPT-4. ולבסוף, מאחר שהידע מפוזר, קשה מאוד למחוק ממודל עובדה מסוימת בלי לפגוע בשאר. לכן מה שנכנס לנתוני הכוונון צריך להיבדק לפני, לא אחרי.

הפרמטרים הם תוצאת האימון; ההגדרות שמעצבות אותו, כמו קצב הלמידה ומספר השכבות, הן היפר-פרמטרים שבני-אדם בוחרים מראש, ובחירה גרועה באחד מהם יכולה להכשיל ריצה שלמה.

שאלות שכדאי לשאול ספק, צוות או יועץ:

• כמה פרמטרים מופעלים בפועל בכל שאילתה, לעומת המספר הכולל?
• האם המודל עבר כימות, ואיך נמדדה הפגיעה באיכות?
• על כמה נתונים אומן המודל ביחס לגודלו?
• אם ייכנס לכוונון מידע שלא היה צריך להיכנס, איך תוציאו אותו?
• מאיפה מגיע מספר הפרמטרים שאתם מצטטים: פרסום רשמי או הערכה?

לכל הפרטים והמקורות — הערך המלא ←