קריסת מודל (Model Collapse)

מהי קריסת מודל

קריסת מודל (Model Collapse) היא השם לתופעה שבה מודל גנרטיבי שאומן על פלט של מודלים אחרים — ולא על נתונים שיצרו בני אדם — הולך ומאבד מאיכותו, וכשהתהליך חוזר על עצמו לאורך כמה "דורות" של מודלים, ההתדרדרות מצטברת. את המונח טבעו חוקרים בהובלת איליה שומאילוב, במאמר שעלה ל-arXiv ב-27 במאי 2023 בשם "קללת הרקורסיה: אימון על נתונים מחוללים גורם למודלים לשכוח". לפי התקציר, אימון על תוכן שנוצר במודל גורם ל"פגמים בלתי הפיכים במודלים שנוצרים, שבהם הזנבות של התפלגות התוכן המקורי נעלמים". הם הראו את התופעה בכמה סוגי מודלים — מקודדים אוטומטיים וריאציוניים (VAE), מודלים של תערובת גאוסיאנים ומודלי-שפה גדולים. גרסה מורחבת של המחקר פורסמה בכתב-העת Nature ב-24 ביולי 2024.

שני שלבים: קודם נעלם הנדיר, אחר כך הכול מתבלבל

החוקרים מבחינים בין שני שלבים. בקריסה המוקדמת המודל מאבד מידע על "זנבות ההתפלגות" — המקרים הנדירים, הניבים החריגים והקבוצות הקטנות בנתונים. בשלב הזה הביצועים הממוצעים עשויים להיראות תקינים, ודווקא משום כך קשה להבחין בבעיה. בקריסה המאוחרת הפגיעה כבר בולטת: המודל מבלבל בין מושגים, הפלט שלו נעשה אחיד ודל, והשונות בו מצטמצמת. הדוגמה שזכתה לתהודה מגיעה מהניסוי עם מודל-השפה: הטקסט הראשון עסק באדריכלות מימי הביניים, ועד הדור התשיעי הפלט כבר היה רשימה של ארנבות. הדוגמה ממחישה למה הנושא מטריד: כל דור נראה רק מעט גרוע מקודמו, אבל השינויים מצטברים.

למה זה קורה

אפשר להבין את המנגנון בלי מתמטיקה. מודל לומד את ההתפלגות של הנתונים שהוא רואה, ואז מייצר טקסט או תמונות לפיה. אירוע נדיר בנתונים המקוריים יופיע לעיתים רחוקות עוד יותר בפלט, משום שהמודל נוטה להעדיף את מה ששכיח. כשהדור הבא לומד מהפלט הזה, האירוע הנדיר כמעט אינו נמצא שם, והוא נעלם בהדרגה. ויקיפדיה מסכמת שלושה מקורות טעות שמזינים זה את זה: טעויות דגימה (כל מדגם סופי מחמיץ חלק מהנדיר), טעויות קירוב פונקציונלי (המודל מוגבל ביכולתו לייצג את ההתפלגות המלאה) וטעויות למידה (תהליך האימון עצמו אינו מושלם). בכל דור הטעויות האלה מתווספות לאלה של הדור הקודם, ואין מקור חיצוני שמתקן אותן.

אותה בעיה בתמונות: "שיגעון" המודלים

בערך באותו זמן תיארה קבוצת חוקרים בהובלת סינא אלמוחמד תופעה דומה במודלי תמונה. במאמר שעלה ל-arXiv ב-4 ביולי 2023 הם בחנו "לולאה אוטופגית" — מודל שניזון מפלט של מודלים — ומצאו שבלי מספיק נתונים אמיתיים טריים בכל דור, מודלים עתידיים נידונים לירידה מתמשכת באיכות או בגיוון של הפלט. הם כינו את המצב Model Autophagy Disorder, ובקיצור MAD, בהשראת מחלת הפרה המשוגעת. לתופעה דבקו גם כינויים פחות רשמיים, כמו "הכלאת AI" (AI Inbreeding) ו"AI הבסבורגי" (Habsburg AI).

האם הקריסה בלתי נמנעת?

לא בהכרח, וזה החלק שנוטים להשמיט. מחקר מאפריל 2024 בהובלת מתיאס גרסטגרסר הבחין בין שני תרחישים: כאשר בכל דור מחליפים את הנתונים האמיתיים בנתונים סינתטיים, המודלים אכן נוטים לקריסה; אבל כאשר הנתונים הסינתטיים נצברים לצד הנתונים האמיתיים המקוריים, הקריסה נמנעת. הם אימתו זאת במודלי שפה, במודלי דיפוזיה לייצור מולקולות ובמקודדים אוטומטיים לתמונות. גם השימוש המכוון בנתונים סינתטיים יכול להצליח: המודל phi-1, שפורסם ביוני 2023, אומן על שילוב של 6 מיליארד טוקנים מהרשת שנבחרו כ"באיכות של ספר לימוד" ו-1 מיליארד טוקנים של ספרי לימוד ותרגילים שיצר GPT-3.5, והשיג תוצאות טובות במבחני קוד ביחס לגודלו. ההבחנה החשובה היא בין נתונים סינתטיים שנבחרים ומסוננים בכוונה לבין לולאה עיוורת שבה מודל לומד מכל מה שמודלים קודמים פרסמו.

המשמעות לאינטרנט ולנתוני האימון

הדאגה המעשית נוגעת לאינטרנט עצמו. מודלי-שפה מאומנים בעיקר על טקסט שנאסף מהרשת, וככל שיותר מהטקסט ברשת נכתב בידי מודלים, כך גדל החלק הסינתטי במאגרי האימון של הדורות הבאים — בלי שמישהו בחר בכך. כותבי המאמר המקורי הסיקו מכך ש"נתונים מאינטראקציות אנושיות אמיתיות" יהיו בעלי ערך גובר, וכתבו שאין צורך לפסול נתונים מחוללים, אבל ש"יש להתייחס ברצינות לסינון שלהם". בין הדרכים שנבחנות לצמצום הבעיה: סימני מים בתוכן שנוצר ב-AI ומסננים לזיהוי תוכן כזה לפני שהוא נכנס לאימון. כך הופכת קריסת מודל משאלה תיאורטית על מודלים לשאלה מעשית על מקורות המידע ועל היכולת לדעת מי כתב מה.