Emergent Abilities (יכולות מתהוות)

מהי יכולת מתהוות

"יכולת מתהוות" (Emergent Ability) היא יכולת שמופיעה במודל-שפה גדול בפתאומיות בגודל-מסוים, בעוד שהיא נעדרת כמעט-לחלוטין ממודלים קטנים יותר מאותה משפחה — ולא ניתן היה לחזות את הופעתה מתוך אקסטרפולציה-חלקה של ביצועי המודלים הקטנים. המונח נטבע במאמר "Emergent Abilities of Large Language Models" (יוני 2022), בהובלת ג'ייסון וויי (Jason Wei) מ-Google, שהגדיר יכולת כ"מתהווה אם היא אינה קיימת במודלים קטנים יותר אך קיימת במודלים גדולים יותר" — ולא ניתנת לחיזוי פשוט מביצועי הגרסאות הקטנות שלה. ההגדרה הזו מנוגדת לכאורה לתמונה ה"חלקה" שמציירים חוקי-קנה-מידה (Scaling Laws): שם השיפור מדורג בהדרגה; כאן, לפי הטענה, הוא קופץ.

וויי ועמיתיו, 2022: כשיכולת מופיעה פתאום

בשיטת-הבדיקה של וויי ועמיתיו, ביצועי-המודלים על משימות שונות מוצגים בגרף לוגריתמי-לוגריתמי (log-log) לפי גודל-המודל, במטרה לזהות היכן ביצועי-המודלים-הגדולים "קופצים" מעל מה שהיה צפוי מקו-מגמה-ישר שמחבר את נקודות-המודלים-הקטנים. אחת הדוגמאות שהמאמר מציג: הנחיית "שרשרת-מחשבה" (Chain-of-Thought Prompting) — לבקש מהמודל להסביר את תהליך-החשיבה שלו שלב-אחר-שלב לפני שהוא עונה — כמעט ולא שיפרה ביצועים במודלים קטנים, אך לפי המאמר עקפה את ההנחיה הרגילה רק כשהמודל חצה כ-10 בחזקת 23 פעולות-חישוב באימון — סדר-גודל של כ-100 מיליארד פרמטרים (68 מיליארד במשפחת LaMDA שנבדקה) — כלומר התועלת ממנה קפצה בפתאומיות בגודל-סף מסוים.

הדוגמאות: BIG-Bench, אימוג'ים וחשבון

פרויקט BIG-Bench, שבדק 204 משימות שונות בהובלת אית'ן דייר (Ethan Dyer) מ-Google, מצא שכ-5% מהמשימות הפגינו "פריצות" כאלה — קפיצת-ביצועים חדה בסף-גודל מסוים, ולא שיפור הדרגתי. דוגמה מוחשית שדווחה בסיקור-Quanta Magazine (מרץ 2023): מודלים קטנים נכשלו לחלוטין בזיהוי סרט לפי רצף-אימוג'ים, בעוד המודל הגדול ביותר זיהה נכון את "מוצאים את נמו" (Finding Nemo) בניסיון הראשון. באופן דומה, יכולת לבצע חיבור תלת-ספרתי וכפל דו-ספרתי הופיעה כמעט-משום-מקום במודלים בני מיליארדי-פרמטרים, אחרי כישלון גורף בגדלים קטנים יותר. אלי פבליק (Ellie Pavlick), חוקרת מאוניברסיטת בראון, תיארה את השאלה הפתוחה: "ייתכן מאוד שהמודל למד משהו חדש ושונה מהותית, שלא היה לו בגודל קטן יותר".

שפפר ועמיתיו, 2023: ייתכן שזו אשליית-מדידה

באפריל 2023 פרסמו רילאן שפפר (Rylan Schaeffer), בראנדו מירנדה וסנמי קויג'ו מאמר בשם "Are Emergent Abilities of Large Language Models a Mirage?" ("האם יכולות מתהוות הן אשליה?"), שמערער על עצם-קיום-התופעה. טענתם המרכזית: הקפיצות הפתאומיות נובעות מבחירת-המטריקה למדידה, לא משינוי-אמיתי בהתנהגות-המודל — "מטריקות לא-ליניאריות או לא-רציפות מייצרות יכולות-מתהוות לכאורה, בעוד מטריקות ליניאריות או רציפות מייצרות שינויים חלקים, רציפים וצפויים". כלומר: אם בוחנים "דיוק מלא בתשובה" (מטריקה בינארית, נכון-או-לא), מקבלים גרף של קפיצה חדה; אם בוחנים את הסתברות-המודל לתשובה הנכונה (מטריקה רציפה) על אותם נתונים בדיוק, מקבלים עקומה חלקה ורגילה. החוקרים הדגימו את הטענה בשלוש דרכים — כולל יצירת "יכולת מתהוות" מלאכותית במשימת-ראייה, רק על ידי בחירת-מטריקה מתאימה.

למה זה חשוב: תחזית-יכולות עתידיות

וויי ועמיתיו עצמם מדגישים בתקציר-המאמר מדוע השאלה קריטית, לא רק אקדמית: "קיומה של תופעת-ההתהוות הזו מרמז שהמשך-הגדלה עשוי להרחיב עוד את טווח-היכולות של מודלי-שפה" — כלומר, אם יכולות אכן מופיעות בפתאומיות, אי-אפשר לדעת מראש אילו יכולות נוספות עשויות "לצוץ" במודל הבא, גדול-יותר, רק על-ידי הגדלתו. זו בדיוק הסיבה שהוויכוח עם שפפר ועמיתיו אינו ויכוח-מתודולוגי-גרידא: אם התופעה אמיתית, תכנון-בטיחות ופיקוח-רגולטורי על מודלי-הדור-הבא צריכים להתמודד עם אי-ודאות מובנית לגבי מה בדיוק המודל "ידע לעשות" לפני שהוא בכלל אומן; אם מדובר בארטיפקט-מדידה, אפשר להסתמך על עקומות-חיזוי חלקות בהרבה, כמו אלה שחוקי-קנה-מידה (Scaling Laws) כבר מספקים.

המחלוקת הפתוחה

המחלוקת נותרה פתוחה ולא-פתורה נכון להיום. שני הצדדים מסכימים על הנתונים הגולמיים — הביצועים על המשימות עצמן — אך חלוקים על הפרשנות: האם התופעה משקפת שינוי-איכותי-אמיתי ביכולת-המודל, או שהיא תוצר-לוואי של אופן-המדידה בלבד. לוויכוח הזה השלכה מעשית על תכנון-בטיחות: אם יכולות אכן מופיעות בפתאומיות ובלתי-צפוי, קשה במיוחד לחזות מראש אילו יכולות — כולל מסוכנות — עלולות "לצוץ" במודל-הדור-הבא; אם מדובר באשליית-מדידה, אפשר להסתמך על אותם חוקי-קנה-מידה (Scaling Laws) שכבר משמשים לתכנון-אימון גם כדי לחזות התקדמות-יכולות מראש.