למידה פעילה (Active Learning)

הרעיון: מודל ששואל שאלות

ברוב הלמידה המפוקחת, מישהו מתייג מראש ערימה של דוגמאות, והמודל לומד ממה שקיבל. למידה פעילה (Active Learning) הופכת את הסדר: המודל עצמו בוחר אילו דוגמאות כדאי לתייג, ושולח אותן לאדם או למקור מידע אחר — בספרות קוראים לו "אורקל" — שמחזיר את התשובה הנכונה.

בור סטלס מאוניברסיטת ויסקונסין, שכתב סקירה רחבה של התחום, מנסח את ההנחה המרכזית כך: אלגוריתם למידה יכול להגיע לדיוק גבוה יותר עם פחות תוויות אם מאפשרים לו לבחור את הנתונים שמהם הוא לומד. לפי ויקיפדיה, בסטטיסטיקה קוראים לרעיון דומה "תכנון ניסויים אופטימלי". השיטה מתאימה במיוחד למצב נפוץ מאוד: יש הרבה נתונים לא מתויגים, אבל התיוג הידני יקר.

למה תיוג יקר כל כך

בחלק מהמשימות, התיוג בא כמעט בחינם — כשמסמנים מייל כזבל או מדרגים סרט, המשתמשים עושים זאת בעצמם. אבל בהרבה משימות אחרות, סטלס מתאר תיוג קשה, איטי ויקר. בזיהוי דיבור, למשל, הוא מצטט מחקר שלפיו תמלול ברמת המילה לוקח פי עשרה מאורך ההקלטה (דקה של דיבור דורשת עשר דקות תיוג), ותיוג ברמת הצליל הבודד (פונמה) לוקח פי 400 — כלומר דקה אחת של דיבור דורשת קרוב לשבע שעות תיוג. הבעיה, הוא מוסיף, חמורה עוד יותר בשפות ובניבים נדירים.

דוגמה נוספת שלו היא חילוץ מידע מטקסט: מישהו צריך לסמן בכל מסמך שמות של אנשים וארגונים ואת הקשרים ביניהם, וגם בידיעה חדשותית פשוטה זה יכול לקחת חצי שעה ויותר. בתחומים כמו ביו-רפואה, הוא מציין, תיוג של אזכורי גנים ומחלות דורש בדרך כלל מומחים ברמת דוקטורט. כשכל תווית עולה זמן של אדם, ההחלטה אילו דוגמאות לתייג קודם הופכת להחלטה כלכלית.

שלוש דרכים לשאול

הספרות מבחינה בין כמה תרחישים. בדגימה מתוך מאגר (Pool-based), יש אוסף גדול של דוגמאות לא מתויגות, והמודל עובר על כולו ובוחר מתוכו את הדוגמאות שהכי כדאי לתייג. בדגימה מזרם (Stream-based), הדוגמאות מגיעות אחת-אחת, והמודל מחליט על כל אחת בנפרד אם לבקש עבורה תווית או לוותר. בתרחיש השלישי, סינתזת שאילתות (Membership Query Synthesis), המודל לא בוחר דוגמה קיימת אלא ממציא בעצמו דוגמה חדשה ושואל עליה.

לתרחיש השלישי יש בעיה מעשית שסטלס מביא מניסוי של לאנג ובאום מ-1992: הם ניסו ללמד רשת נוירונים לזהות כתב יד בעזרת שאלות לבני אדם, וגילו שרבות מהתמונות שהמודל יצר לא הכילו שום סימן מוכר — רק הכלאות מלאכותיות של אותיות, שהמתייגים האנושיים לא ידעו מה לענות עליהן. לכן רוב היישומים המעשיים עובדים עם דוגמאות אמיתיות ממאגר או מזרם.

איך המודל בוחר מה לשאול

השאלה המרכזית בכל מערכת כזו היא איך מודדים כמה דוגמה "מלמדת". לפי סטלס, הגישה "אולי הפשוטה והנפוצה ביותר" היא דגימת אי-ודאות (Uncertainty Sampling): לבקש תווית לדוגמאות שבהן המודל הכי פחות בטוח בתשובה שלו. גישה אחרת היא שאילתה בוועדה (Query by Committee): מאמנים כמה מודלים שונים, ומבקשים תווית לדוגמאות שעליהן הם הכי חלוקים. ויקיפדיה מונה גם שיטות שבוחרות את הדוגמה שתשנה את המודל הכי הרבה, או שצפויה להקטין הכי הרבה את שיעור הטעויות שלו.

את השם "דגימת אי-ודאות" נתנו לשיטה דייוויד לואיס וויליאם גייל ממעבדות בל של AT&T, במאמר מ-1994 על אימון מסווגי טקסט. הם בדקו את השיטה על סיווג ידיעות חדשות, ולפי המאמר היא הקטינה עד פי 500 את כמות הנתונים שהיה צריך לסווג ידנית כדי להגיע לרמת ביצועים נתונה.

המחיר: נתונים שמוטים לטובת מודל אחד

לחיסכון יש מחיר שסטלס מתאר במפורש. מערך אימון שנבנה בעזרת למידה פעילה קשור למודל שבחר את הדוגמאות. התוצאה היא אוסף מוטה: הוא לא משקף את העולם באופן אקראי, אלא את מה שהמודל המסוים הזה התלבט לגביו. אם בהמשך מחליפים את סוג המודל — וזה קורה כל הזמן כשהתחום מתקדם — ייתכן שהאוסף יהיה פחות שימושי למודל החדש.

בעיה נוספת שוויקיפדיה מזכירה היא שהמודל עלול "להיות מוצף בדוגמאות שאינן מלמדות" — שאלות שהתשובה עליהן עולה זמן של מתייג, אבל לא משפרת את המודל. ויקיפדיה מציינת גם שקשה לדעת מראש איזו אסטרטגיית בחירה תתאים למצב מסוים. סטלס מוסיף ששאלות שהמודל ממציא בעצמו עלולות להוביל לחריגים, משום שהן לא נוצרו מתוך ההתפלגות הטבעית של הנתונים.

מתי לעצור, ואיפה זה פוגש את העולם

בכל לולאה כזו צריך להחליט מתי להפסיק לשאול. סטלס מציע דרך פשוטה לחשוב על זה: הנקודה שבה המחיר של השגת תווית נוספת גבוה מהמחיר של הטעויות שהמודל הנוכחי עושה.

לפי ויקיפדיה, פלטפורמות עבודת המונים כמו Amazon Mechanical Turk יכולות לסייע לפרויקטים גדולים של למידה פעילה, משום שהן מכניסות אנשים רבים ללולאה. ה"אורקל" לא חייב להיות אדם. ב-29 בנובמבר 2023 תיארה Google DeepMind את GNoME, מודל לגילוי חומרים, שאומן ב"תהליך אימון שנקרא 'למידה פעילה'": המודל חזה מבנים של גבישים חדשים ויציבים, התחזיות נבדקו בחישוב פיזיקלי מדויק (DFT), והתוצאות חזרו לאימון. לפי DeepMind, המחקר כולו העלה את שיעור הגילוי בחיזוי יציבות של חומרים מכ-50% ל-80%, והחברה מתארת את הלמידה הפעילה כתהליך ש"שיפר באופן דרמטי" את ביצועי המודל.

למידה פעילה שונה מלמידה בפיקוח עצמי (Self-supervised Learning): שם המודל מייצר לעצמו תוויות מתוך הנתונים, ואילו כאן הוא עדיין צריך תשובה ממקור חיצוני — רק שהוא בוחר על מה לשאול.