למידת מכונה אוטומטית (AutoML)

מה זה AutoML, ומה הוא מנסה לחסוך

למידת מכונה אוטומטית (Automated Machine Learning, בקיצור AutoML) היא, בניסוח של ויקיפדיה, "התהליך של אוטומציה של המשימות הכרוכות ביישום למידת מכונה על בעיות מהעולם האמיתי". מי שבונה מודל בדרך הרגילה מקבל לאורך הדרך שורה של החלטות: איך לנקות ולהכין את הנתונים, אילו מאפיינים לחלץ מהם (הנדסת מאפיינים), באיזה אלגוריתם להשתמש, איך לכוון את ההיפר-פרמטרים שלו, ולפעמים גם איך לבנות את הרשת עצמה ואיך לשלב כמה מודלים יחד. כלי AutoML מנסים לבצע חלק מההחלטות האלה, או את כולן, בעצמם.

המטרה המוצהרת כפולה: לאפשר לאנשים שאינם מומחים להשתמש בלמידת מכונה בלי להפוך למומחים, ולחסוך זמן גם למומחים. ויקיפדיה מציינת שאוטומציה כזו יכולה להפיק פתרונות פשוטים יותר, מהר יותר, ומודלים שלעיתים קרובות עוקפים מודלים שתוכננו ביד.

הבעיה: יותר מדי אפשרויות לבדוק ביד

הקושי שהתחום נולד ממנו הוא מספר האפשרויות. במאמר Auto-WEKA, שפרסמו כריס תורנטון, פרנק האטר, הולגר הוס וקווין לייטון-בראון (הגרסה הראשונה עלתה ל-arXiv באוגוסט 2012), הם כותבים שכשמביאים בחשבון את ההיפר-פרמטרים של כל אלגוריתם, יש "מספר עצום ומדהים של חלופות אפשריות". הרעיון שלהם היה לא לבחור קודם אלגוריתם ואחר כך לכוון אותו, אלא לחפש את שני הדברים יחד, בעזרת אופטימיזציה בייסיאנית — שיטה שמנחשת באופן מושכל איזה ניסיון כדאי להריץ הבא בתור.

Auto-WEKA חיפש בין 27 מסווגי-בסיס של ספריית WEKA, לצד שיטות שילוב ושיטות לבחירת מאפיינים, ונבדק על 21 מערכי נתונים. לפי המאמר, הוא הגיע לעיתים קרובות לביצועי סיווג טובים בהרבה מאלה של שיטות הבחירה והכיוון הרגילות.

auto-sklearn: ללמוד מניסיון קודם

בכנס NeurIPS של 2015 הציגו מתיאס פויירר, פרנק האטר ושותפיהם את auto-sklearn, מערכת שנבנתה על ספריית הקוד הפתוח scikit-learn. מרחב החיפוש שלה כלל, לפי המאמר, 15 מסווגים, 14 שיטות לעיבוד מאפיינים ו-4 שיטות לעיבוד נתונים, ובסך הכול 110 היפר-פרמטרים.

שני חידושים הבדילו אותה מקודמותיה. הראשון: לפני שהיא מתחילה לחפש, היא בודקת מה עבד בעבר על מערכי נתונים דומים, וכך מתחילה מנקודה טובה יותר — רעיון שנקרא בתחום "מטא-למידה". השני: במקום לבחור מודל מנצח אחד, היא משלבת כמה מהמודלים שבדקה בדרך למכלול (Ensemble). המערכת זכתה בשלב הראשון של אתגר ה-AutoML של ChaLearn, ארגון ללא מטרות רווח שייסדה החוקרת איזבל גויון ב-2011.

כשהמכונה מתכננת רשת: חיפוש ארכיטקטורה

ענף נפרד של AutoML עוסק בתכנון מבנה הרשת עצמה, ונקרא חיפוש ארכיטקטורה עצבית (Neural Architecture Search, בקיצור NAS). בנובמבר 2016 פרסמו בארט זוף וקוק לה מ-Google Brain מאמר שבו רשת אחת, "הבקר", מציעה תיאורים של רשתות אחרות. כל רשת מוצעת מאומנת ונבדקת, והבקר לומד בשיטת למידת חיזוק להציע רשתות שמשיגות דיוק גבוה יותר. על מערך התמונות CIFAR-10 הגיעה הרשת שנמצאה לשיעור שגיאה של 3.65%.

בבלוג של גוגל מ-17 במאי 2017 כינו השניים את הגישה "AutoML", והסבירו את הצורך: לרשת טיפוסית בת עשר שכבות יש, לדבריהם, בסביבות 10 בחזקת 10 רשתות-מועמדות אפשריות. המחיר היה גבוה: לפי המאמר, בכל רגע אומנו במקביל 800 רשתות על 800 מעבדים גרפיים, והבקר אימן 12,800 ארכיטקטורות לפני שנבחרה הטובה ביותר. בפברואר 2018 הציגו חוקרים, ביניהם זוף ולה, את ENAS, גרסה שחולקת משקלים בין הרשתות הנבדקות ולפי מאמרה זולה פי 1,000 מ-NAS הרגיל.

מהמעבדה למוצר

ב-17 בינואר 2018 הכריזה Google על Cloud AutoML, בפוסט של פיי-פיי לי, אז המדענית הראשית של Google AI, ושל ג'יה לי. המוצר הראשון היה AutoML Vision, לבניית מודלים מותאמים לזיהוי תמונות, והוא כוון לחברות עם "מומחיות מוגבלת בלמידת מכונה". בין הלקוחות שהוזכרו: Urban Outfitters לזיהוי מאפייני מוצרים, דיסני לתיוג מוצרים לפי דמויות, קטגוריות וצבעים, והחברה הזואולוגית של לונדון לזיהוי אוטומטי של בעלי חיים בתמונות ממצלמות שטח.

באותן שנים התגבש התחום גם כדיסציפלינה מחקרית: ב-2019 יצא בהוצאת Springer הספר AutoML: Methods, Systems, Challenges בעריכת פרנק האטר, לארס קוטהוף וחואקין ונשורן, בגישה פתוחה. גם בישראל יש חברות שבנו מוצר על הרעיון. Pecan, שנוסדה בתל אביב ב-2016 בידי נועם בריזיס וזהר ברונפמן, כותבת באתר שלה (נכון לאוקטובר 2026) שהיא מבצעת באופן אוטומטי את הכנת הנתונים, בניית המודל והבדיקה שלו, ומיועדת לצוותים עסקיים "בלי התקורה של מדעי הנתונים".

מה AutoML עדיין לא עושה

השם "אוטומטי" עלול להטעות. סקירה של שובהרה קאנטי קרמקר סנטו ושותפיו, שעלתה ל-arXiv באוקטובר 2020, קובעת שלמרות שאוטומציה ויעילות הן נקודות המכירה העיקריות של AutoML, התהליך "עדיין דורש מעורבות אנושית בכמה שלבים חיוניים": הבנת המאפיינים של נתונים מתחום מסוים, הגדרת בעיית החיזוי, יצירת מערך אימון מתאים ובחירת שיטה מבטיחה.

הכותבים מציעים סולם של רמות אוטומציה, מרמה 0, שבה הכול נכתב ביד, ועד רמה 6, שבה הכול אוטומטי — מניסוח המשימה ועד סיכום התוצאות והמלצה. כדוגמה לרמה 3 הם מביאים את Auto-WEKA: ברמה הזו הכלי מבצע בעצמו את הלמידה ואת כיוון ההיפר-פרמטרים, אבל חלק מהעבודה עדיין נעשה ביד בידי מדען נתונים, ומומחי התוכן עצמם עדיין לא יכולים להשתמש בכלים ישירות. את רמה 6 הם מציגים כבעיה פתוחה, לא כמשהו שכבר קיים. את השלב האחרון, סיכום התוצאות והמלצה לפעולה, הם מתארים כשלב שנעשה "עדיין ברובו ביד". במילים אחרות: AutoML מקצר את החלק הטכני, אבל ההחלטה מה שואלים, והאחריות לשאלה אם התשובה הגיונית, נשארות אצל אדם.