אלעד חזן (Elad Hazan)
הגדרה
אלעד חזן הוא מדען-מחשבים ישראלי-אמריקאי, פרופסור באוניברסיטת פרינסטון ומנהל את מעבדת Google AI שם — ממציא-שותף של אלגוריתם האופטימיזציה AdaGrad.
מי הוא אלעד חזן
חזן קיבל תואר ראשון ותואר שני במדעי-המחשב מאוניברסיטת תל אביב (2001, 2002), והשלים דוקטורט באוניברסיטת פרינסטון ב-2006 בהנחיית סנג'יב ארורה — עובדה שמאושרת גם בעמוד-הסגל הרשמי שלו באתר המחלקה למדעי-המחשב בפרינסטון. עבד כחוקר במרכז-המחקר של IBM באלמדן (2006), ולימד בטכניון — מכון טכנולוגי לישראל — כמרצה ואחר-כך פרופסור-חבר (2010-2015), לפני שחזר לפרינסטון כפרופסור.
AdaGrad: האלגוריתם שכל מודל-שפה-גדול מסתמך עליו
AdaGrad, שחזן שיתף בהמצאתו, הוא אחד מאלגוריתמי "קצב-למידה מסתגל" (adaptive gradient methods) הנפוצים ביותר לאימון רשתות-למידה-עמוקה — שינה את הדרך שבה מודלים גדולים מתכווננים במהלך אימון, ומשמש כבסיס-ישיר לאלגוריתמים מאוחרים ונפוצים עוד יותר כמו Adam.
אופטימיזציה-קמורה-מקוונת ו'בקרה לא-סטוכסטית'
חזן תרם תרומות משמעותיות נוספות לתיאוריית ה"אופטימיזציה הקמורה המקוונת" (online convex optimization) — כולל אלגוריתם "הצעד-הניוטוני-המקוון" ואלגוריתם "פרנק-וולף המקוון" — ופיתח לאחרונה גישה חדשה שכינה "בקרה לא-סטוכסטית", שמיישמת עקרונות מאותה תיאוריה על למידת-חיזוק — נסיון לבנות בסיס תיאורטי חזק יותר לתחום שלעיתים קרובות מתבסס על ניסוי-וטעייה בלבד, ופחות על הוכחות מתמטיות פורמליות — כיוון-מחקר שעדיין בשלבים מוקדמים יחסית ביחס להבשלות של תורת-האופטימיזציה-הקמורה עצמה, אך נחשב לאחד הכיוונים המבטיחים לגישור בין השתיים.
מפרינסטון ל-Google AI ולחברת In8
מ-2018 מנהל חזן גם את מעבדת Google AI בפרינסטון — דוגמה נפוצה למבנה-קריירה בתחום: פרופסור אוניברסיטאי שמנהל בו-זמנית מעבדת-מחקר של חברת-ענק, שילוב שהפך נפוץ מאוד בבינה-מלאכותית מודרנית. מעבר למחקר האקדמי ייסד גם את חברת In8, שנרכשה על ידי גוגל ב-2018. לפי עמוד-הבית האישי הרשמי שלו, הוא משמש כיום גם 'Director of AI Alignment and Safety' באוניברסיטת פרינסטון — לצד תפקידו כמנהל מעבדת Google AI שם.
פרסים והשפעה
מחקרו התיאורטי על אופטימיזציה קמורה מקוונת הפך לספר-לימוד סטנדרטי בתחום, ונלמד באוניברסיטאות ברחבי העולם. בין פרסיו: פרס Bell Labs (2017), מלגת מארי-קירי מהמועצה האירופית-למחקר (2011-2015), מענק-הקמה מאותה מועצה (2013), ופרסי-מאמר-מצטיין של IBM (2009, 2012). AdaGrad מדגים תופעה נפוצה בהיסטוריה של למידת-מכונה: אלגוריתם-אופטימיזציה שנראה, בפרסומו המקורי, כתרומה תיאורטית צנועה יחסית, הופך בדיעבד לרכיב-תשתית שכל מודל-שפה-גדול מודרני מסתמך עליו בצורה זו או אחרת, בלי שרוב המשתמשים בו מודעים למקורו.
📬 הגיליון השבועי של Wiki-AI
פעם בשבוע, ביום ראשון: שלושת הדברים החשובים שקרו בעולם הבינה המלאכותית, בעברית פשוטה, וערכים חדשים באנציקלופדיה. לגיליונות
שאלות נפוצות ❓
מה עושה אלגוריתם AdaGrad?
אלגוריתם "קצב-למידה מסתגל" (adaptive gradient method) לאימון רשתות-למידה-עמוקה — הוא משנה את קצב-הלמידה של כל פרמטר בנפרד תוך-כדי אימון, במקום קצב-למידה אחיד קבוע לכל המודל.
איך AdaGrad קשור ל-Adam, האלגוריתם הנפוץ היום?
Adam, אלגוריתם-האופטימיזציה הנפוץ ביותר לאימון מודלים גדולים כיום, נבנה ישירות על הרעיונות ש-AdaGrad הציג — קצב-למידה מסתגל לכל פרמטר — ומרחיב אותם.
מה זו "אופטימיזציה קמורה מקוונת"?
תיאוריה מתמטית (online convex optimization) שחזן תרם לה תרומות משמעותיות, כולל אלגוריתם "הצעד-הניוטוני-המקוון"; מחקרו בתחום הפך לספר-לימוד סטנדרטי הנלמד באוניברסיטאות ברחבי העולם.
מה קרה לחברת In8 שהוא ייסד?
In8, חברה שחזן ייסד מעבר למחקרו האקדמי, נרכשה על ידי גוגל ב-2018.