רוסלן סלחוטדינוב (Ruslan Salakhutdinov)

היסטוריה ואנשי מפתח

הגדרה

רוסלן סלחוטדינוב הוא מדען-מחשב אמריקאי ממוצא אוזבקי, שפרסם ב-2006 יחד עם ג'פרי הינטון במגזין Science מאמר שהחיה את העניין במקודדים אוטומטיים עמוקים, ומאוחר יותר כיהן כמנהל מחקר-AI באפל ופרופסור באוניברסיטת קרנגי מלון.

רקע והשכלה ותחילת שיתוף-הפעולה עם הינטון

רוסלן סלחוטדינוב נולד בטשקנט שבאוזבקיסטן. ב-2004, עוד כסטודנט, החל לשתף פעולה עם ג'פרי הינטון באוניברסיטת טורונטו במחקר על "רשתות-אמונה עמוקות" (deep belief networks) — שיתוף-פעולה שהוביל לדוקטורט שהשלים ב-2009 בהנחייתו, בעבודה שכותרתה "Learning Deep Generative Models".

מאמר Science 2006: תחיית העניין במקודדים אוטומטיים עמוקים

ב-2006, עוד לפני שסיים את הדוקטורט, פרסמו הינטון וסלחוטדינוב בכתב-העת Science את המאמר "Reducing the Dimensionality of Data with Neural Networks". המאמר הדגים כיצד אימון-מקדים (pretraining) של מקודד אוטומטי רב-שכבתי, באמצעות מחסנית של מכונות-בולצמן מוגבלות (RBM), ולאחריו כיוונון-עדין של הרשת כולה, מאפשר לרשת ללמוד ייצוג דחוס בצוואר-בקבוק של 30 נוירונים בלבד — ייצוג שהניב שגיאת-שחזור קטנה יותר מזו של 30 הרכיבים הראשונים בניתוח-רכיבים-ראשיים (PCA), והפריד בבירור רב יותר בין אשכולות-הנתונים. לפי ערך Autoencoder בוויקיפדיה, המאמר נחשב לאחד הגורמים המרכזיים לתחיית-העניין בלמידה עמוקה באמצע שנות ה-2000, אחרי שנים שבהן התחום נחשב שולי יחסית במחקר הבינה המלאכותית.

קריירה אקדמית בקרנגי מלון

סלחוטדינוב מכהן כיום בסגל אוניברסיטת קרנגי מלון כפרופסור על-שם UPMC למדעי-המחשב במחלקה ללמידת-מכונה. ב-2013 הוכר כ-Microsoft Faculty Fellow, ומאז גם כעמית של קרן Sloan וכעמית CIFAR. מחקרו כיום משתרע על למידה עמוקה, מודלים גרפיים הסתברותיים ואופטימיזציה בקנה-מידה גדול, וכן על למידה רב-מודלית, רובוטיקה ומודלים דיפוזיביים, בפרסומים בכנסים המובילים בתחום — NeurIPS, ICML, ICLR ו-ACL.

מנהל מחקר-AI באפל (2016–2020)

ב-2016 הצטרף סלחוטדינוב לאפל כמנהל מחקר-הבינה-המלאכותית (Director of AI Research) של החברה. ב-2020 עזב את אפל וחזר לסגל הפקולטה בקרנגי מלון. ביוני 2023 הצטרף גם כדירקטור בחברת Felix Smart.

פרסום נוסף: Deep Boltzmann Machines (2009)

ב-2009 פרסמו סלחוטדינוב והינטון יחד מאמר נוסף, "Deep Boltzmann Machines", בכנס Artificial Intelligence and Statistics (AISTATS). המאמר הציג אלגוריתם-למידה חדש למכונות-בולצמן עם כמה שכבות של משתנים חבויים, המשלב קירוב וריאציוני עבור תוחלות תלויות-נתונים ושרשראות מרקוב מתמידות עבור תוחלות בלתי-תלויות-נתונים, כך שאפשר לאמן רשתות עמוקות עם מיליוני פרמטרים ביעילות. הניסויים על מאגרי-הנתונים MNIST ו-NORB הראו ביצועים חזקים במשימות זיהוי-ספרות-כתב-יד וזיהוי-עצמים חזותיים.

הכרה מקצועית

סלחוטדינוב נחשב לאחד החוקרים המשפיעים ביותר בתחום הלמידה העמוקה מאז אמצע שנות ה-2000, הן בזכות מאמר ה-Science מ-2006 עם הינטון והן בזכות תרומתו המתמשכת למחקר על רשתות-אמונה עמוקות ומכונות-בולצמן עמוקות. הוא ממשיך לפרסם באופן שוטף עם קבוצת-המחקר שלו בקרנגי מלון, ולכהן כיועץ בתחום הבינה המלאכותית לחברות-טכנולוגיה — מסלול קריירה שמשלב מחקר אקדמי בסיסי עם תפקידי-פיתוח בתעשייה.

שאלות נפוצות ❓

מה הראה המאמר של הינטון וסלחוטדינוב ב-Science ב-2006?

הראה שמקודד אוטומטי עמוק, מאומן-מראש עם מחסנית של מכונות-בולצמן מוגבלות, לומד ייצוג דחוס של 30 מימדים שמשחזר נתונים טוב יותר מ-PCA — פרסום שנחשב לאחד הגורמים המרכזיים לתחיית-העניין בלמידה עמוקה.

מתי סלחוטדינוב השלים את הדוקטורט שלו, ובהנחיית מי?

השלים דוקטורט באוניברסיטת טורונטו ב-2009, בהנחיית ג'פרי הינטון, בעבודה שכותרתה "Learning Deep Generative Models", אחרי שהחל לשתף פעולה עמו כבר ב-2004.

איזה תפקיד מילא סלחוטדינוב באפל?

שימש כמנהל מחקר-הבינה-המלאכותית (Director of AI Research) של אפל בין 2016 ל-2020, ולאחר מכן חזר לסגל הפקולטה בקרנגי מלון.

מה זה Deep Boltzmann Machines, ומתי פורסם?

מאמר משנת 2009 שסלחוטדינוב פרסם יחד עם הינטון בכנס AISTATS, שהציג אלגוריתם-למידה חדש למכונות-בולצמן בעלות כמה שכבות חבויות, ואפשר לאמן רשתות עמוקות עם מיליוני פרמטרים ביעילות.