דיוויד רומלהארט (David Rumelhart)

היסטוריה ואנשי מפתח

הגדרה

דיוויד רומלהארט היה פסיכולוג קוגניטיבי אמריקאי, המחבר הראשי — עם ג'פרי הינטון ורונלד ויליאמס — של המאמר "Learning representations by back-propagating errors" (Nature, 1986), שהפך את ההתפשטות-לאחור לשיטת-האימון הסטנדרטית של רשתות-נוירונים.

רקע והשכלה

דיוויד אוורט רומלהארט נולד ב-12 ביוני 1942 בדרום דקוטה. הוא קיבל תואר ראשון בפסיכולוגיה ובמתמטיקה מאוניברסיטת דרום דקוטה (1963), ופנה לסטנפורד ללימודי דוקטורט בפסיכולוגיה מתמטית בהנחיית ויליאם ק. אסטס, שסיים ב-1967 — תחום שמנסה לתאר תהליכי-חשיבה וזיכרון באמצעות מודלים סטטיסטיים ופורמליים, לא ניסויים תיאוריים גרידא. הרקע הכפול הזה — פסיכולוגיה קוגניטיבית לצד כלים מתמטיים-פורמליים — עיצב את כל הקריירה שלו: הוא לא ראה בעצמו מהנדס-רשתות-נוירונים אלא חוקר-קוגניציה שמחפש מודל מתמטי הולם לאופן שבו המוח האנושי מעבד ומייצג מידע.

UCSD וקבוצת ה-PDP

רומלהארט לימד בחוג לפסיכולוגיה באוניברסיטת קליפורניה בסן-דייגו (UCSD) בין 1967 ל-1987. שם הקים, יחד עם ג'יימס מקללנד, את קבוצת-המחקר "עיבוד מבוזר-מקבילי" (Parallel Distributed Processing, PDP), שביקשה להראות שתופעות קוגניטיביות — שפה, זיכרון, תפיסה — יכולות להתעורר מרשתות של יחידות פשוטות ומקושרות, ולא רק מכללים סימבוליים מפורשים, שהיו הגישה השלטת אז במדעי-הקוגניציה. פרי-העבודה המשותפת התפרסם ב-1986 בספר דו-כרכי, "Parallel Distributed Processing: Explorations in the Microstructure of Cognition", שהפך למסמך-המכונן של גישת-הקוניקציוניזם.

מאמר 1986: התפשטות-לאחור ב-Nature

באותה שנה פרסם רומלהארט, כמחבר-ראשי, יחד עם ג'פרי הינטון ורונלד ויליאמס, את המאמר "Learning representations by back-propagating errors" בכתב-העת Nature. המאמר הראה שרשתות-נוירונים מרובות-שכבות — לא רק שכבה בודדת כמו בפרספטרון המקורי — יכולות ללמוד ייצוגים פנימיים שימושיים, כאשר האימון מתבצע באמצעות אלגוריתם ההתפשטות-לאחור (מוסבר בהרחבה בערך הייעודי לו באתר זה). התוצאה סתרה במידה רבה את הביקורת שהטילו מרווין מינסקי וסימור פייפרט ב-1969 על מגבלות הפרספטרון, וסימנה את השלב שבו רשתות-רב-שכבתיות הפכו שוב לכיוון-מחקר מרכזי.

מחלה ומוות

ב-1987 עבר רומלהארט לפרופסורה באוניברסיטת סטנפורד, שם לימד עד 1998, במחלקה לפסיכולוגיה ובתוכנית הבין-תחומית למערכות-סימבוליות. במהלך שנות ה-90 אובחן במחלת פיק (Pick's disease) — מחלה ניוונית של המוח הפוגעת בשפה ובאישיות עוד לפני שהיא פוגעת בזיכרון — שהביאה לסיום פעיל של הקריירה המחקרית שלו שנים לפני מותו, ומנעה ממנו להמשיך ולפתח את התובנות שהוביל בעשור הקודם. הוא נפטר ב-13 במרץ 2011 בצ'לסי, מישיגן, בגיל 68.

הוקרה ומורשת

רומלהארט זכה במלגת-מקארתור ("מענק-הגאונות") ביולי 1987, נבחר לחבר באקדמיה הלאומית האמריקאית למדעים ב-1991, וזכה ב-2002, יחד עם ג'יימס מקללנד, בפרס גרוואמאייר של אוניברסיטת לואיוויל. פרס דיוויד א' רומלהארט נקרא על שמו: הוא נוסד בתחילת שנות ה-2000 במימון קרן גלושקו-סמואלסון, הוענק לראשונה ב-2001, ומוענק מדי שנה בכנס אגודת מדעי-הקוגניציה (Cognitive Science Society) לתרומה מכוננת ליסודות התיאורטיים של הקוגניציה האנושית — עדות לכך שגם בתוך קהילת ה-AI הוא זוכר בראש ובראשונה כחוקר-קוגניציה, לא רק כמי שכתב מאמר על אימון רשתות.

שאלות נפוצות ❓

מה בדיוק ההישג של רומלהארט במאמר 1986?

הוא היה המחבר הראשי, עם ג'פרי הינטון ורונלד ויליאמס, של "Learning representations by back-propagating errors" ב-Nature — המאמר שהראה שרשתות-נוירונים מרובות-שכבות יכולות ללמוד ייצוגים שימושיים באמצעות התפשטות-לאחור, והפך אותה לשיטת-האימון הסטנדרטית.

האם רומלהארט היה מהנדס או פסיכולוג?

פסיכולוג קוגניטיבי בהכשרתו ולאורך הקריירה. הוא הגיע לרשתות-נוירונים דרך שאלה פסיכולוגית — איך המוח מייצג ומעבד מידע — לא דרך רקע בהנדסה או במדעי-המחשב.

מה זו קבוצת ה-PDP שהקים?

קבוצת-מחקר באוניברסיטת קליפורניה בסן-דייגו, שהקים עם ג'יימס מקללנד, שטענה שתופעות קוגניטיביות נובעות מרשתות של יחידות פשוטות ומקושרות. עבודתה התפרסמה בספר דו-כרכי מ-1986 שהפך למסמך-יסוד בקוניקציוניזם.

למה הקריירה המחקרית של רומלהארט הסתיימה מוקדם יחסית?

הוא אובחן במחלת פיק, מחלה ניוונית של המוח, שהביאה להפסקת עבודתו המדעית הפעילה עוד בשנות ה-90, שנים לפני מותו ב-2011.