עבודת-הדיפלומה: זיהוי בעיית הגרדיאנט הנעלם
ספ הוכרייטר נולד ב-14 בפברואר 1967 במילדורף שבגרמניה המערבית. הוא למד באוניברסיטה הטכנית של מינכן (TUM), ובעבודת-הדיפלומה שלו מיוני 1991, 'Untersuchungen zu dynamischen neuronalen Netzen', שהונחתה בידי יורגן שמידהובר, זיהה לראשונה באופן פורמלי את 'בעיית הגרדיאנט הנעלם' — התכווצות הגרדיאנט עד להיעלמותו כמעט המוחלט באימון רשתות-נוירונים עמוקות ונשניות, שמונעת מהן ללמוד מהקשר רחוק. מפני שהעבודה נכתבה בגרמנית, התוצאה לא זכתה בתחילה להד רחב מחוץ לגרמניה.
LSTM: מהאבחון לפתרון
שש שנים לאחר-מכן הציגו הוכרייטר ושמידהובר יחד את הפתרון: ארכיטקטורת 'זיכרון קצר-ארוך' (Long Short-Term Memory — LSTM), שמוסיפה לרשת 'תא-זיכרון' פנימי נפרד שמאפשר למידע לזרום דרכו כמעט ללא היחלשות לאורך זמן רב. המאמר המלא פורסם בכתב-העת Neural Computation ב-1997, ונחשב כיום לאחד המאמרים המצוטטים ביותר בתולדות הלמידה-העמוקה.
דוקטורט וקריירה מוקדמת
הוכרייטר השלים דוקטורט במדעי-המחשב ב-TUM ב-1999, בהנחיית וילפריד בראואר, בעבודה שכותרתה 'Generalisierung bei neuronalen Netzen geringer Komplexität'. בשנים שלאחר-מכן פעל כחוקר באוניברסיטת קולורדו בבולדר ובאוניברסיטה הטכנית של ברלין, לצד מחקר בנושאי רשתות-הופפילד מודרניות, שיטות ביקלאסטרינג כגון FABIA, ו'חיפוש-מינימום-שטוח' (Flat Minimum Search).
יוהנס קפלר לינץ: ביואינפורמטיקה ולמידת-מכונה
מ-2006 עד 2018 עמד הוכרייטר בראש המכון לביואינפורמטיקה באוניברסיטת יוהנס קפלר בלינץ, אוסטריה; מ-2018 הוא עומד בראש המכון ללמידת-מכונה של האוניברסיטה. הוא מכהן גם כראש מעבדת-הבינה-המלאכותית של מכון-הטכנולוגיה של לינץ (LIT AI Lab) מ-2017, וכמנהל-מייסד של המכון הבינלאומי למחקר מתקדם בבינה מלאכותית (IARAI). ב-2021 קיבל את פרס-החלוצים לרשתות-נוירונים (Neural Networks Pioneer Prize) של IEEE, על מחקרו ב-LSTM.
רשתות-הופפילד מודרניות וחיבור לטרנספורמר
ב-2020 פרסם הוכרייטר, יחד עם הוברט רמסאואר ושותפים נוספים, את המאמר 'Hopfield Networks is All You Need' — עדכון של רשת-הופפילד הקלאסית עם כלל-עדכון רציף שמסוגל לאחסן מספר עצום של דפוסים ולשלוף אותם בצעד אחד. המאמר הראה שכלל-העדכון החדש שקול מתמטית למנגנון-הקשב (attention) שעליו מבוסס הטרנספורמר, וכך חיבר בין רשתות-הופפילד הישנות של שנות ה-80 לבין הארכיטקטורה שהחליפה בפועל את ה-LSTM.
xLSTM ו-NXAI: מהמחקר לחברה
בדצמבר 2023 ייסד הוכרייטר בלינץ את חברת NXAI, יחד עם חברת Netural X וחברת PIERER Digital Holding, כדי לפתח את xLSTM — גרסה מורחבת ומודרנית של הארכיטקטורה שהמציא ב-1997. מאמר xLSTM, שפרסם הוכרייטר עם שמונה שותפים-נוספים והוצג בכנס NeurIPS 2024, מציג שני בלוקים חדשים — sLSTM עם 'שערים אקספוננציאליים' ו-mLSTM עם זיכרון-אסוציאטיבי הניתן לחישוב במקביל — במטרה להרחיב LSTM לגודל של מיליארדי פרמטרים ולהציע חלופה אירופית למודלי-שפה מבוססי-טרנספורמר כגון ChatGPT.