נפתלי תשבי (Naftali Tishby)
הגדרה
נפתלי תשבי היה מדען-מחשבים ונוירוביולוג-חישובי ישראלי, פרופסור באוניברסיטה העברית בירושלים — פיתח את תיאוריית "צוואר-הבקבוק המידעי" ללמידת-מכונה.
תשבי נולד ב-28 בדצמבר 1952 בירושלים, לאביו ישעיהו תשבי, חוקר-קבלה ומחשבת-ישראל נודע. קיבל תואר ראשון במתמטיקה ופיזיקה מהאוניברסיטה העברית בירושלים (1974), תואר שני בפיזיקה תיאורטית מאוניברסיטת תל אביב (1980), ודוקטורט מהאוניברסיטה העברית (1985) בעבודה שכותרתה "תיאור-דינמי מצומצם: גישה תורת-אינפורמציונית". המשיך למחקר-בתר-דוקטורט ב-MIT (1985-1986), ועבד במעבדות בל בניו-ג'רזי (1986-1991), לפני שחזר לאוניברסיטה העברית כמרצה-בכיר ב-1992.
תשבי, יחד עם פרננדו פררה ווויליאם ביאלק, ניסחו ב-1999 את תיאוריית "צוואר-הבקבוק המידעי" (information bottleneck) — עקרון מתמטי לפיו מערכת-למידה "סוחטת" מתוך הקלט הרועש רק את המידע הרלוונטי למשימה, ומשליכה את היתר, כמו נוזל שנדחס דרך צוואר-בקבוק צר. בזמנו נותר הרעיון בגדר תאוריה יפה בלי "יישום-הרג" מובהק. ב-2015, יחד עם תלמידתו נגה זסלבסקי, גיבש תשבי את ההשערה שלמידה-עמוקה היא בעצמה תהליך-צוואר-בקבוק-מידעי, וב-2017 פרסם עם רביד שוורץ-זיו ניסויים חישוביים שהראו שרשתות-למידה-עמוקה עוברות שני שלבים נפרדים באימון — שלב "התאמה" קצר ואחריו שלב "דחיסה" ארוך בהרבה, שבו הרשת משליכה מידע לא-רלוונטי כדי להכליל טוב יותר. הניסויים הראו שהרשתות מתכנסות ממש לגבול-התאורטי של צוואר-הבקבוק, תמיכה חזקה בטענתו המפורסמת של תשבי ש"החלק החשוב ביותר בלמידה הוא בעצם שכחה" — מחקר פורץ-דרך שזכה לכיסוי נרחב, כולל כתבה מקיפה ב-Quanta Magazine.
מעבר למחקר, ייסד תשבי את המרכז הבין-תחומי לחישוב-עצבי ואת מרכז אדמונד ולילי ספרא למדעי-המוח באוניברסיטה העברית, וייסד וניהל את תוכנית ההנדסה-החישובית של המוסד (1998). זכה בפרס ביטחון ישראל (1980) ובפרס לנדאו למדעי-המחשב. נפטר ב-9 באוגוסט 2021 בירושלים, בגיל 68, והותיר אחריו אישה וארבעה ילדים. תיאוריית צוואר-הבקבוק המידעי נותרה, גם שנים אחרי מותו, אחת המסגרות התיאורטיות המשפיעות ביותר בניסיון להבין מדוע רשתות-עמוקות מכלילות היטב על נתונים חדשים ולא רק "משננות" את נתוני-האימון.
📬 הגיליון השבועי של Wiki-AI
פעם בשבוע, ביום ראשון: שלושת הדברים החשובים שקרו בעולם הבינה המלאכותית, בעברית פשוטה, וערכים חדשים באנציקלופדיה. לגיליונות