התפשטות לאחור (Backpropagation)

אחרי שהמודל מפיק תחזית ומודד את הטעות שלה, התפשטות לאחור (Backpropagation) "מפיצה" את הטעות הזו אחורה דרך הרשת, שכבה אחר שכבה, ומחשבת בדיוק כמה כל פרמטר בודד תרם לטעות הכוללת — בעזרת כלל-השרשרת (Chain Rule), חוק בסיסי בחשבון-דיפרנציאלי שמאפשר לפרק חישוב-נגזרת מורכב לשרשרת של חישובים פשוטים יותר.

האלגוריתם פורסם לראשונה בצורתו המודרנית ב-1986, במאמר מכונן בכתב-העת Nature מאת דיוויד רומלהארט, ג'פרי הינטון ורונלד ויליאמס — אף שרעיונות דומים הופיעו בעבודות מוקדמות ומעורפלות יותר עוד קודם. המאמר הראה איך אפשר לאמן רשתות עם כמה שכבות, לא רק שכבה בודדת כמו ב-Perceptron המקורי, שהיה מוגבל מבנית לבעיות פשוטות בלבד.

החשיבות של האלגוריתם הזה לתחום כולו קיבלה הכרה רשמית ב-2024, כשג'פרי הינטון זכה בפרס נובל לפיזיקה (יחד עם ג'ון הופפילד) "על תגליות והמצאות יסודיות שמאפשרות למידת-מכונה עם רשתות-נוירונים מלאכותיות" — פרס נדיר לתחום מדעי-המחשב, שהעניק להתפשטות-לאחור ולעבודה שהובילה אליה הכרה כתשתית מדעית ולא רק כטריק-הנדסי.

מבחינה חישובית, backpropagation יעילה להפליא: היא מחשבת את כל הגרדיאנטים לכל הפרמטרים ברשת בסריקה אחת אחורה, במקום לחשב כל פרמטר בנפרד — יעילות שהופכת את אימון רשתות עם מיליארדי פרמטרים לבר-ביצוע בכלל. השילוב של backpropagation (חישוב האשמה) וירידת-גרדיאנט (Gradient Descent, תיקון לפי האשמה) הוא הלב הפועם של כל אימון רשת-נוירונים מודרנית — כולל אימון מודלי השפה הגדולים ביותר, שרק קנה-המידה שלהם השתנה, לא העיקרון הבסיסי. גם רשתות בגודל מאות מיליארדי פרמטרים, המורצות על אלפי מעבדי-גרפיקה במקביל, עדיין נשענות בבסיסן על אותו רעיון מתמטי מ-1986 — לא נמצאה עד היום חלופה מעשית שהחליפה אותו.