GRU — רשת נשנית של צ׳ו ובנג׳יו; שני שערי-זיכרון בלבד

יסודות בינה מלאכותית

הגדרה

GRU (Gated Recurrent Unit) הוא סוג רשת נשנית מ-2014, גרסה פשוטה יותר מ-LSTM עם פחות פרמטרים ומהירות-אימון גבוהה יותר, תוך שמירה על ביצועים דומים ברוב המשימות.

GRU (Gated Recurrent Unit — יחידה נשנית עם שער) הוא סוג רשת נשנית (RNN) שהציגו ב-2014 קיונגהיון צ'ו ושותפיו-למחקר, ובהם יושוע בנג'יו, במאמר על ארכיטקטורת קודן-מפענח לתרגום-מכונה סטטיסטי. כמו כל רשת נשנית, GRU מעבד רצפים — כמו משפט או אות-קול — צעד-אחר-צעד, תוך שמירת "זיכרון" פנימי ממה שעיבד קודם. החידוש המרכזי שלו הוא מנגנון-שערים: שני "שערים" פנימיים שקובעים כמה מהזיכרון הישן לשמור וכמה מידע-חדש להכניס בכל צעד, בלי צורך לזכור הכול או לשכוח הכול.

GRU נחשב לגרסה פשוטה יותר של LSTM (Long Short-Term Memory), הפתרון הקודם והמבוסס יותר לאותה בעיה — "שכחה" מהירה מדי של הקשר רחוק ברשתות נשניות בסיסיות. בעוד ל-LSTM יש שלושה שערים ומצב-זיכרון פנימי נפרד מהפלט הגלוי, ל-GRU יש רק שני שערים בלי הפרדה כזו — עיצוב מצומצם יותר שמצריך פחות פרמטרים ללמידה, ולכן גם מתאמן מהר יותר וצורך פחות זיכרון-מחשב. הפישוט הזה לרוב אינו בא על חשבון דיוק משמעותי — GRU משיג לרוב תוצאות דומות ל-LSTM, לפעמים אף טובות ממנו.

בזכות הפשטות והמהירות היחסית, GRU היה פופולרי במיוחד ביישומים עם משאבי-חישוב מוגבלים או מאגרי-אימון קטנים יחסית — למשל מודלים המורצים על מכשירים ניידים, או משימות-שפה עם כמות-דוגמאות מוגבלת. הוא שימש בהצלחה בתרגום-מכונה, בזיהוי-דיבור ובחיזוי-רצפים בתחומים כמו מימון ורפואה. כמו LSTM וכל משפחת הרשתות הנשניות, GRU נדחק מאז אמצע שנות ה-2010 ממרבית האפליקציות המובילות בעיבוד-שפה על ידי הטרנספורמר, שמעבד רצף שלם בבת-אחת במקום צעד-אחר-צעד. המעבר הזה לא קרה בין-לילה — הוא נמשך כמה שנים, במקביל להתבססות ארכיטקטורת הטרנספורמר כברירת-המחדל התעשייתית והאקדמית כאחד.

עם זאת, GRU לא נעלם: ביישומים שבהם הרצף ארוך מאוד וזיכרון-מחשב מוגבל, או כשכמות-נתוני-האימון קטנה מכדי להצדיק טרנספורמר כבד, הוא עדיין נבחר בפועל. הפשטות שלו הופכת אותו גם לכלי-הוראה נוח להסביר איך מנגנון-שערים עובד, לפני מעבר לארכיטקטורות מורכבות יותר. הוא נשאר דוגמה מוכרת לכך שפתרון פשוט יותר, עם פחות פרמטרים, יכול להתחרות בהצלחה בפתרון מורכב יותר שקדם לו — ולא רק להיות גרסת-"קיצור-דרך" נחותה שלו, תזכורת שרלוונטית גם מחוץ לתחום הרשתות הנשניות עצמו.