קצב למידה (Learning Rate)

קצב למידה (Learning Rate) הוא ההיפר-פרמטר המרכזי בכל שיטת-אופטימיזציה מבוססת-גרדיאנט, כולל ירידת-גרדיאנט וגרסאותיה כמו SGD ו-Adam: הוא קובע באיזה גודל-צעד המודל מזיז את הפרמטרים שלו בכל עדכון, בכיוון שהגרדיאנט מצביע עליו כמפחית-שגיאה. בניגוד לפרמטרים הרגילים של המודל (המשקלים עצמם), שנלמדים אוטומטית מהנתונים, קצב-הלמידה הוא ערך שצוות-הפיתוח קובע מראש או מכוונן במהלך האימון — ולכן הוא נחשב ל"היפר-פרמטר", לא לפרמטר רגיל שהמודל לומד בעצמו, ובדרך כלל הוא אחד המספרים הבודדים שמוזנים ידנית לפני שהאימון בכלל מתחיל.

קצב-למידה גדול-מדי גורם למודל "לקפוץ" מעבר לפתרון הטוב ביותר בכל צעד, ולעיתים אף לא להתכנס כלל — השגיאה עשויה להתנדנד באופן אקראי במקום לרדת בהתמדה. קצב-למידה קטן-מדי, לעומת זאת, גורם לאימון להתקדם לאט מאוד, ולעיתים להיתקע ב"מינימום מקומי" רדוד במקום להמשיך לחפש פתרון טוב יותר. האנלוגיה הנפוצה: מטייל שיורד במורד הר בערפל, לפי השיפוע המקומי בלבד — צעד גדול-מדי עלול להחמיץ את התחתית, צעד קטן-מדי הופך את הירידה לאיטית באופן בלתי-מעשי.

בפועל, כמעט אף אימון מודרני לא משתמש בקצב-למידה קבוע לכל האימון: "לוח-זמנים" (Learning Rate Schedule) מתחיל בדרך כלל בקצב-למידה נמוך יחסית ("חימום", Warmup) כדי לא לערער את המודל בשלב הרגיש שבתחילת האימון, מעלה אותו בהדרגה, ואז מוריד אותו שוב ("דעיכה", Decay) ככל שהאימון מתקדם — כדי לאפשר צעדים גדולים ומהירים בתחילה, וכיוונון עדין ומדויק יותר לקראת הסוף. גישות אדפטיביות כמו Adam מקלות על הצורך בכיוונון-ידני מדויק, אך אינן מבטלות אותו לגמרי.

מציאת קצב-הלמידה הנכון נחשבת לאחת מהחלטות-הכיוונון החשובות והרגישות ביותר באימון מודלים, ולעיתים קרובות משפיעה על הצלחת האימון יותר מבחירת הארכיטקטורה עצמה. מכיוון שאין נוסחה סגורה שקובעת מראש את הערך האופטימלי לכל בעיה, צוותי-אימון נעזרים בשיטות חיפוש שיטתיות — למשל הרצת כמה ערכים במקביל על היקף-נתונים קטן ובדיקת מי מתכנס הכי מהר בלי להתפוצץ — ומשלבים זאת לרוב עם לוח-זמנים שמתאים את הקצב באופן דינמי במהלך האימון עצמו, ולא רק בוחר ערך יחיד קבוע-מראש בתחילתו.