פונקציית הפעלה (Activation Function)

כל נוירון מקבל סכום-משוקלל של קלטים, ומפעיל עליו פונקציית-הפעלה שמחליטה איזה ערך "לשלוח הלאה". פונקציות נפוצות (כמו ReLU — Rectified Linear Unit) מאפסות ערכים שליליים ומשאירות חיוביים כמו שהם — פעולה שנשמעת פשוטה להפליא, אבל היא בדיוק מה שנותן לרשת את היכולת "להחליט" באיזה מידע להתעלם ובאיזה להמשיך.

ReLU היא הפונקציה הנפוצה ביותר היום, בזכות היותה פשוטה להפליא לחישוב. מחקר משנת 2010 של וינוד נאיר וג'פרי הינטון הראה שהיא מאמנת רשתות עמוקות מהר ואמין יותר מהפונקציות שקדמו לה (כמו Sigmoid ו-Tanh), והיא הפכה מאז לברירת-המחדל בתעשייה.

בארכיטקטורת הטרנספורמר, הבסיס של מודלי השפה הגדולים המודרניים, פונקציית-ההפעלה הנפוצה אינה ReLU הפשוטה אלא גרסה חלקה יותר שלה — GELU (Gaussian Error Linear Unit) — שמאפשרת מעבר מדורג יותר בין "כבוי" ל"פעיל" במקום מעבר חד. מודלים כמו GPT (Generative Pre-trained Transformer) משתמשים בה, וכך גם BERT (מודל-שפה דו-כיווני של Google) — שניהם נהנים מכך שהיא נמצאה משפרת מעט את יציבות-האימון על רשתות ענקיות במיוחד, גם אם ההבדל בביצועים על רשתות קטנות יותר זניח.

בלי פונקציית-הפעלה לא-לינארית, גם רשת עם מיליוני שכבות הייתה שקולה מתמטית לחישוב פשוט אחד — פונקציית ההפעלה היא מה שמאפשר לרשת ללמוד קשרים מורכבים ולא-ליניאריים בין קלט לפלט, ומה שהופך רשת עמוקה לשונה מהותית מנוסחה סטטיסטית רגילה. הבחירה בפונקציית-הפעלה מסוימת נחשבת היום ל"היפר-פרמטר" ארכיטקטוני שמפתחי-מודלים מכוונים ולא נתון קבוע-מראש. פונקציות-הפעלה שונות התאימו בעבר לבעיות שונות: Sigmoid, למשל, עדיין משמשת בשכבת-הפלט של מסווגים בינאריים (כן/לא), כי היא מפיקה ערך בין 0 ל-1 שאפשר לפרש כהסתברות — תפקיד שבו ReLU, שמפיקה טווח-ערכים לא-חסום, פחות מתאימה.