פונקציית הפעלה (Activation Function)

כל נוירון מקבל סכום-משוקלל של קלטים, ומפעיל עליו פונקציית-הפעלה שמחליטה איזה ערך "לשלוח הלאה". פונקציות נפוצות (כמו ReLU) מאפסות ערכים שליליים ומשאירות חיוביים כמו שהם.

בלי פונקציית-הפעלה לא-לינארית, גם רשת עם מיליוני שכבות הייתה שקולה מתמטית לחישוב פשוט אחד — פונקציית ההפעלה היא מה שמאפשר לרשת ללמוד קשרים מורכבים ולא-ליניאריים בין קלט לפלט.