ירידת גרדיאנט (Gradient Descent)

בזמן אימון, המודל מודד כמה הוא טועה (פונקציית-איבוד), ומחשב לאיזה כיוון לשנות כל פרמטר כדי להקטין את הטעות — "גרדיאנט" הוא בדיוק הכיוון הזה, בעולם רב-ממדי של מיליוני פרמטרים.

המודל מזיז את כל הפרמטרים שלו צעד קטן בכיוון הזה, שוב ושוב, אלפי או מיליוני פעמים — בהדרגה "יורד" לעבר נקודה שבה הטעות הכי נמוכה שאפשר, כמו מטייל שיורד במורד הר בערפל, צעד-צעד, לפי השיפוע המקומי.