GELU (ראשי-תיבות של Gaussian Error Linear Unit) היא פונקציית-הפעלה לרשתות-נוירונים — נוסחה שקובעת אם ומתי נוירון בודד "מעביר" את האות שהגיע אליו הלאה ברשת. בניגוד ל-ReLU, פונקציית-ההפעלה הפשוטה והנפוצה יותר שמאפסת כל ערך שלילי בצורה חדה ומשאירה כל ערך חיובי בדיוק כמו שהוא, GELU משקללת כל קלט לפי ההסתברות שהוא "חיובי מספיק" לפי התפלגות נורמלית (גאוסיאנית) — מעבר מדורג בין "כבוי" ל"פעיל", לא מתג בינארי חד כמו אצל ReLU, גם עבור ערכים קרובים לאפס משני הצדדים.
הפונקציה פורסמה ביוני 2016 על ידי דן הנדריקס וקווין גימפל מאוניברסיטת שיקגו, במאמר "Gaussian Error Linear Units (GELUs)", ונותרה תחילה שולית יחסית עד שאומצה על ידי כמה מהמודלים המשפיעים ביותר בתחום עיבוד-השפה-הטבעית. גוגל בחרה בה כפונקציית-ההפעלה של BERT, מודל-השפה הדו-כיווני שפורסם ב-2018, ו-OpenAI השתמשה בה כבר במודל ה-GPT המקורי מאותה שנה — שני מודלים שהפכו את GELU בפועל לתקן דה-פקטו בארכיטקטורת הטרנספורמר, במקום להישאר פונקציה שולית בספרות-המחקר בלבד כפי שהייתה בשנותיה הראשונות.
היתרון האמפירי המדווח של GELU הוא בעיקר יציבות-אימון משופרת ברשתות עמוקות וגדולות במיוחד — מעבר-הדרגתי בין הכבוי לפעיל, בלי "קפיצה" חדה כמו ב-ReLU, שנמצא מסייע כשמדובר בעשרות או מאות שכבות. עם זאת, ההבדל בביצועים בפועל בין GELU ל-ReLU על רשתות קטנות או בעיות פשוטות יחסית הוא לרוב זניח, ולא הוכח ש-GELU "טובה יותר" באופן גורף — הבחירה בה נובעת בעיקר מכך שהיא הפכה לברירת-המחדל בארכיטקטורות טרנספורמר ספציפיות, לא מהוכחה תיאורטית חד-משמעית ליתרונה על פני כל חלופה אחרת.
מאז אימוץ GELU בבנייני-היסוד המרכזיים, צצו גרסאות נוספות שמנסות לשפר עוד יותר את יציבות-האימון והדיוק — למשל SwiGLU, שמשולבת במודלים מודרניים רבים ומחליפה בהדרגה את GELU הפשוטה יותר בחלק מהארכיטקטורות העדכניות ביותר. עם זאת, GELU נותרה עד היום פונקציית-ברירת-המחדל הנפוצה ביותר בהרבה ממודלי-הטרנספורמר הקיימים, ולומדי בינה מלאכותית שנתקלים בקוד-מקור של מודל-שפה גדול כמעט תמיד ייתקלו בה תחת שם זה או תחת שם אחת מהגרסאות המשופרות שלה, סימן לכך שהבחירה המקורית של הנדריקס וגימפל מ-2016 עדיין רלוונטית כמעט עשור אחר-כך.