תמהיל מומחים (Mixture of Experts)

במקום רשת אחת ענקית שכל חלק בה פעיל תמיד, MoE מחלקת את הרשת לתת-רשתות מומחות רבות, ו"נתב" קטן בוחר, לכל טוקן, רק כמה מומחים רלוונטיים להפעיל — השאר נשארים כבויים לאותו טוקן.

כך אפשר לבנות מודל עם טריליוני פרמטרים "על הנייר", אך לשלם בפועל בחישוב רק על החלק הקטן שבאמת פעיל בכל רגע — יעילות שהופכת מודלים ענקיים למעשיים לאימון ולהרצה.