מודל יסוד (Foundation Model)

אימון מודל מאפס דורש משאבים עצומים שרוב הארגונים לא מחזיקים. מודל-יסוד (כמו GPT — Generative Pre-trained Transformer — או Llama, משפחת המודלים בעלת-המשקלים-הפתוחים של Meta) מאומן פעם אחת ע"י ארגון גדול, ואז משמש כנקודת-פתיחה שממנה אחרים מכווננים גרסאות ייעודיות — בעזרת כוונון-עדין או כוונון-עדין חסכוני (PEFT — Parameter-Efficient Fine-Tuning).

המונח "מודל יסוד" עצמו נטבע רק ב-2021, במאמר של חוקרי אוניברסיטת סטנפורד שביקשו למצוא שם מדויק יותר למגמה שכבר הייתה בעיצומה — מודלים גדולים ורחבי-יכולות ששימשו כתשתית משותפת לאינספור יישומים ייעודיים, גם מחוץ לעולם עיבוד-השפה.

לדוגמה, מודל-יסוד יחיד עשוי לשמש כבסיס למאות או אלפי מוצרים שונים בו-זמנית — מכלי כתיבה שיווקית ועד עוזר-תכנות, מבוט שירות-לקוחות ועד מנוע-המלצות — כל אחד מכוונן מעט אחרת מעל אותו בסיס משותף, במקום שכל צוות-פיתוח יאמן מודל נפרד מאפס בעלות עצומה משלו.

המונח מדגיש את התפקיד: לא מודל שנועד ישירות לשימוש-קצה יחיד, אלא "יסוד" רחב-יכולות שממנו נבנים מוצרים רבים ומגוונים — כמעט כל כלי AI מסחרי היום בנוי מעל מודל-יסוד כזה או אחר. הביקורת המרכזית על המונח, שהעלו חוקרים אחרים כבר ב-2021, הייתה שהוא עלול להטעות: "יסוד" מרמז על יציבות ואמינות, בעוד מודלים כאלה עדיין נושאים את כל המגבלות הידועות של מודלי-שפה גדולים — כולל נטייה להזיה ורגישות לניסוח.

עלות אימון מודל-יסוד מהמעלה הראשונה הגיעה, נכון לאמצע שנות ה-2020, לעשרות ואף מאות מיליוני דולרים בחישוב, חשמל, וכוח-אדם מומחה — קנה-מידה שמסביר מדוע רק מספר מצומצם יחסית של חברות בעולם מסוגלות לאמן מודל-יסוד חדש מאפס, בעוד אלפי חברות אחרות בוחרות לבנות מוצרים מעל מודל-יסוד קיים במקום זאת. אותו קנה-מידה הוא גם קו-הגבול שהרגולציה בחרה בו. החוק האירופי, שאושר סופית ב-2024, קובע סף-חישוב רגולטורי (Compute Threshold): חזקה הניתנת לסתירה, שלפיה מודל לשימוש כללי שאומן ביותר מ-10 בחזקת 25 פעולות נקודה-צפה הוא בעל יכולות בעלות השפעה גבוהה. חוק קליפורניה מ-2025 בחר מבנה אחר ומספר אחר — הגדרה קשיחה של "מודל חזית" כמודל-יסוד שאומן בלמעלה מ-10 בחזקת 26 פעולות.