Llama — מודלי Meta שאפשר להוריד, אך ה-OSI קבע שאינם קוד-פתוח

מה זה Llama, ומתי הוא יצא

Llama (ראשי-תיבות של Large Language Model Meta AI) היא משפחת מודלי-שפה בעלי-משקלים-פתוחים שפיתחה Meta. הגרסה הראשונה הוצגה ב-24 בפברואר 2023 בפוסט-בלוג רשמי, לצד מאמר-arXiv מפורט שפורסם ימים ספורים אחר-כך, בארבעה גדלים — 7, 13, 33 ו-65 מיליארד פרמטרים — שאומנו כולם על נתונים ציבוריים-בלבד. Meta טענה שהגרסה בת 13 מיליארד הפרמטרים עולה על GPT-3 (175 מיליארד פרמטרים) ברוב המבחנים, ושגרסת ה-65 מיליארד מתחרה במודלי-הענק PaLM (540 מיליארד) ו-Chinchilla (70 מיליארד). בניגוד לשחרור פומבי מלא, הגישה למשקלים ניתנה תחילה רק לחוקרים מאושרים תחת רישיון לא-מסחרי.

הדליפה שהקדימה את גוגל: 4chan, מרץ 2023

רק שבעה ימים אחרי ההשקה המוגבלת, ב-3 במרץ 2023, פרסם משתמש אנונימי בפורום 4chan קישור-טורנט למשקלי הגרסה הגדולה ביותר, LLaMA-65B, וזה התפשט תוך שעות בקהילות ה-AI ברשת. Meta דרשה הסרה מיידית וטענה להפרת-זכויות-יוצרים, אך לא הכחישה את אמיתות הקבצים שדלפו — ונשארה נאמנה לגישתה הכללית של שיתוף-מודלים עם קהילת המחקר. הדליפה, יחד עם הבחירה המקורית להגביל את הגישה, הפכה ל"סיפור-מקור" מוכר בתחום ה-AI הפתוח: מודל שנועד להישאר מוגבל הפך בפועל לנחלת-הכלל תוך ימים בודדים.

Llama 2: המעבר לרישיון מסחרי

ב-18 ביולי 2023 השיקה Meta את Llama 2, בשיתוף-פעולה מוצהר עם מיקרוסופט (שהפכה לשותפת-הענן המועדפת של המודל באז'ור), עם רישיון חדש המתיר שימוש מסחרי חופשי לכל ארגון שמונה פחות מ-700 מיליון משתמשים-פעילים בחודש — שינוי מהותי מהרישיון המחקרי-בלבד של הגרסה הראשונה. Llama 2 אומן על כ-2 טריליון טוקנים, כ-40 אחוזים יותר מהכמות ששימשה לאימון הגרסה הקודמת, ושוחרר גם בגרסאות מכווננות-לשיחה (Chat) שהותאמו במיוחד לשימוש כעוזר-דיאלוג. Llama 2 שימש בסיס גם למודלים מחוץ לעולם הטקסט: OpenVLA, מודל בקוד פתוח לשליטה ברובוטים שפורסם ביוני 2024, משלב אותו עם מקודד-ראייה כדי לתרגם תמונה והוראה לפקודות תנועה.

Llama 3 ו-3.1: המודל הפתוח הגדול בעולם

ב-18 באפריל 2024 יצאה Llama 3, בגדלים 8 ו-70 מיליארד פרמטרים, שאומנה על כ-15 טריליון טוקנים — פי-7 יותר מ-Llama 2. שלושה חודשים אחר-כך, ב-23 ביולי 2024, הוסיפה Meta את Llama 3.1 405B: מודל בעל 405 מיליארד פרמטרים שתואר כמודל-בעל-משקלים-פתוחים הגדול ביותר שפורסם עד אז, עם חלון-הקשר של 128,000 טוקנים וביצועים שהתקרבו לראשונה לרמת מודלי-הדגל הסגורים המובילים במשימות הנמקה, מתמטיקה ותרגום. לפי מכון המחקר Epoch AI, היקף מערכי האימון (Training Dataset Size) גדל בקצב כזה שאם המגמה תימשך, מודלי שפה ינצלו במלואו את מלאי הטקסט האנושי הציבורי בין 2026 ל-2032. לפי אותו מכון, גם כוח-החישוב שמשמש לאימון מודלי-חזית גדל מאז 2020 במהירות, בקצב חציוני של פי 5 בשנה.

Llama 4: המעבר לארכיטקטורת תמהיל-מומחים

ב-5 באפריל 2025 (מוקדם ממה שתוכנן במקור) הציגה Meta את דור Llama 4 — הפעם הראשונה שהיא אימצה ארכיטקטורת "תמהיל מומחים" (Mixture of Experts), הגישה שהופצה לראשונה בקנה-מידה מסחרי על ידי Mixtral. שני מודלים שוחררו מיד: Scout (16 מומחים, 17 מיליארד פרמטרים פעילים) ו-Maverick (128 מומחים, גם הוא 17 מיליארד פרמטרים פעילים), לצד מודל-ענק שלישי, Behemoth, שנותר בתצוגה-מקדימה ושימש כ"מורה" בתהליך-האימון של השניים האחרים. משפחת Llama 4 גם רב-מודלית מלידה — תומכת בקלט-תמונות מההתחלה, לא כתוספת מאוחרת.

"משקלים פתוחים" אך לא "קוד פתוח": מחלוקת הרישיון

Meta מכנה את Llama "קוד פתוח", אך ה-Open Source Initiative (הגוף שמגדיר את התקן המקובל למונח) קבע במפורש שהרישיון אינו עומד בהגדרה: הוא כולל הגבלות-שימוש (כמו סף 700 מיליון המשתמשים) שהגדרת קוד-פתוח אוסרת. ה-Free Software Foundation הלכה צעד נוסף בינואר 2025 וסיווגה את רישיון Llama 3.1 כ"תוכנה לא-חופשית", בין השאר בגלל מדיניות-שימוש-מקובל שאוכפת הגבלות גם מחוץ לתחום-השיפוט של המשתמש. ההבחנה המדויקת יותר, ולכן, היא "משקלים-פתוחים": אפשר להוריד ולהריץ את המודל בחינם, אבל לא לפי כל תנאי הרישיון הפתוח-לחלוטין המקובלים בעולם התוכנה.