EleutherAI — קהילת-מחקר שבנתה מודלי-קוד-פתוח וקורפוס The Pile

ייסוד: תגובה לכך ש-GPT-3 לא שוחרר לציבור

EleutherAI קמה ב-7 ביולי 2020 כקהילת-מחקר מבוזרת, בתחילה בשם LibreAI, בידי קונור ליהי, ליאו גאו וסיד בלאק. היא נולדה כתגובה ישירה למצב שבו GPT-3 של OpenAI הוצג לעולם אך לא שוחרר לציבור: קבוצת חוקרים-מתנדבים החליטה לבנות שקול-נגד פתוח, בלי חברה ובלי מימון מסחרי. בתחילת 2023 התאגדה רשמית כמכון-מחקר ללא-מטרות-רווח, בניהולם של סטלה בידרמן, קרטיס יובנר ושיוונשו פורוהיט.

GPT-Neo, GPT-J ו-GPT-NeoX: המודלים הפתוחים הגדולים הראשונים

תוצריה הראשונים היו שלושה מודלים: GPT-Neo (מרץ 2021, בגרסאות של 125 מיליון, 1.3 מיליארד ו-2.7 מיליארד פרמטרים), GPT-J (יוני 2021, שישה מיליארד פרמטרים) ו-GPT-NeoX (פברואר 2022, עשרים מיליארד פרמטרים) — כולם ברישיון Apache 2.0, כלומר פתוחים גם לשימוש מסחרי. במשך תקופה היו אלה המודלים הפתוחים הגדולים ביותר שהיו זמינים לכל מפתח, והם שימשו בסיס לשורה ארוכה של פרויקטים אקדמיים ומסחריים. חשיבותם הייתה פחות בביצועים ויותר בעצם הזמינות: לראשונה יכול היה חוקר באוניברסיטה לבחון מודל בסדר-גודל כזה מבפנים.

The Pile: מאגר-הייחוס שהפך למוקד-מחלוקת

תרומה מרכזית לא פחות היא The Pile, מאגר-אימון בהיקף 886 ג'יגה-בייט שפורסם ב-31 בדצמבר 2020, ובו טקסטים ממקורות מגוונים לאימון מודלי-שפה. הוא הפך למאגר-הייחוס של התחום — וגם למוקד מחלוקת: הוא כולל כתוביות של יותר מ-170 אלף סרטוני YouTube, וכן ספרים וחומרים המוגנים בזכויות-יוצרים. תחקיר של Proof News ושל Wired ביולי 2024 עורר ביקורת ציבורית וטענות לגניבה מצד יוצרי-תוכן.

Common Pile v0.1: התשובה למחלוקת זכויות-היוצרים

בתגובה שחררה הקהילה ביוני 2025 את Common Pile v0.1, מאגר הכולל רק יצירות שרישיונן מתיר במפורש אימון מודלים.

מאז 2023: מעבר למחקר-פרשנות ו-alignment

מאז 2023 הסיטה EleutherAI את מרכז-הכובד שלה למחקר פרשנות של מודלים, להתאמה (alignment) ולמחקר בסיסי, ופחות לשחרור מודלים גדולים חדשים. נכון ל-2026 חשיבותה נמדדת פחות בגודל המודלים שהיא מפרסמת ויותר בשתי נורמות שהיא קבעה ושנשארו: שמודל גדול יכול להיות פתוח לחלוטין, ושמאגר-האימון עצמו הוא נושא לדיון ציבורי ומשפטי ולא פרט טכני פנימי.