GPT-3 — מודל בן 175 מיליארד פרמטרים, פי-100 מקודמו GPT-2

OpenAI פרסמה את מאמר-ה-arXiv המתאר את GPT-3 ב-28 במאי 2020, ופתחה גישת-בטא ל-API ב-11 ביוני אותה שנה. עם 175 מיליארד פרמטרים (בדיוק של 16 סיביות, הדורש כ-350 ג'יגה-בייט אחסון) וחלון-הקשר של 2,048 טוקנים, GPT-3 היה גדול פי-כ-100 ממודל-הקודמו GPT-2 (1.5 מיליארד פרמטרים) — קפיצת-קנה-מידה עצומה בתוך אותה ארכיטקטורת-מפענח-בלבד (decoder-only), בלי שינוי מבני דרמטי.

המודל אומן על כ-570 מיליארד טוקנים ממקורות מגוונים: 410 מיליארד (60%) מ-Common Crawl (סריקת-אינטרנט המונית), 55 מיליארד מ-Books2, 19 מיליארד מ-WebText2, 12 מיליארד מ-Books1, ו-3 מיליארד מוויקיפדיה. GPT-3 הפגין יכולות "אימון-אפס" (zero-shot) ו"אימון-מעטים" (few-shot) מרשימות — למידת-משימות חדשות מתוך הנחיה טקסטואלית בלבד, בלי אימון-מחדש ייעודי. בניסוי מפורסם, בודקים אנושיים הצליחו להבחין בין כתבה אנושית לכתבה שכתב GPT-3 רק ב-52 אחוזים מהמקרים — בקושי טוב יותר מניחוש אקראי.

בספטמבר 2020 רכשה מיקרוסופט רישיון-בלעדי לקוד הבסיסי של GPT-3, אף ש-OpenAI המשיכה להפעיל API ציבורי לתוצריו. הגישה ל-GPT-3 באמצעות API (לא כמוצר-קצה לציבור הרחב) איפשרה למפתחים לבנות עליו יישומים חדשניים רבים — אך הרגע שבו AI שיחתי הפך לתופעה המונית המתין עוד שנתיים, עד השקת ChatGPT. בקרב מבקרי המודל עלו חששות סביב טביעת-הרגל הסביבתית שלו, סיכוני-הונאה-אקדמית, ופוטנציאל ליצירת תוכן רעיל, מוטה או כוזב.

מבחינה היסטורית, GPT-3 הוא נקודת-המפתח שבה קהילת-המחקר וגם התקשורת הכללית התחילו לקחת ברצינות את "היפותזת קנה-המידה" (scaling hypothesis) — הרעיון שהגדלת מודל, נתונים וחישוב, כמעט ללא שינוי אלגוריתמי, ממשיכה להניב שיפורי-יכולת מהותיים. ההשפעה של הרעיון הזה מורגשת עד היום בכל מרוץ-הפיתוח של מודלי-השפה הגדולים המובילים — כולל אצל מתחרים כמו Google DeepMind ו-Anthropic, שכולם אימצו גרסאות משלהם לאותו הימור-יסודי על קנה-מידה — הימור שהפך למרוץ-חימוש עולמי בין חברות-הטכנולוגיה הגדולות.