מה זה GPT-3.5, ומה ההבדל בינו לבין GPT-3 ו-GPT-4
GPT-3.5 אינה מודל בודד, אלא שם-משפחה שנתנה OpenAI ב-2022 לסדרת מודלים שכווננו ב-RLHF (למידת-חיזוק מהעדפות אנושיות) על גבי בסיס GPT-3. ChatGPT עצמו, שיצא לציבור הרחב ב-30 בנובמבר 2022, כוונן מתוך מודל בסדרת GPT-3.5 — אך את gpt-3.5-turbo עצמו, בשמו הספציפי, פרסמה OpenAI ל-API רק כעבור כשלושה חודשים, במרץ 2023, ותיארה אותו כאותו מודל שמריץ את ChatGPT בפועל. היא נבדלת בבירור משני שכניה במשפחת GPT, שגם להם ערכים נפרדים באתר: GPT-3 (2020) הוא מודל-הבסיס עצמו — הרגע שבו הציבור הרחב וקהילת-המחקר גילו לראשונה את יכולות-הקנה-מידה המפתיעות של מודלי-שפה ענקיים, שנתיים וחצי לפני ChatGPT. GPT-4 (מרץ 2023) הוא הדור הבא, הראשון במשפחה שקיבל גם קלט של תמונות וקפץ קפיצת-יכולת חדה במבחנים אקדמיים. GPT-3.5 יושבת בדיוק באמצע: אותה ארכיטקטורת-מפענח (decoder-only) כמו GPT-3, ללא שינוי מבני, אבל אימון-נוסף שהפך אותה מ"משלים-טקסט" גולמי לעוזר שמציית להוראות ומנהל שיחה — וזה, לא ארכיטקטורה חדשה, מה שהפך אותה לכלי שאפשר להריץ עליו צ'אטבוט.
מ-GPT-3 ל-GPT-3.5: כוונון-RLHF, לא קפיצת-ארכיטקטורה
המסלול מ-GPT-3 ל-GPT-3.5 עבר דרך שיטת-אימון שתועדה במאמר InstructGPT של OpenAI (מרץ 2022): שלב ראשון של כוונון-מונחה (Supervised Fine-Tuning) על דוגמאות-שיחה שכתבו בני-אדם, ולאחריו למידת-חיזוק מכוונת-משוב-אנושי (RLHF) — בני-אדם דירגו תשובות שונות של המודל לאותה הנחיה, והמודל למד להעדיף את התשובות המדורגות גבוה. השיטה הזו היא הרקמה-המקשרת בין GPT-3.5 לבין InstructGPT, שני תוצרים נפרדים של אותה שיטה בדיוק: InstructGPT היה גרסת-ההדגמה המחקרית, ואילו GPT-3.5 היא סדרת-הייצור שכוונון-דומה הפך אותה לשמישה מספיק כדי להריץ מוצר-צרכני שלם. לא נוספה שכבה ארכיטקטונית חדשה — רק שינוי בתהליך-האימון שקרה אחרי אימון-הבסיס, ולא בו.
משפחת GPT-3.5: מ-text-davinci-002 עד gpt-3.5-turbo
OpenAI התחילה לכנות את התוצרים באופן רשמי "סדרת GPT-3.5" ב-30 בנובמבר 2022, יחד עם השקת ChatGPT עצמו — שכוונן מתוך מודל בסדרה, לא מ-gpt-3.5-turbo באופן ספציפי (מודל זה עוד לא פורסם אז). gpt-3.5-turbo עצמו הגיע ל-API רק כעבור כשלושה חודשים, במרץ 2023 — המודל שאותו תיארה OpenAI כמריץ את ChatGPT בפועל. הדגמים הראשונים בסדרה קדמו לכל זה בהרבה: text-davinci-002 ו-code-davinci-002 פורסמו כבר ב-15 במרץ 2022, כגרסאות-עריכה חדשות ל-API הקיים, עם נתוני-אימון עד יוני 2021 בלבד. text-davinci-003 יצא ב-28 בנובמבר 2022, יומיים בלבד לפני ChatGPT. gpt-3.5-turbo עצמו מקבל תאריך-חיתוך מאוחר קצת יותר — 1 בספטמבר 2021, לפי דף-המודלים הרשמי של OpenAI, לא יוני 2021 כמו הדגמים המוקדמים. וכולם מקבלים ומייצרים טקסט בלבד, ללא יכולת לקרוא תמונות — מגבלה שנפרצה רק בדור הבא, ב-GPT-4.
כמה פרמטרים יש ל-GPT-3.5, ומה הפער בפועל מול GPT-4
OpenAI מעולם לא פרסמה מספר-פרמטרים רשמי לאף אחד ממודלי סדרת GPT-3.5 — שינוי-מדיניות לעומת GPT-3 המקורי, שגודלו (175 מיליארד פרמטרים) כן פורסם במפורש במאמר-המחקר שלו. הפער ביכולת מול GPT-4 היה משמעותי וגלוי בפומבי: לפי OpenAI, בגרסת GPT-3.5 שנבחנה במבחן-לשכת-עורכי-הדין האמריקאי (Bar Exam), הציון דורג בעשירונים התחתונים מבין הנבחנים האנושיים — לעומת האחוזון ה-90 בקירוב שאליו הגיע GPT-4 באותו מבחן בדיוק, לפי אותו דוח-טכני. אותו דפוס חזר במבחנים אחרים לאורך השנים הבאות: מודלים חדשים יותר, כולל מודלים פתוחי-משקל כמו Mixtral, השתמשו ב"עולה על GPT-3.5" כאמת-מידה סטנדרטית להוכחת-יכולת — תפקיד שהמודל ממשיך למלא כנקודת-ייחוס גם אחרי שהפסיק להיות מוצר-קצה בפני עצמו.
מקומו בהשקת ChatGPT, ואחרי-כן
ChatGPT בהשקתו לציבור הרחב ב-30 בנובמבר 2022 רץ על מודל מסדרת GPT-3.5 — לא על gpt-3.5-turbo באופן ספציפי, ששמו הרשמי עוד לא היה קיים אז. gpt-3.5-turbo עצמו הגיע ל-API רק כעבור כשלושה חודשים, ב-1 במרץ 2023 — כשבועיים בלבד לפני השקת GPT-4 (14 במרץ 2023): GPT-4 הועמד תחילה רק למנויי ChatGPT Plus בתשלום, בעוד gpt-3.5-turbo המשיך לשמש כברירת-המחדל החינמית לכל שאר המשתמשים. המצב הזה נמשך יותר משנה: רק ביולי 2024 הציגה OpenAI את GPT-4o mini, מודל קטן וזול יותר שהחליף סופית את gpt-3.5-turbo כברירת-המחדל החינמית. במקביל המשיכה OpenAI להציע גרסאות-כוונון-עדין (Fine-Tuning) מבוססות GPT-3.5 למפתחי-API — כולל שיתוף-פעולה מוצהר עם Scale AI באוגוסט 2023 לכוונון-עדין של המודל עבור לקוחות ארגוניים.
הפרישה הרשמית: סוף הזמינות בסתיו 2026
לפי לוח-הזמנים הרשמי שמפרסמת OpenAI בתיעוד ה-API שלה, מודלי סדרת GPT-3.5 מתקרבים לסוף דרכם המוסדי: גישת-ה-API האחרונה למודל gpt-3.5-turbo מתוכננת להיסגר לגמרי ב-23 באוקטובר 2026, וגרסת gpt-3.5-turbo-instruct נסגרת עוד קודם, ב-28 בספטמבר 2026 — ימים ספורים מרגע כתיבת הערך הזה. סדרת GPT-3.5, שעמדה מאחורי הרגע שבו AI-שיחתי הפך לתופעה המונית ושהגרסה gpt-3.5-turbo המשיכה להריץ בפועל את ChatGPT כברירת-מחדל חינמית יותר משנה אחרי-כן, עומדת אפוא בפני נקודת-סיום רשמית וקרובה מאוד: בתוך שבועות ספורים מתאריך הפרסום, אין עוד אפשרות טכנית להפעיל את gpt-3.5-turbo כלל, לא רק להחליף אותו במוצר-קצה.