1954: ניסוי ג'ורג'טאון-IBM, ההדגמה הראשונה בעולם
נקודת-ההתחלה המתועדת של תרגום-מכונה קודמת בעשרות שנים לכל תת-תחום אחר של AI שמופיע באתר הזה: ב-7 בינואר 1954 הדגימו אוניברסיטת ג'ורג'טאון (בהובלת הבלשן ליאון דוסטר) ו-IBM (בהובלת קות'ברט הרד) בפומבי מחשב שמתרגם אוטומטית יותר משישים משפטים ברוסית, שנבחרו בקפידה, לאנגלית — באמצעות אוצר-מילים של 250 מילים בלבד ושישה כללי-דקדוק. למרות היקפו הזעיר והמוקפד-מראש לפי סטנדרטים של היום, ההדגמה עוררה אופטימיות ציבורית עצומה לגבי "פתרון" קרוב של בעיית-התרגום, והצית גל מימון-מחקר ממשלתי, בעיקר בארה"ב ובברית-המועצות בעיצומה של המלחמה הקרה, כשלתרגום רוסית-אנגלית אוטומטי היה ערך אסטרטגי ברור.
1966: דוח ALPAC והקיפאון שאחריו
האופטימיות קרסה תוך כעשור. הממשל האמריקאי הזמין ועדת-הערכה, ALPAC (הוועדה המייעצת לעיבוד-שפה אוטומטי), שדוחה מ-1966 קבע שמחקר-תרגום-המכונה, אחרי כעשור וכ-20 מיליון דולר במימון, הפיק מערכות יקרות, איטיות ולא-מדויקות מכדי להצדיק המשך מימון ממשלתי בקנה-מידה גדול — לעומת כמיליון דולר בשנה שארה"ב הוציאה כבר אז על מתרגמים אנושיים. הדוח הקפיא בפועל את רוב מימון-המחקר בתחום לשנים ארוכות — דוגמה מוקדמת ומלמדת, שחזרה על עצמה גם מאוחר יותר בהיסטוריית ה-AI, לטכנולוגיה שקודמה כמעט-פתורה, ואז איבדה את רוב המימון ברגע שהתברר שהיא לא.
שנות ה-90: המהפכה הסטטיסטית, מודלי-IBM
מחקר-התרגום התעורר מחדש בכיוון שונה החל מסוף שנות ה-80 ותחילת שנות ה-90: במקום כללים לשוניים כתובים-ביד, חוקרי IBM (פיטר בראון, סטיבן דלה-פייטרה, וינסנט דלה-פייטרה, ורוברט מרסר) הציעו ללמוד דפוסי-תרגום סטטיסטית מתוך מאגרים גדולים של טקסט דו-לשוני שכבר תורגם (כמו פרוטוקולים של הפרלמנט הקנדי, מתורגמים לאנגלית ולצרפתית). מאמרם מ-1993, "The Mathematics of Statistical Machine Translation", הגדיר סדרת-מודלים (המוכרת מאז כ"מודלי-IBM") שהעריכו, מתוך נתונים בלבד, אילו מילים בשפה אחת נוטות להתאים לאילו מילים בשפה השנייה — הבסיס למה שנודע כתרגום-מכונה סטטיסטי (SMT), ששלט בתחום כשני עשורים. גוגל טרנסלייט, שהושק ב-2006, נבנה בעצמו על עקרונות-SMT בעשור הראשון לפעילותו.
2014: המעבר הנוירוני, ותשומת-הלב שסללה את הדרך
פרדיגמה שונה צמחה ב-2014: במקום לספור סטטיסטיקות-התאמה בין מילים, חוקרים אימנו רשת-נוירונים בודדת מקצה-לקצה לקרוא משפט-מקור שלם ולהפיק ישירות תרגום בשפת-היעד — גישה שנודעה כתרגום-מכונה נוירוני (NMT). מגבלה מרכזית של NMT המוקדם — שמשפט שלם היה צריך להידחס לתוך וקטור-יחיד בגודל-קבוע לפני התרגום, מה שפגע בדיוק במשפטים ארוכים — טופלה באותה שנה בדיוק בעזרת מנגנון ה"קשב" (Attention) של בהדנאו, צ'ו ובנג'יו, שאיפשר למודל להביט חזרה בחלקים שונים של משפט-המקור בזמן הפקת כל מילת-פלט, במקום להסתמך על תמצית-דחוסה אחת. אותו רעיון-קשב עצמו, בהכללה נוספת, הפך שלוש שנים אחר-כך, ב-2017, לרכיב-הליבה של ארכיטקטורת הטרנספורמר — כלומר מחקר-NMT הוא אב-קדמון ישיר לארכיטקטורה שעליה מבוססים מודלי-השפה הגדולים של היום, לא מסלול נפרד.
2016: גוגל עוברת ל-NMT, וקפיצת-האיכות המדווחת
ב-27 בספטמבר 2016 הודיעה גוגל שהיא עוברת ממערכת-הייצור הסטטיסטית (SMT) הישנה של גוגל טרנסלייט למערכת התרגום-הנוירוני שלה (GNMT), ופרסמה באותה שנה את המאמר "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation", תחילה עבור זוג-השפות סינית-אנגלית בייצור. גוגל דיווחה ש-GNMT צמצם שגיאות-תרגום בשיעור של כ-55%–85% (בהתאם לזוג-השפות) לעומת מערכת-ה-SMT הקודמת שלה, על-פי מדגמי-משפטים מוויקיפדיה ואתרי-חדשות שהוערכו על-ידי דוברים דו-לשוניים — קפיצה גדולה ומיידית מספיק שגרמה תוך חודשים לשירותי-תרגום גדולים נוספים (מיקרוסופט, ובהמשך כמעט כל מוצר-תרגום רציני) לבצע את אותו המעבר.
מצב היום: LLM כללי מול מנוע-תרגום ייעודי
תרגום-מכונה נמצא היום בצומת מעניין: מודלי-שפה גדולים כלליים כמו GPT-4 או Claude מתרגמים באופן מוצלח בין זוגות-שפות רבים ישירות מתוך פרומפט, בלי כל אימון ייעודי לתרגום, ולעיתים קרובות מתמודדים טוב יותר עם ניב, טון והקשר ממנועים ייעודיים ותיקים יותר. עם זאת, מנועי-תרגום ייעודיים (גוגל טרנסלייט, DeepL, מיקרוסופט טרנסלייטור) עדיין נפוצים מאוד, ועבור זוגות-שפות רבים ובמיוחד מסמכים רשמיים-טכניים, לרוב תחרותיים או עדיפים בדיוק — שאלה פעילה ופתוחה, לא סגורה, היא בדיוק מתי ועבור אילו זוגות-שפות LLM כללי כבר עולה בפועל על מנוע-תרגום ייעודי, ומתי לא.