תרגום מכונה (Machine Translation)

1954: ניסוי ג'ורג'טאון-IBM, ההדגמה הראשונה בעולם

נקודת-ההתחלה המתועדת של תרגום-מכונה היא מהמוקדמות בתולדות התחום, וקודמת אפילו לכנס דרטמות' (1956) שבו נטבע המונח "בינה מלאכותית": ב-7 בינואר 1954 הדגימו אוניברסיטת ג'ורג'טאון (בהובלת הבלשן ליאון דוסטר) ו-IBM (בהובלת קות'ברט הרד) בפומבי מחשב שמתרגם אוטומטית יותר משישים משפטים ברוסית, שנבחרו בקפידה, לאנגלית — באמצעות אוצר-מילים של 250 מילים בלבד ושישה כללי-דקדוק. למרות היקפו הזעיר והמוקפד-מראש לפי סטנדרטים של היום, ההדגמה עוררה אופטימיות ציבורית עצומה לגבי "פתרון" קרוב של בעיית-התרגום, והצית גל מימון-מחקר ממשלתי, בעיקר בארה"ב ובברית-המועצות בעיצומה של המלחמה הקרה, כשלתרגום רוסית-אנגלית אוטומטי היה ערך אסטרטגי ברור.

1966: דוח ALPAC והקיפאון שאחריו

האופטימיות קרסה תוך כעשור. הממשל האמריקאי הזמין ועדת-הערכה, ALPAC (הוועדה המייעצת לעיבוד-שפה אוטומטי), שדוחה מ-1966 קבע שמחקר-תרגום-המכונה, אחרי כעשור וכ-20 מיליון דולר במימון, הפיק מערכות יקרות, איטיות ולא-מדויקות מכדי להצדיק המשך מימון ממשלתי בקנה-מידה גדול — לעומת כמיליון דולר בשנה שארה"ב הוציאה כבר אז על מתרגמים אנושיים. הדוח הקפיא בפועל את רוב מימון-המחקר בתחום לשנים ארוכות — דוגמה מוקדמת ומלמדת, שחזרה על עצמה גם מאוחר יותר בהיסטוריית ה-AI, לטכנולוגיה שקודמה כמעט-פתורה, ואז איבדה את רוב המימון ברגע שהתברר שהיא לא.

שנות ה-90: המהפכה הסטטיסטית, מודלי-IBM

מחקר-התרגום התעורר מחדש בכיוון שונה החל מסוף שנות ה-80 ותחילת שנות ה-90: במקום כללים לשוניים כתובים-ביד, חוקרי IBM (פיטר בראון, סטיבן דלה-פייטרה, וינסנט דלה-פייטרה, ורוברט מרסר) הציעו ללמוד דפוסי-תרגום סטטיסטית מתוך מאגרים גדולים של טקסט דו-לשוני שכבר תורגם (כמו פרוטוקולים של הפרלמנט הקנדי, מתורגמים לאנגלית ולצרפתית). מאמרם מ-1993, "The Mathematics of Statistical Machine Translation", הגדיר סדרת-מודלים (המוכרת מאז כ"מודלי-IBM") שהעריכו, מתוך נתונים בלבד, אילו מילים בשפה אחת נוטות להתאים לאילו מילים בשפה השנייה — הבסיס למה שנודע כתרגום-מכונה סטטיסטי (SMT), ששלט בתחום כשני עשורים. גוגל טרנסלייט, שהושק ב-2006, נבנה בעצמו על עקרונות-SMT בעשור הראשון לפעילותו.

2014: המעבר הנוירוני, ותשומת-הלב שסללה את הדרך

פרדיגמה שונה צמחה ב-2014: במקום לספור סטטיסטיקות-התאמה בין מילים, חוקרים אימנו רשת-נוירונים בודדת מקצה-לקצה לקרוא משפט-מקור שלם ולהפיק ישירות תרגום בשפת-היעד — גישה שנודעה כתרגום-מכונה נוירוני (NMT). המבנה שלה היה קודן-מפענח (Encoder-Decoder): לפי מאמר של קיונגהיון צ'ו, יהושע בנג'יו ושותפיהם מ-2014, רשת נשנית אחת מקודדת רצף של סמלים, כמו משפט, לווקטור בגודל קבוע, ורשת שנייה מפענחת ממנו רצף אחר. מגבלה מרכזית של NMT המוקדם — שמשפט שלם היה צריך להידחס לתוך וקטור-יחיד בגודל-קבוע לפני התרגום, מה שפגע בדיוק במשפטים ארוכים — טופלה באותה שנה בדיוק בעזרת מנגנון ה"קשב" (Attention) של בהדנאו, צ'ו ובנג'יו, שאיפשר למודל להביט חזרה בחלקים שונים של משפט-המקור בזמן הפקת כל מילת-פלט, במקום להסתמך על תמצית-דחוסה אחת. אותו רעיון-קשב עצמו, בהכללה נוספת, הפך שלוש שנים אחר-כך, ב-2017, לרכיב-הליבה של ארכיטקטורת הטרנספורמר — כלומר מחקר-NMT הוא אב-קדמון ישיר לארכיטקטורה שעליה מבוססים מודלי-השפה הגדולים של היום, לא מסלול נפרד.

2016: גוגל עוברת ל-NMT, וקפיצת-האיכות המדווחת

ב-27 בספטמבר 2016 הודיעה גוגל שהיא עוברת ממערכת-הייצור הסטטיסטית (SMT) הישנה של גוגל טרנסלייט למערכת התרגום-הנוירוני שלה (GNMT), ופרסמה באותה שנה את המאמר "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation", תחילה עבור זוג-השפות סינית-אנגלית בייצור. גוגל דיווחה ש-GNMT צמצם שגיאות-תרגום בשיעור של כ-55%–85% (בהתאם לזוג-השפות) לעומת מערכת-ה-SMT הקודמת שלה, על-פי מדגמי-משפטים מוויקיפדיה ואתרי-חדשות שהוערכו על-ידי דוברים דו-לשוניים — קפיצה גדולה ומיידית מספיק שגרמה תוך חודשים לשירותי-תרגום גדולים נוספים (מיקרוסופט, ובהמשך כמעט כל מוצר-תרגום רציני) לבצע את אותו המעבר.

מצב היום: LLM כללי מול מנוע-תרגום ייעודי

תרגום-מכונה נמצא היום בצומת מעניין: מודלי-שפה גדולים כלליים כמו GPT-4 או Claude מתרגמים באופן מוצלח בין זוגות-שפות רבים ישירות מתוך פרומפט, בלי כל אימון ייעודי לתרגום, ולעיתים קרובות מתמודדים טוב יותר עם ניב, טון והקשר ממנועים ייעודיים ותיקים יותר. עם זאת, מנועי-תרגום ייעודיים (גוגל טרנסלייט, DeepL, מיקרוסופט טרנסלייטור) עדיין נפוצים מאוד, ועבור זוגות-שפות רבים ובמיוחד מסמכים רשמיים-טכניים, לרוב תחרותיים או עדיפים בדיוק — שאלה פעילה ופתוחה, לא סגורה, היא בדיוק מתי ועבור אילו זוגות-שפות LLM כללי כבר עולה בפועל על מנוע-תרגום ייעודי, ומתי לא. פער גדול במיוחד נותר בשפות הסימנים: לפי נייר עמדה של שנים-עשר חוקרים מ-2021, אחד הגורמים לפיגור הוא היעדר דרך מקובלת להציג שפת סימנים מלבד מתורגמן אנושי בווידאו, כלומר שאווטאר של שפת סימנים (Signing Avatar) עדיין אינו פתרון שקהילות שפת הסימנים מקבלות.