תרגום מכונה (Machine Translation)

מודלים ושפה

הגדרה

תרגום מכונה הוא תחום שמטרתו תרגום טקסט אוטומטי בין שפות באמצעות מחשב — אחד מתחומי-המחקר העתיקים ביותר ב-AI, שראשיתו כבר ב-1954, הרבה לפני עידן מודלי-השפה הנוירוניים.

1954: ניסוי ג'ורג'טאון-IBM, ההדגמה הראשונה בעולם

נקודת-ההתחלה המתועדת של תרגום-מכונה קודמת בעשרות שנים לכל תת-תחום אחר של AI שמופיע באתר הזה: ב-7 בינואר 1954 הדגימו אוניברסיטת ג'ורג'טאון (בהובלת הבלשן ליאון דוסטר) ו-IBM (בהובלת קות'ברט הרד) בפומבי מחשב שמתרגם אוטומטית יותר משישים משפטים ברוסית, שנבחרו בקפידה, לאנגלית — באמצעות אוצר-מילים של 250 מילים בלבד ושישה כללי-דקדוק. למרות היקפו הזעיר והמוקפד-מראש לפי סטנדרטים של היום, ההדגמה עוררה אופטימיות ציבורית עצומה לגבי "פתרון" קרוב של בעיית-התרגום, והצית גל מימון-מחקר ממשלתי, בעיקר בארה"ב ובברית-המועצות בעיצומה של המלחמה הקרה, כשלתרגום רוסית-אנגלית אוטומטי היה ערך אסטרטגי ברור.

1966: דוח ALPAC והקיפאון שאחריו

האופטימיות קרסה תוך כעשור. הממשל האמריקאי הזמין ועדת-הערכה, ALPAC (הוועדה המייעצת לעיבוד-שפה אוטומטי), שדוחה מ-1966 קבע שמחקר-תרגום-המכונה, אחרי כעשור וכ-20 מיליון דולר במימון, הפיק מערכות יקרות, איטיות ולא-מדויקות מכדי להצדיק המשך מימון ממשלתי בקנה-מידה גדול — לעומת כמיליון דולר בשנה שארה"ב הוציאה כבר אז על מתרגמים אנושיים. הדוח הקפיא בפועל את רוב מימון-המחקר בתחום לשנים ארוכות — דוגמה מוקדמת ומלמדת, שחזרה על עצמה גם מאוחר יותר בהיסטוריית ה-AI, לטכנולוגיה שקודמה כמעט-פתורה, ואז איבדה את רוב המימון ברגע שהתברר שהיא לא.

שנות ה-90: המהפכה הסטטיסטית, מודלי-IBM

מחקר-התרגום התעורר מחדש בכיוון שונה החל מסוף שנות ה-80 ותחילת שנות ה-90: במקום כללים לשוניים כתובים-ביד, חוקרי IBM (פיטר בראון, סטיבן דלה-פייטרה, וינסנט דלה-פייטרה, ורוברט מרסר) הציעו ללמוד דפוסי-תרגום סטטיסטית מתוך מאגרים גדולים של טקסט דו-לשוני שכבר תורגם (כמו פרוטוקולים של הפרלמנט הקנדי, מתורגמים לאנגלית ולצרפתית). מאמרם מ-1993, "The Mathematics of Statistical Machine Translation", הגדיר סדרת-מודלים (המוכרת מאז כ"מודלי-IBM") שהעריכו, מתוך נתונים בלבד, אילו מילים בשפה אחת נוטות להתאים לאילו מילים בשפה השנייה — הבסיס למה שנודע כתרגום-מכונה סטטיסטי (SMT), ששלט בתחום כשני עשורים. גוגל טרנסלייט, שהושק ב-2006, נבנה בעצמו על עקרונות-SMT בעשור הראשון לפעילותו.

2014: המעבר הנוירוני, ותשומת-הלב שסללה את הדרך

פרדיגמה שונה צמחה ב-2014: במקום לספור סטטיסטיקות-התאמה בין מילים, חוקרים אימנו רשת-נוירונים בודדת מקצה-לקצה לקרוא משפט-מקור שלם ולהפיק ישירות תרגום בשפת-היעד — גישה שנודעה כתרגום-מכונה נוירוני (NMT). מגבלה מרכזית של NMT המוקדם — שמשפט שלם היה צריך להידחס לתוך וקטור-יחיד בגודל-קבוע לפני התרגום, מה שפגע בדיוק במשפטים ארוכים — טופלה באותה שנה בדיוק בעזרת מנגנון ה"קשב" (Attention) של בהדנאו, צ'ו ובנג'יו, שאיפשר למודל להביט חזרה בחלקים שונים של משפט-המקור בזמן הפקת כל מילת-פלט, במקום להסתמך על תמצית-דחוסה אחת. אותו רעיון-קשב עצמו, בהכללה נוספת, הפך שלוש שנים אחר-כך, ב-2017, לרכיב-הליבה של ארכיטקטורת הטרנספורמר — כלומר מחקר-NMT הוא אב-קדמון ישיר לארכיטקטורה שעליה מבוססים מודלי-השפה הגדולים של היום, לא מסלול נפרד.

2016: גוגל עוברת ל-NMT, וקפיצת-האיכות המדווחת

ב-27 בספטמבר 2016 הודיעה גוגל שהיא עוברת ממערכת-הייצור הסטטיסטית (SMT) הישנה של גוגל טרנסלייט למערכת התרגום-הנוירוני שלה (GNMT), ופרסמה באותה שנה את המאמר "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation", תחילה עבור זוג-השפות סינית-אנגלית בייצור. גוגל דיווחה ש-GNMT צמצם שגיאות-תרגום בשיעור של כ-55%–85% (בהתאם לזוג-השפות) לעומת מערכת-ה-SMT הקודמת שלה, על-פי מדגמי-משפטים מוויקיפדיה ואתרי-חדשות שהוערכו על-ידי דוברים דו-לשוניים — קפיצה גדולה ומיידית מספיק שגרמה תוך חודשים לשירותי-תרגום גדולים נוספים (מיקרוסופט, ובהמשך כמעט כל מוצר-תרגום רציני) לבצע את אותו המעבר.

מצב היום: LLM כללי מול מנוע-תרגום ייעודי

תרגום-מכונה נמצא היום בצומת מעניין: מודלי-שפה גדולים כלליים כמו GPT-4 או Claude מתרגמים באופן מוצלח בין זוגות-שפות רבים ישירות מתוך פרומפט, בלי כל אימון ייעודי לתרגום, ולעיתים קרובות מתמודדים טוב יותר עם ניב, טון והקשר ממנועים ייעודיים ותיקים יותר. עם זאת, מנועי-תרגום ייעודיים (גוגל טרנסלייט, DeepL, מיקרוסופט טרנסלייטור) עדיין נפוצים מאוד, ועבור זוגות-שפות רבים ובמיוחד מסמכים רשמיים-טכניים, לרוב תחרותיים או עדיפים בדיוק — שאלה פעילה ופתוחה, לא סגורה, היא בדיוק מתי ועבור אילו זוגות-שפות LLM כללי כבר עולה בפועל על מנוע-תרגום ייעודי, ומתי לא.

שאלות נפוצות ❓

מתי בוצע ניסוי-התרגום-במכונה הראשון בהיסטוריה?

ב-7 בינואר 1954, בשיתוף אוניברסיטת ג'ורג'טאון ו-IBM — תרגום של יותר משישים משפטים ברוסית לאנגלית, באמצעות אוצר-מילים של 250 מילים בלבד ושישה כללי-דקדוק.

מה גרם לקיפאון-המימון של תרגום-מכונה בשנות ה-60?

דוח ALPAC של הממשל האמריקאי, מ-1966, קבע שהתוצאות איטיות, יקרות ולא-מדויקות מדי, ולמעשה הקפיא את רוב מימון-המחקר בתחום לשנים ארוכות.

מה ההבדל בין "תרגום-מכונה סטטיסטי" ל"תרגום-מכונה נוירוני"?

הגישה הסטטיסטית (שנות ה-90 עד אמצע שנות ה-2010) חישבה הסתברויות-התאמה בין מילים מתוך מיליוני משפטים מתורגמים; הגישה הנוירונית (מ-2014 ואילך) מאמנת רשת-נוירונים אחת לקרוא משפט שלם ולהפיק תרגום ישירות, בלי חישוב-הסתברויות מפורש.

האם LLM כלליים כמו GPT-4 החליפו את גוגל טרנסלייט?

לא לגמרי — LLM כלליים מתרגמים היטב ולעיתים מבינים הקשר ואידיומטיקה טוב יותר, אבל מנועי-תרגום ייעודיים עדיין תחרותיים או עדיפים בזוגות-שפות ומסמכים מסוימים; זו שאלה פתוחה ולא סגורה.