סנכרון שפתיים (Lip Sync)

סנכרון שפתיים (Lip Sync) הוא התאמה אוטומטית של תנועות-פה בסרטון לפסקול-קול נתון — כך שדמות "אומרת" מילים חדשות בצורה משכנעת חזותית, גם אם לא אמרה אותן בפועל. המודל מנתח את פסקול-הקול ומחשב אילו צורות-פה מתאימות לכל צליל, ואז מעדכן את הסרטון כך שהשפתיים "יזוזו" בהתאם — טכניקה שדורשת דיוק גבוה כי חוסר-סנכרון קטן נראה מיד לא-טבעי לעין אנושית.

בדיבוב-סרטים המסורתי, הכיוון היה תמיד הפוך: שחקני-קול ומתרגמים התאימו את הטקסט-המתורגם כדי שיתאים בקירוב לתנועות-השפתיים הקיימות בסרטון המקורי — פשרה שלעולם לא הייתה מושלמת. הגישה מבוססת-AI הופכת את הכיוון: במקום להתאים את הטקסט לתנועות, המערכת משנה את הרכיב-החזותי של הווידאו עצמו כדי להתאים לפסקול-הקול הרצוי, כולל בשפה שונה לגמרי מזו שהשחקן דיבר בפועל בעת הצילום.

דוגמה קונקרטית ומשפיעה: Wav2Lip, מודל שפיתחו חוקרים ממכון IIIT (International Institute of Information Technology) חיידראבאד בהודו ופרסמו באוגוסט 2020, היה המודל הראשון שהוכיח סנכרון-שפתיים ברמת-דיוק שמתחרה בווידאו-מסונכרן-אמיתי, על זהויות ושפות שרירותיות — לא רק על דוברים ספציפיים שהמודל אומן עליהם מראש. הקוד שוחרר בקוד-פתוח, מה שהפך אותו לרכיב-בסיס נפוץ בכלים מסחריים רבים לדיבוב-חזותי (Visual Dubbing) בסרטים ובטלוויזיה, שבהם תנועות-השפתיים של השחקן בשפת-המקור מותאמות בפוסט-פרודקשן כדי לתאום את הדיבוב בשפת-היעד.

הטכנולוגיה משמשת גם לצרכים לגיטימיים — דיבוב סרטים לשפות שונות תוך שמירה על סנכרון-פה משכנע, נגישות (יצירת גרסאות-שפה נוספות של תוכן חינוכי בלי לצלם מחדש) — וגם כרכיב מרכזי בדיפ-פייקים של וידאו, לרוב בשילוב עם שיבוט קול. כמו בהחלפת-פנים, ההבחנה בין שימוש-יצירתי-מוצהר לשימוש-מטעה תלויה בשקיפות כלפי הצופה, לא בטכנולוגיה עצמה. מגבלה טכנית שנותרה גם בכלים המתקדמים ביותר: תנועה חדה של הראש, זווית-צילום קיצונית, או חפץ שמכסה חלקית את הפה — כל אלה עדיין מקשים על סנכרון מדויק ועלולים לגרום לפגמים-חזותיים קלים שמסגירים שמדובר בעריכה מלאכותית, בעיקר בתקריב.