מהי יצירת דמות מדברת?
יצירת דמות מדברת מפיקה וידאו שבו פנים זזות בהתאם לקלט מניע, לרוב דיבור. הקלט יכול להיות תמונת פנים יחידה וקטע קול, או סרטון קיים שצריך להתאים לקול חדש. אלה משימות שונות: סנכרון שפתיים מתמקד באזור הפה, ואילו הנפשת ראש כוללת גם הבעה, מצמוץ, תנוחת ראש ותנועה כללית. מערכת יכולה להצליח באחד המרכיבים ולהיכשל באחר.
כיצד SadTalker מניעה תמונה יחידה?
SadTalker מקשרת בין שמע למקדמי תנועה של מודל פנים תלת־ממדי. ExpNet לומדת רכיבי הבעה מן הקול, ו־PoseVAE מייצרת תנוחות ראש בסגנונות שונים. המקדמים ממופים לנקודות תלת־ממדיות שמשמשות את מנגנון הרינדור להפקת הפריימים. ההפרדה בין הבעה לתנוחה נועדה להתמודד עם תנועה לא טבעית, עיוות הבעות ושינוי זהות, אך הצגת המנגנון אינה הבטחה שהבעיות נעלמות בכל תמונה.
במה Wav2Lip שונה?
Wav2Lip מקבלת סרטון פנים וזהות כלשהי יחד עם קטע דיבור יעד ומתאימה את תנועת השפתיים לקול. המחקר משתמש ברכיב מבחין שלמד לזהות התאמה בין שמע לתמונה כדי להדריך את המחולל. הוא מתמקד בסנכרון בווידאו דינמי ולא בהמצאת כל תנועת הראש מתמונה אחת. לכן אי אפשר להתייחס לשמות השיטות כחלופות זהות; הן מקבלות קלט שונה ומכוונות לחלקים שונים של הבעיה.
כיצד בודקים אם הווידאו משכנע?
הערכה צריכה לבחון התאמה בין הפה לצלילים, שמירת זהות, טבעיות הבעות, יציבות בין פריימים ואיכות תמונה. מחקר Wav2Lip הציע מדדים ומאגרי בדיקה לסנכרון בתנאים לא מבוקרים; מחקר SadTalker השווה תנועה ואיכות וידאו. ציון סנכרון גבוה אינו אומר שהבעות טבעיות, והתרשמות חזותית יפה אינה מוכיחה שהשפתיים תואמות במדויק להברות. יש לצפות גם במהירות רגילה וגם בקטעים קשים.
מהן המגבלות והסיכונים?
תמונה בזווית חריגה, פה מוסתר, קול שאינו תואם לשפה או איכות קלט נמוכה עלולים ליצור שיניים מעוותות, קפיצות או שינוי זהות. מעבר לכך, התאמת פנים לקול חדש יכולה ליצור רושם שאדם אמר דבר שלא אמר. סנכרון משכנע אינו ראיה לאותנטיות. בשימוש אחראי יש לקבל רשות מבעל הדמות והקול, לסמן תוכן סינתטי ולשמור את חומרי המקור, במיוחד בהקשר חדשותי, פוליטי או אישי.