אינטרפולציית פריימים

מהי אינטרפולציית פריימים?

אינטרפולציית פריימים מחשבת תמונה אחת או יותר בין שני פריימים קיימים. המטרה יכולה להיות הגדלת קצב הפריימים, יצירת הילוך איטי או החלקת תנועה. הפריים החדש אינו צילום של רגע שהמצלמה תיעדה; הוא אומדן המבוסס על מה שנראה לפניו ואחריו. כאשר התנועה פשוטה ושני הקצוות דומים, האומדן עשוי להיראות טבעי. כאשר מידע מוסתר או מופיע לפתע, אין למערכת תצפית ישירה עליו.

כיצד מעריכים את התנועה?

שיטות רבות מעריכות כיצד פיקסלים או מאפיינים נעים בין פריימי הקלט ואז משתמשות בהערכה ליצירת רגע ביניים. RIFE לומדת באמצעות IFNet שדות תנועה המתאימים ישירות לזמן המבוקש, ואינה תלויה במודל זרימה אופטית שאומן מראש. קידוד הזמן מאפשר לבקש נקודת ביניים שאינה דווקא חצי הדרך. עם זאת, שדה תנועה הוא עדיין אומדן חישובי ולא מדידה של מסלול כל עצם בעולם.

כיצד מתמודדים עם תנועה גדולה?

כאשר עצם עובר מרחק גדול בין הפריימים, התאמת נקודות נעשית קשה יותר. FILM משתמשת בחילוץ מאפיינים בכמה קני מידה ובמשקולות משותפות כדי לקשר בין מבנים גם כשהמיקום השתנה במידה ניכרת. היא מאומנת מפריימים ללא צורך בנתוני אמת של עומק או זרימה אופטית. החוקרים בחנו אותה במאגרי וידאו ובזוגות תצלומים כמעט זהים, אך הצלחה שם אינה מבטיחה טיפול בכל קפיצה או חיתוך.

מה קורה בהסתרה ובגבולות עצמים?

עצם יכול להסתיר רקע בפריים הראשון ולחשוף אותו בשני, או להפך. במקרה כזה חלק מהמידע הדרוש לפריים האמצעי אינו מופיע בשני הקצוות באותה צורה. המודל צריך להחליט איזה משטח נראה, היכן עובר הגבול וכיצד משתנה המרקם. טעויות נראות לעיתים כהילה, הכפלת קצוות, עיקום איברים או התמזגות של עצמים. אלה אינן רק בעיות חדות, אלא טעויות בהשערת מבנה התנועה.

כיצד מעריכים שימוש מעשי?

מאמרים משווים שיטות במדדים ובמאגרי בדיקה כגון Vimeo-90K, Middlebury ו-UCF101, ולעיתים גם במהירות. לשימוש מעשי צריך לבדוק את סוג התוכן הרצוי: אנימציה, ספורט, צילום ידני או חומר ישן מציבים קשיים שונים. יש לצפות ברצף המלא, לא רק בתמונת דוגמה, ולבדוק קטעים עם תנועה מהירה, הסתרה וטקסט. קצב פריימים גבוה יותר אינו בהכרח מידע אמיתי יותר על האירוע המקורי.