מה זו מסכה, ולמה גזירה לא מספיקה
לכל פיקסל בתמונה דיגיטלית אפשר לצרף ערך שנקרא "אלפא", שנע בין 0 (הפיקסל שקוף לגמרי) ל-1 (אטום לגמרי). מיצוי מסכה הוא המשימה של להעריך את ערך האלפא הזה בתצלום רגיל, שאין בו מידע כזה. כאן ההבדל מזיהוי עצמים, שמחזיר מלבן סביב מה שמצא: מיצוי מסכה אינו מסתפק בגבול אחד סביב האובייקט, אלא נדרש לערך נפרד לכל פיקסל. אילו כל פיקסל היה שייך במלואו לחזית או לרקע, גזירה פשוטה הייתה מספיקה; אבל קצה של תלתל, נוצה, עשן או זכוכית שקופה למחצה הם פיקסלים שהם גם וגם, ולכן חיתוך חד ייראה מודבק.
לפרק פיקסל אחד חזרה למרכיביו
הרכבה של תמונה אחת על גבי אחרת היא פעולה ידועה: לוקחים את צבע החזית, את צבע הרקע ואת ערך האלפא, ומחשבים מהם את הפיקסל שרואים. מיצוי מסכה מריץ את החישוב לאחור — מפיקסל בודד חזרה אל המרכיבים שיצרו אותו. לכן אין לו תשובה יחידה, והוא קשה במיוחד כשצבעי החזית והרקע דומים או כשהמרקם מסובך: שני התנאים שמאמר "Deep Image Matting" מ-2017 מציין כנקודת הכישלון של קודמיו.
מסך ירוק, trimap, או כלום
מסך ירוק פיזי פותר את הבעיה מראש, בכך שהרקע ידוע וקבוע. בעבודה מקצועית מקובל להיעזר ב-trimap — "מפת שלושת האזורים", מפה שמציירים ביד ומסמנת מה בוודאות חזית, מה בוודאות רקע, ומה אזור הספק שהמערכת צריכה להכריע בו. "Deep Image Matting" הזין רשת עמוקה בתמונה ובמפה כזו והוסיף רשת קטנה שמחדדת קצוות; לאימון בנו החוקרים מאגר של 49,300 תמונות אימון ו-1,000 תמונות בדיקה. מאז נבנו שיטות שמוותרות על ה-trimap: MODNet, מ-2020, מפיק מסכת דמות מתמונה בודדת בזמן אמת, ו-Background Matting מבקש רק תמונה נוספת של הרקע בלי הדמות.
איפה זה נמצא ביום-יום שלכם
את התוצאה אתם רואים כמעט מדי יום. החלפת רקע בשיחת וידאו היא מיצוי מסכה שרץ בזמן אמת על כל פריים, ולכן גם הרגע שבו קצה יד נבלע ברקע הוא כישלון הפרדה ולא תקלה בווידאו. אותה טכניקה עומדת מאחורי שירותי הסרת רקע לתמונות מוצר, ומאחורי הפרדת שחקן בהפקות שוויתרו על מסך ירוק — שאיפה שמאמר Background Matting ניסח בכותרתו: "העולם הוא מסך הירוק שלך".
מה כאן נמדד ומה מומצא
כאן מיצוי מסכה נבדל משכניו בקטגוריה, וזו ההבחנה החשובה לקורא עם תמונה ביד. הוא אינו ממציא תוכן: הוא מעריך כמה מכל פיקסל שייך לדמות, מתוך מה שבאמת מצולם. גם החלפת הרקע בתמונה אחרת אינה ממציאה דבר — הרקע החדש הוא תמונה שסיפקתם, לא ניחוש של המערכת. ההמצאה מתחילה במקרה ההפוך: כשמוחקים את הדמות ורוצים לראות מה היה מאחוריה — מה שהיה מוסתר מעולם לא צולם, וצריך להגיע ממקום אחר, וזה כבר מילוי-פערים. ולכן: קצה שיער שגוי הוא שגיאת הפרדה שאפשר לראות ולתקן, ואילו רקע שהושלם במקום הדמות הוא תוכן חדש שלא היה שם מעולם.