StyleGAN — ארכיטקטורת GAN של NVIDIA; מאחורי This Person Does Not Exist

תמונה, קול ווידאו

הגדרה

StyleGAN היא ארכיטקטורת GAN שפיתחה NVIDIA והציגה בדצמבר 2018, מבוססת על "מחולל מבוסס-סגנון" שמזריק מאפייני-סגנון בנפרד לכל שכבה ברשת — ומאפשר שליטה עדינה ברמות-הפירוט השונות של התמונה הנוצרת.

StyleGAN פותחה בחברת NVIDIA והוצגה בדצמבר 2018 במאמר של טרו קאראס, סאמולי ליין וטימו איילה, שהתקבל לכנס CVPR 2019 והקוד שלו הפך זמין בפברואר 2019. הארכיטקטורה הציגה "מחולל מבוסס-סגנון" (Style-Based Generator): במקום להזין את קוד-הרעש-האקראי ישירות לרשת-היצירה כמו ב-GAN רגיל, הוא עובר קודם דרך רשת-מיפוי נפרדת, ומוזרק בנפרד לכל שכבה ברשת עצמה — שינוי-ארכיטקטורה שהעניק שליטה עדינה הרבה יותר בתוצר הסופי, בהשוואה לגישות-GAN שקדמו לה. ההדגמה הציבורית המפורסמת ביותר של הארכיטקטורה היא האתר "This Person Does Not Exist" (2019) — עמוד שמציג בכל רענון-דף פרצוף-אדם חדש, ריאליסטי-להפליא, שאינו שייך לאף בן-אדם אמיתי, ונבנה על בסיס StyleGAN בידי מהנדס-Uber פיליפ וואנג כפרויקט-צד.

החידוש מאפשר שליטה נפרדת ברמות-פירוט שונות של התמונה הנוצרת: שכבות-מוקדמות קובעות תכונות גסות כמו זווית-הפנים ומבנה-הגוף, שכבות-אמצע קובעות תווי-פנים כמו צורת-העיניים, ושכבות-מאוחרות קובעות פרטים עדינים כמו גוון-עור ותסרוקת — הפרדה (Disentanglement) שהייתה קשה להשגה בארכיטקטורות-GAN קודמות, שבהן קוד-הרעש השפיע על כל התכונות בבת-אחת. המאמר גם הציג את מאגר-הפנים Flickr-Faces-HQ (FFHQ), ומדדי-הערכה חדשים לבחינה כמותית של איכות-האינטרפולציה ורמת-ההפרדה בין השכבות.

בפברואר 2020 פרסמה NVIDIA את StyleGAN2, שתיקן פגמים-אופייניים שהופיעו בתמונות שנוצרו בגרסה הראשונה ושיפר את איכות-הפלט הכללית. בגרסה השלישית, StyleGAN3 (יוני 2021, קוד באוקטובר אותה שנה), נפתרה בעיית "הידבקות-המרקם" (Texture Sticking) — תופעה שבה פרטים עדינים נשארים כאילו תקועים למסך במקום לנוע בהתאמה, כשמנפישים סיבוב או תזוזה הדרגתיים של האובייקט המדומה בין פריימים ברצף וידאו.

מאז פרסומה הפכה StyleGAN לאחת הארכיטקטורות המצוטטות והנחקרות ביותר בתחום ה-GAN כולו, ושימשה בסיס למחקרי-המשך רבים ולכלים מסחריים ליצירת-פרצופים סינתטיים — גם אחרי שמודלי-דיפוזיה הפכו לטכנולוגיה המובילה ליצירת-תמונה כללית, לא רק פרצופים. הקוד הרשמי פורסם בקוד-פתוח על ידי NVIDIA, כולל רשתות מאומנות-מראש למספר מאגרי-תמונות (פרצופים, חדרי-שינה, מכוניות, חתולים), ונותר עד היום נקודת-ייחוס מרכזית למחקרי-GAN בכלל התחום.