StyleGAN — ארכיטקטורת GAN של NVIDIA; מאחורי This Person Does Not Exist

StyleGAN פותחה בחברת NVIDIA והוצגה בדצמבר 2018 במאמר של טרו קאראס, סאמולי ליין וטימו איילה, שהתקבל לכנס CVPR 2019 והקוד שלו הפך זמין בפברואר 2019. הארכיטקטורה הציגה "מחולל מבוסס-סגנון" (Style-Based Generator): במקום להזין את קוד-הרעש-האקראי ישירות לרשת-היצירה כמו ב-GAN רגיל, הוא עובר קודם דרך רשת-מיפוי נפרדת, ומוזרק בנפרד לכל שכבה ברשת עצמה — שינוי-ארכיטקטורה שהעניק שליטה עדינה הרבה יותר בתוצר הסופי, בהשוואה לגישות-GAN שקדמו לה. ההדגמה הציבורית המפורסמת ביותר של הארכיטקטורה היא האתר "This Person Does Not Exist" (2019) — עמוד שמציג בכל רענון-דף פרצוף-אדם חדש, ריאליסטי-להפליא, שאינו שייך לאף בן-אדם אמיתי, ונבנה על בסיס StyleGAN בידי מהנדס-Uber פיליפ וואנג כפרויקט-צד.

החידוש מאפשר שליטה נפרדת ברמות-פירוט שונות של התמונה הנוצרת: שכבות-מוקדמות קובעות תכונות גסות כמו תנוחת-הראש, צורת-הפנים והתסרוקת הכללית, שכבות-אמצע קובעות תווי-פנים עדינים יותר כמו פרטי-התסרוקת ועיניים פקוחות או עצומות, ושכבות-מאוחרות קובעות פרטים עדינים כמו צבעי-העור והשיער ומרקמים זעירים — הפרדה (Disentanglement) שהייתה קשה להשגה בארכיטקטורות-GAN קודמות, שבהן קוד-הרעש השפיע על כל התכונות בבת-אחת. המאמר גם הציג את מאגר-הפנים Flickr-Faces-HQ (FFHQ), ומדדי-הערכה חדשים לבחינה כמותית של איכות-האינטרפולציה ורמת-ההפרדה בין השכבות.

בפברואר 2020 פרסמה NVIDIA את StyleGAN2, שתיקן פגמים-אופייניים שהופיעו בתמונות שנוצרו בגרסה הראשונה ושיפר את איכות-הפלט הכללית. בגרסה השלישית, StyleGAN3 (יוני 2021, קוד באוקטובר אותה שנה), נפתרה בעיית "הידבקות-המרקם" (Texture Sticking) — תופעה שבה פרטים עדינים נשארים כאילו תקועים למסך במקום לנוע בהתאמה, כשמנפישים סיבוב או תזוזה הדרגתיים של האובייקט המדומה בין פריימים ברצף וידאו.

מאז פרסומה הפכה StyleGAN לאחת הארכיטקטורות המצוטטות והנחקרות ביותר בתחום ה-GAN כולו, ושימשה בסיס למחקרי-המשך רבים ולכלים מסחריים ליצירת-פרצופים סינתטיים — גם אחרי שמודלי-דיפוזיה הפכו לטכנולוגיה המובילה ליצירת-תמונה כללית, לא רק פרצופים. הקוד הרשמי פורסם בקוד-פתוח על ידי NVIDIA, כולל רשתות מאומנות-מראש למספר מאגרי-תמונות (פרצופים, חדרי-שינה, מכוניות, חתולים), ונותר עד היום נקודת-ייחוס מרכזית למחקרי-GAN בכלל התחום.