Stable Diffusion — מודל-דיפוזיה שרץ על כרטיס-מסך ביתי, בזכות מרחב דחוס

מקור אקדמי: מ-CompVis ו-Runway ל-Stability AI

Stable Diffusion פותח מתוך מחקר אקדמי: קבוצת CompVis באוניברסיטת מינכן (LMU Munich), בשיתוף חברת Runway, פרסמה בדצמבר 2021 מאמר (שהוצג רשמית בכנס CVPR 2022) על "מודלי-דיפוזיה-לטנטית" (Latent Diffusion Models) — בהובלת רובין רומבך ופטריק אסר, שביניהם ועוד שני שותפים-למחקר הצטרפו מאוחר יותר לצוות Stability AI. החברה מימנה את המשך-הפיתוח והוציאה את המודל לציבור ב-22 באוגוסט 2022, בקוד ובמשקלים פתוחים לחלוטין — צעד יוצא-דופן ביחס למתחרות שהפעילו מודלים דומים כשירות סגור בלבד.

דיפוזיה במרחב-לטנטי: החידוש הטכני

החידוש הטכני המרכזי הוא עבודה במרחב-לטנטי דחוס, במקום ישירות על פיקסלים — מה שמקטין דרמטית את עלות-החישוב הנדרשת ביחס למודלי-דיפוזיה קודמים, ומאפשר הרצה על כרטיס-מסך ביתי רגיל עם פחות מ-10 ג'יגהבייט זיכרון, ויצירת תמונה תוך שניות בודדות במקום דקות. הגרסה המקורית כללה כ-860 מיליון פרמטרים ברשת ה-U-Net ועוד 123 מיליון במקודד-הטקסט; גרסת XL, שיצאה ביולי 2023, הגדילה את היקף המודל ל-3.5 מיליארד פרמטרים.

LAION: מאגר-האימון שמאחורי המודל

האימון של הגרסה המקורית התבסס על LAION-Aesthetics — תת-קבוצה מסוננת מתוך LAION-5B, מאגר-הנתונים הענקי של ארגון LAION הגרמני ללא-מטרות-רווח, שנבחרה במיוחד כדי להעדיף תמונות עם ציון-אסתטיקה גבוה. הקשר בין השניים אינו מקרי בלבד: Stability AI מימנה חלק מעבודת-הסינון של LAION-5B, ומאמר-המחקר הרשמי של LAION-5B מציין את Stable Diffusion כאחת הדוגמאות המרכזיות למודלים ש"שוכפלו בהצלחה" באמצעות המאגר.

רישיון פתוח והשפעה על התעשייה

הרישיון השתנה עם הזמן: עד גרסת XL (יולי 2023) פעל המודל תחת רישיונות ממשפחת Creative ML OpenRAIL-M, רישיון-AI-אחראי מוקדם; מגרסה 3 (יוני 2024) ו-3.5 (אוקטובר 2024) עבר Stable Diffusion ל"Stability AI Community License" משלה, שמחייב רישיון עסקי נפרד מחברות עם הכנסה שנתית מעל מיליון דולר. בזכות הפתיחות המוקדמת הפך הכלי לתשתית משותפת לענף שלם של גרסאות-מכוונות (Fine-tunes) וכלים נגזרים, הרבה מעבר למוצרי Stability AI עצמה — פירוט נוסף על החברה שמאחוריו מופיע בערך שלה. דוגמה בולטת לכלי נגזר כזה היא AUTOMATIC1111 Stable Diffusion Web UI — ממשק-משתמש בקוד פתוח, שפורסם ב-GitHub באוגוסט 2022 בידי מפתח בכינוי AUTOMATIC1111. הממשק הקל על הפעלת Stable Diffusion בלי לעבוד ישירות משורת-הפקודה, ואפשר לשנות באופן גרפי את הגדרות תהליך יצירת התמונה. בהמשך התפתחותו כלל גם עריכה של אזור בתמונה (Inpainting), הרחבת תמונה מעבר לגבולותיה (Outpainting), תמיכה ב-LoRA (התאמה קלה של המודל לסגנון או לדמות) ואפשרות להוסיף, באמצעות הרחבה, את ControlNet — כלי להכוונת מבנה התמונה. במקורות מ-2024 תואר, לצד ComfyUI, כאחד הממשקים הפופולריים להפעלת המודל על מחשב ביתי. אחת השיטות ליצירת גרסאות מכוונות של המודל, שנתמכת גם בספריית Diffusers של Hugging Face, היא DreamBooth: היא פורסמה ב-2022 ומאמנת את המודל על תמונות ספורות של נושא מסוים, למשל כלב מסוים, כדי שיוכל לצייר אותו בסצנות חדשות. גרסה מכוונת יכולה גם להפוך למוצר מסחרי: NovelAI השיקה ב-3 באוקטובר 2022 את NovelAI Diffusion, גרסה מותאמת של Stable Diffusion שאומנה על מאגר איורי אנימה מבוסס Danbooru.