איזו בעיה ControlNet פותרת?
פרומפט מילולי יכול לתאר תוכן וסגנון, אך אינו קובע במדויק היכן יופיע כל קו, אדם או אזור בתמונה. ControlNet היא ארכיטקטורה שמוסיפה למודל דיפוזיה מאומן תנאי מרחבי: מפה חזותית שהמבנה שלה אמור להשפיע על היצירה. כך המשתמש יכול לשלב הנחיה מילולית עם מידע על קומפוזיציה, עומק, קצוות או תנוחת גוף, במקום להסתמך על מילים בלבד.
כיצד הארכיטקטורה מתחברת למודל?
במחקר המקורי נשמר עותק נעול של רכיבי מודל הדיפוזיה, ובמקביל נוצר ענף שניתן לאמן על התנאי החדש. החיבור נעשה באמצעות שכבות קונבולוציה שמאותחלות באפס. בתחילת האימון הן כמעט אינן משנות את האות, ובהמשך לומדות להעביר את מידע ההתניה. הרעיון הוא לנצל את הידע שכבר קיים במודל הגדול בלי להתחיל את יצירת התמונות מחדש ובלי לשנות מיד את משקולות הבסיס.
אילו תנאים אפשר להזין?
המאמר בחן מפות קצוות, עומק, חלוקה לאזורים, קווי שרטוט ותנוחות אדם, עם פרומפט ובלעדיו. כל מפה מייצגת סוג אחר של אילוץ: קצוות מדגישים גבולות, עומק מתאר מרחק יחסי, וחיבורי גוף מתארים שלד משוער. התנאי אינו התמונה הסופית ואינו הוראה מוחלטת; הוא אות נוסף שהמודל מפרש יחד עם הטקסט, האקראיות והידע שנלמד באימון.
מה קורה עם כמה תנאים?
אפשר לבקש ממערכת להתחשב בכמה מפות, למשל תנוחה ועומק, אבל הן עלולות להיות חלקיות או לסתור זו את זו. המחקר DynamicControl מציג את ניהול התנאים המרובים כבעיה נפרדת ומציע לבחור ולדרג אותם באופן מסתגל. הדבר מדגיש שיותר תנאים אינם בהכרח יותר שליטה: משקל גבוה מדי לתנאי אחד עלול לפגוע בהתאמה לאחר, והאיזון תלוי במימוש ובקלט.
כיצד משתמשים בתוצאה בזהירות?
ControlNet אינה כלי שמעתיק בהכרח את מפת הקלט פיקסל־לפיקסל. היא מנחה תהליך גנרטיבי, ולכן פרטים, מרקמים ולעיתים גם מבנים יכולים להשתנות. מפה שהופקה מתמונה קיימת עשויה לשמר את הקומפוזיציה שלה גם כאשר הסגנון משתנה, ויש להביא בחשבון זכויות ושימוש הוגן במקור. בהערכת פלט כדאי לבדוק בנפרד התאמה לתנאי, התאמה לפרומפט ואיכות חזותית, ולא לאחד את שלוש השאלות לציון אחד.