Nightshade — כלי-הגנה לאמנים; פחות מ-100 תמונות משבשות הנחיה ספציפית

כלים וסוכנים

הגדרה

Nightshade הוא כלי הגנה בקוד-פתוח שפיתחו חוקרים באוניברסיטת שיקגו ב-2023, המאפשר לאמנים "להרעיל" תמונות באופן בלתי-נראה לעין כדי לשבש מודלים שמתאמנים עליהן בלי רשות.

Nightshade הוא כלי הגנה בקוד פתוח שמאפשר לאמנים דיגיטליים "להרעיל" במכוון את התמונות שהם מעלים לאינטרנט (ראו הרעלת נתונים) — שינויים זעירים ובלתי-נראים לעין אנושית, שגורמים למודל טקסט-לתמונה שמתאמן על התמונה בלי רשות ללמוד דפוס שגוי. הכלי פותח על ידי צוות בראשות בן ז'או (Ben Zhao), פרופסור למדעי-המחשב באוניברסיטת שיקגו, והוצג לראשונה כמחקר באוקטובר 2023.

מבחינה טכנית, הכלי מנצל את העובדה שלמודלים כמו Stable Diffusion יש מעט יחסית דוגמאות-אימון לכל מושג ספציפי — כך שכמות קטנה של תמונות-מורעלות מספיקה כדי לבלבל אותו: לפי מאמר-המחקר, פחות מ-100 דוגמאות-הרעלה הצליחו לשבש הנחיה ספציפית במודל Stable Diffusion XL. הכלי משמש כ"בן-לוויה" לכלי מוקדם יותר מאותה קבוצת-מחקר, Glaze, שנועד להסוות את הסגנון האמנותי האישי של יוצר מפני חיקוי אוטומטי; הצוות התכוון לשלב את שתי היכולות באותה תוכנה אחת, כך שאמן יוכל לבחור אם להשתמש בהרעלה, בהסוואה, בשתיהן, או באף אחת.

האפקט של ההרעלה גם "דולף" למושגים קרובים: הרעלת תמונות שתויגו כ"אמנות-פנטזיה", למשל, פוגעת גם ביכולת המודל ליצור תמונות הקשורות למונחים כמו "דרקון" או "טירה". הצוות פרסם את הכלי בקוד פתוח, כדי לאפשר לחוקרים ולמפתחים אחרים לבחון את שיטת-ההרעלה ואף לפתח ממנה גרסאות משלהם.