הרעלת נתונים (Data Poisoning)

אם מערך-הנתונים לאימון נאסף חלקית מהאינטרנט הפתוח, תוקף יכול להזריק לתוכו תוכן מטעה במכוון — כך שהמודל "ילמד" דפוס שגוי או מוטה, בלי שאיש שם-לב בזמן האימון עצמו. הסיכון לא היפותטי: פייסבוק, לפי דיווחיה, מסירה כ-7 מיליארד חשבונות-מזויפים בשנה — היקף שממחיש כמה גדול משטח-התקיפה הפוטנציאלי כשמערך-אימון נשען על תוכן שנוצר על ידי משתמשים, ולא נבדק אחד-אחד לפני שהוא נכנס לאימון.

דוגמה מתועדת שהופכת את הרעיון לכלי-הגנה, לא רק לאיום: כלי בשם Nightshade, שפיתחו חוקרים באוניברסיטת שיקגו ב-2023, מאפשר לאמנים "להרעיל" במכוון תמונות שהם מפרסמים ברשת — שינויים זעירים ובלתי-נראים לעין שגורמים למודלי טקסט-לתמונה שמאמנים עליהם ללמוד דפוסים שגויים (למשל, לזהות "כלב" כ"חתול"). הכלי נועד להרתיע חברות-AI מלגרד תמונות בלי רשות, בכך שהוא הופך גרידה-לא-מורשית למסוכנת עבור המודל עצמו — היפוך-תפקידים: הרעלה כמנגנון-הגנה של יוצרים, לא רק ככלי-תקיפה.

הרעלת-נתונים קשה במיוחד לזיהוי אחרי-מעשה, כי הפגם "אפוי" בתוך משקלי-המודל עצמם — לא ניתן פשוט למחוק אותו כמו שממחקים קובץ פגום, ובדרך-כלל נדרש אימון מחדש עם נתונים נקיים-יותר, תהליך יקר ואיטי. סוג-משנה מדאיג במיוחד הוא "הרעלת-דלת-אחורית" (Backdoor Poisoning): המודל מתפקד בצורה תקינה-לחלוטין בכל מקרה רגיל, ומתנהג בצורה זדונית רק כשמופיע "טריגר" ספציפי וסמוי בקלט — מה שהופך את הגילוי לקשה עוד יותר, כי בדיקות-תקינות שגרתיות פשוט לא נתקלות בטריגר. תחום שהתפתח מאוחר יותר, ושצמח בעיקר מן הזכות למחיקת מידע אישי לפי GDPR, מציע מענה חלקי. השכחת-מכונה (Machine Unlearning) מנסה להסיר את השפעתו של נתון ממודל שכבר אומן עליו, בלי לבנות אותו מחדש מהיסוד, ותיקון השפעתן של הרעלת-נתונים ושל התקפות דלת-אחורית נמנה במפורש עם המניעים שלה. השיטות המקורבות, השולטות בשימוש המעשי, אינן נושאות את הערובה של השכחה מדויקת.

חברת Noma Security, שנוסדה בישראל ב-2023, בונה פלטפורמה שמתמקדת בדיוק באיום הזה: מיפוי וניטור שרשרת-האספקה של מודלי-AI ונתוני-האימון שלהם בארגונים, כדי לאתר חשיפה להרעלה עוד לפני שהיא הופכת לתקלה בפועל בסביבת-הייצור — תחום שנחשב לאחד הצומחים ביותר בתעשיית-הסייבר הישראלית.