למה מחיקת הנתון מהמאגר אינה מספיקה
מודל שאומן על רשומה מסוימת אינו מחזיק עותק שלה בקובץ שאפשר למחוק. מה שנשאר ממנה הוא השפעה, מפוזרת בין הפרמטרים שנלמדו, ולכן הסרת הרשומה מהמאגר אינה מסירה אותה מהמודל שכבר אומן עליה. חוקרת המשפט טיפאני לי (Tiffany C. Li) מכנה את מה שנותר "הצל האלגוריתמי" של הנתונים, וטוענת שהשכחת-מכונה עשויה להיות סעד נדרש להפרת פרטיות בהקשר של למידת מכונה. השכחת-מכונה היא הענף שמנסה להסיר את ההשפעה הזאת — נתונים פרטיים, מידע שגוי, חומר מוגן בזכויות יוצרים או יכולת מסוכנת — בלי לבנות את המודל מחדש מהיסוד.
מהזכות להישכח אל תוך משקלי המודל
המחקר המוקדם בתחום צמח בעיקר מסעיף 17 לתקנת ה-GDPR האירופית, המוכר כ"זכות להישכח": הסעיף מקנה לאדם זכות לדרוש ממי שמחזיק במידע האישי שלו למחוק אותו ללא עיכוב בלתי-סביר, בעילות שמנויות בו. חקיקה מקבילה, ובכללה חוק הפרטיות הצרכנית של קליפורניה (CCPA), מקנה זכות דומה. הזכות נוסחה לפני עליית מודלי השפה הגדולים ולא צפתה עד כמה מחיקת נתונים תהפוך למשימה מסובכת. הספרות מבחינה היום בין שני מניעים: ביטול גישה, כלומר בקשת מחיקה מצד בעל הנתונים או בעל הזכויות, ותיקון מודל, שבו הבעיה נובעת מהתנהגות המודל ולא מבקשה של אדם כלשהו.
השכחה מדויקת: לתכנן את האימון מראש
השכחה מדויקת מפיקה מודל שאינו ניתן להבחנה סטטיסטית ממודל שאומן מאפס בלי הנתונים שהוסרו. המסגרת המובילה היא SISA, שהציגו לוקאס בורטול (Lucas Bourtoule) ושותפיו: מערך האימון מחולק לחלקים זרים, כל חלק מאמן מודל משנה בנפרד, בכל חלק נשמרות נקודות-שמירה, והתשובות מאוחדות ברגע השאילתה. בקשת השכחה מחייבת אז לאמן מחדש רק את החלק שבו ישב הנתון. במאמר דווח שיפור של פי 4.63 בזמן ההשכחה במערך Purchase לעומת אימון מחדש מאפס. המחיר: ירידה בדיוק, הכללה פחות טובה ודרישות אחסון גדולות יותר; והשיטות המדויקות נעשות יקרות מדי לרשתות נוירונים גדולות שאומנו מראש.
השכחה מקורבת: נפוצה, מהירה, בלי ערובה
שיטות של השכחה מקורבת מסתפקות בהתנהגות קרובה דיה לזו של מודל שהושכח במדויק, בלי לשלם את מחיר האימון המלא, והן שולטות בשימוש המעשי. בין הגישות: עלייה בגרדיאנט על קבוצת ההשכחה, אימון חוזר עם תוויות שעורבבו אקראית, גיזום משקלים וכיוונון עדין אחריו, והוספת רעש מכויל למשקלים — גישה שנשענת על התיאוריה של פרטיות דיפרנציאלית. הן חוסכות זמן רב אך אינן נושאות את הערובה של השכחה מדויקת. הספרות מבחינה גם בין הסרת ההשפעה מהפרמטרים לבין דיכוי הפלט: מודל שהפסיק לומר משהו אינו בהכרח מודל ששכח אותו.
לא רק פרטיות — ואיך בודקים שזה עבד
המניעים כבר אינם פרטיות בלבד. תיקון מודל כולל הסרת תוכן פוגעני ומוטה, עדכון קשרים שהתיישנו, נטרול יכולות מסוכנות, והתאוששות מהרעלת נתונים ומהתקפות דלת אחורית — שכן סינון הנתונים לבדו לא נמצא מספיק כדי למנוע ידע מסוכן מלהיקבע במשקלים. בהקשר המשפטי מוכר אותו סעד גם בשמות algorithmic disgorgement ו-model deletion, ורשות הסחר הפדרלית האמריקאית כבר עשתה שימוש בראשון ככלי אכיפה. האם ההשכחה אכן עבדה נבדק בין השאר באמצעות התקפת שיוך-חברות המופנית למודל שהושכח, משום שהשכחה שנראית מוצלחת עלולה להתגלות כדיכוי פלט בלבד.