הוגנות אלגוריתמית (Algorithmic Fairness)

מודל AI יכול "לרשת" הטיות ממערכי-הנתונים שאומן עליהם, ולהנציח אפליה קיימת — למשל, בסינון קורות-חיים או אישור-הלוואות. בעוד הטיה (Bias) מתארת את התופעה עצמה, הוגנות אלגוריתמית היא התחום שמפתח דרכים למדוד אותה במספרים ולתקן אותה בפועל — לא רק לזהות שיש בעיה, אלא לכמת עד-כמה ולבנות שיטת-תיקון שאפשר לבדוק שהיא עבדה.

שלושה קריטריונים מתמטיים נפוצים מגדירים "הוגנות": "עצמאות" (Independence) — התחזית לא מושפעת ממאפיין-רגיש כמו מגדר או מוצא; "הפרדה" (Separation) — שיעור-הטעויות זהה בין קבוצות שונות; ו"מספיקות" (Sufficiency) — כשהמודל נותן ציון מסוים, ההסתברות שהוא נכון זהה בין קבוצות. אלה לא רק הגדרות תיאורטיות: כלי-סינון-קורות-חיים שפיתחה Amazon דווח כמעניש קורות-חיים שכללו את המילה "נשים"; ואלגוריתם-האשראי של כרטיס Apple Card, ב-2019, העניק מסגרות-אשראי גבוהות משמעותית לגברים לעומת נשים — גם לזוגות שניהלו את כספיהם במשותף.

הבעיה המתמטית-ביסודית של התחום: שלושת הקריטריונים האלה סותרים זה-את-זה במקרים כלליים — לא ניתן, למעט מקרי-קצה נדירים, לספק גם עצמאות וגם הפרדה בו-זמנית, וגם לא הפרדה ומספיקות יחד. זו לא בעיה טכנית שממתינה לפתרון הנדסי טוב-יותר, אלא תוצאה מוכחת-מתמטית — מה שהופך את הבחירה איזו הגדרת-הוגנות להעדיף לשאלה ערכית-חברתית, לא רק חישובית.

בפועל, צוותי-פיתוח מיישמים תיקון בשלושה שלבים אפשריים: "קדם-עיבוד" (תיקון הנתונים לפני האימון, כדי לאזן ייצוג בין קבוצות), "תוך-עיבוד" (הוספת אילוץ-הוגנות ישירות למהלך האימון עצמו), ו"אחר-עיבוד" (התאמת תוצאות המודל אחרי שהוא כבר אימן, למשל סף-החלטה שונה לכל קבוצה). כל גישה כרוכה בפשרה שונה בין דיוק-כולל להוגנות-מדידה, ואין תשובה אחת שנכונה לכל תרחיש — הבחירה תלויה בהקשר: תחום-הבריאות, למשל, עשוי להעדיף קריטריון שונה מתחום-האשראי, גם כשמדובר באותה משפחת-אלגוריתם. בניו-יורק הבחירה הזאת כבר אינה נתונה לצוות-הפיתוח לבדו: החוק העירוני Local Law 144 נכנס לתוקף ב-1 בינואר 2023 ואכיפתו החלה ב-5 ביולי 2023. ביקורת-הטיה מחייבת (Bias Audit) היא החובה שהוא יצר: אסור להשתמש בכלי לסינון מועמדים אלא אם עבר בשנה שקדמה הערכה בלתי-תלויה שתקציר תוצאותיה פורסם. את הביקורת עצמה החוק דורש, אך אינו דורש פעולה מסוימת בעקבות תוצאותיה — והרשות העירונית מדגישה באותה נשימה שדיני איסור-האפליה הפדרליים, המדינתיים והעירוניים ממשיכים לחול, ושעל המעסיק לקבוע לאורם אילו פעולות נדרשות לאור תוצאות הביקורת.