מה ביקורת-הטיה בודקת
ביקורת-הטיה היא הניסיון להפוך את השאלה "האם הכלי הזה מפלה" למדידה שגורם חיצוני יכול לבצע ולפרסם. הרשות העירונית בניו-יורק מגדירה אותה כהערכה חסרת-פניות בידי מבקר בלתי-תלוי, ודורשת ממנה מינימום מוגדר: לחשב את שיעורי-הבחירה או שיעורי-הניקוד של הכלי ואת יחס-ההשפעה (Impact Ratio) שביניהם, בחתך מין, בחתך גזע-ומוצא, ובחתך המשולב של השניים יחד. מבקר אינו נחשב בלתי-תלוי אם הוא עובד אצל המעסיק או אצל ספק הכלי, אם היה מעורב בפיתוחו או בהפצתו, או אם יש לו עניין כספי באחד מהם.
מפרקטיקה מומלצת לחובה חוקית
בדיקת-הוגנות היא פרקטיקה מקצועית מוכרת מזה שנים, אבל בניו-יורק היא הפכה לחובה שנאכפת. החוק העירוני Local Law 144 משנת 2021 אוסר על מעסיק ועל סוכנות-השמה להשתמש בכלי-AI לקבלת החלטות-העסקה, אלא אם הכלי עבר ביקורת-הטיה בשנה שקדמה לשימוש, תקציר תוצאותיה זמין לציבור, וההודעות הנדרשות נמסרו. החוק נכנס לתוקף ב-1 בינואר 2023, ואכיפתו החלה ב-5 ביולי 2023. מועמד שהוא תושב ניו-יורק חייב לקבל הודעה מוקדמת על השימוש בכלי, עשרה ימי-עסקים לפני-כן. החוק אינו מוגבל להחלטת-הגיוס הסופית: הוא חל גם על סינון מועמדים בכל שלב בדרך, ועל כלי שמסייע במידה מהותית לשיקול-הדעת האנושי או מחליף אותו.
מה החוק דורש, ומה הוא איננו דורש
כאן נמצא גבולו של האמצעי. הרשות העירונית כותבת במפורש שהחוק מחייב לבצע ביקורת, אך אינו מחייב שום פעולה מסוימת בעקבות תוצאותיה. באותה תשובה עצמה היא מדגישה שחוקים פדרליים, מדינתיים ועירוניים אוסרים אפליה, ושעל מעסיקים ועל סוכנויות-השמה לציית לכל דיני איסור-האפליה החלים עליהם כדי לקבוע אילו פעולות נדרשות לאור תוצאות הביקורת — כך שהיעדר חובת-פעולה בחוק הביקורת עצמו אינו היתר להתעלם מפער שנמצא. תלונות על אפליה עצמה אינן בסמכותה של אותה רשות, והיא מעבירה אותן לנציבות זכויות-האדם העירונית. מה שכן מחייב הוא תוכן הפרסום: תאריך הביקורת האחרונה, מקור הנתונים ששימשו אותה והסבר עליהם, מספר הנבדקים שלא ניתן היה לשייך לקטגוריה, ומספרי המועמדים, שיעורי-הבחירה ויחסי-ההשפעה לכל הקטגוריות. כללי-הביקורת גם אוסרים להשלים נתונים דמוגרפיים בשיטות-אמידה או בתוכנה שמנחשת אותם, ומתירים להישען על נתוני-מבחן רק כשאין די נתונים היסטוריים לביקורת מובהקת סטטיסטית.
מה נמצא בפועל
מחקר שפורסם ב-2024 בדק כיצד זה עובד בשטח: 155 סטודנטים-חוקרים תיעדו את התנהלותם של 391 מעסיקים, ומצאו ש-18 מהם פרסמו דוח-ביקורת ו-13 פרסמו הודעת-שקיפות. החוקרים מסבירים את הפער בכך שהחוק מותיר למעסיק שיקול-דעת רחב בשאלה אם הכלי שלו נכלל בו מלכתחילה, ולכן היעדר פרסום אינו מעיד בהכרח על הפרה — מצב שהם מכנים "ציות-אפס" (null compliance). הם מצאו גם שכמעט כל הביקורות שפורסמו דיווחו על יחס-השפעה מעל 0.8, כלל-אצבע מקובל בתביעות אפליה בתעסוקה.
מה זה אומר על ביקורת כאמצעי-הגנה
מחקר נוסף, שראיין שישה-עשר מומחים ואנשי-מקצוע הפועלים בתוך אותו משטר, הגיע למסקנה שהחוק לא ביסס משטר-ביקורת אפקטיבי, ותלה זאת בין השאר בהגדרות רופפות ובתיאוריית-שינוי שנשענת על שקיפות בלבד. ובכל זאת, זהו המקום שבו בדיקת-הוגנות אינה המלצה מקצועית אלא חובה פומבית הנתונה לאכיפה — שינוי מעמד של ממש לעומת האופן שבו היא מוצגת בהטיה אלגוריתמית (Bias) ובהוגנות אלגוריתמית (Algorithmic Fairness), כפרקטיקה שצוותי-פיתוח בוחרים לאמץ. באירופה, כלים לסינון-מועמדים לעבודה מסווגים כמערכות בסיכון-גבוה, אך עיקר החובות האלה נדחו אל דצמבר 2027.