פיקוח אנושי (Human Oversight)

מערכת עם פיקוח אנושי שומרת ערוץ שבו בן-אדם יכול לבדוק, לתקן, או לעצור אותה — גם אם היא פועלת רוב-הזמן בעצמה, בלי צורך באישור לכל פעולה בודדת. ההבחנה המדויקת בין רמות-פיקוח שונות חשובה במיוחד בהקשר של מערכות-נשק אוטונומיות, ומקורה בדוח של ארגון Human Rights Watch מ-2012: "אדם-בלולאה" (Human-in-the-Loop) — בן-אדם חייב ליזום כל פעולה; "אדם-על-הלולאה" (Human-on-the-Loop) — בן-אדם יכול לבטל פעולה שכבר החלה, אך לא נדרש להתחיל אותה; ו"אדם-מחוץ-ללולאה" (Human-out-of-the-Loop) — אין מעורבות אנושית כלל. ההבדל בין השלושה נוגע לא רק לנשק: אותה סקאלה בדיוק רלוונטית לכל מערכת-AI שמקבלת החלטות משמעותיות — אישור-הלוואה, אבחון-רפואי, סינון-מועמדים — ולא רק להקשר הצבאי שבו הוגדרה לראשונה.

הצורך בהבחנה הזו לא תיאורטי: מערכת-הטילים "פטריוט" (MIM-104 Patriot) של ארצות-הברית, מסוג "אדם-על-הלולאה", מעורבת בכמה מקרי אש-כוחות-עצמיים (Friendly Fire) מתועדים בפלישה לעיראק ב-2003 — כשהמערכת זיהתה בטעות מטוסי-בעלות-ברית כאיום, וההחלטה-בפועל להפעיל-אש הייתה מהירה-מדי לביקורת אנושית משמעותית לפני-ההשלכה.

זהו עקרון-מפתח ברגולציית AI רבה: חוק-הבינה-המלאכותית האירופי (EU AI Act) מחייב שמערכות-AI "בסיכון-גבוה" יישארו תמיד ניתנות לפיקוח, ביקורת והתערבות אנושית — לא "קופסה שחורה" אוטונומית-לחלוטין. אזרחים שנפגעים מהחלטה של מערכת-AI בסיכון-גבוה מקבלים גם זכות-פנייה פורמלית: הזכות להגיש-תלונה ולקבל הסבר על ההחלטה שהתקבלה לגביהם.

האתגר המעשי: ככל שמערכות-AI פועלות מהר-יותר ובנפח-גדול-יותר, "פיקוח אנושי אמיתי" הופך קשה-יותר לממש בפועל — בן-אדם שצריך לאשר אלפי החלטות בשנייה לא מספק פיקוח משמעותי, רק חתימה-פורמלית שמעכבת בלי לתרום בקרה של ממש. עיצוב-נכון של פיקוח דורש בחירה מדוקדקת היכן ההתערבות האנושית באמת מוסיפה ערך, לא רק היכן שנוח מבחינה משפטית לדרוש אותה.