בינה מלאכותית מוסברת (Explainable AI)

מודלים מורכבים כמו רשתות-נוירונים עמוקות מקבלים החלטות מדויקות, אך קשה מאוד להבין למה — התהליך הפנימי כולל מיליוני חישובים שלא ניתן "לקרוא" בקלות כמו עץ-החלטה. בינה מלאכותית מוסברת (XAI — Explainable AI) מפתחת כלים שמצביעים אילו חלקים בקלט השפיעו הכי הרבה על התשובה.

הסוכנות האמריקאית (DARPA — סוכנות-מחקר ביטחוני מתקדם) הובילה מ-2017 עד 2021 תוכנית-מחקר ייעודית בשם XAI, שהזרימה מימון-ממשלתי משמעותי לפיתוח שיטות-הסבר — ניסיון מוסדי מוקדם ורחב-היקף להתמודד עם בעיית ה"קופסה השחורה", עוד לפני שהיא הפכה לדאגה ציבורית רחבה כפי שהיא היום.

שתי שיטות טכניות נפוצות במיוחד ממחישות איך XAI עובד בפועל: LIME בודקת איך תשובת-המודל משתנה כשמשנים מעט את הקלט, כדי "לנחש" אילו חלקים בקלט המקורי היו הכי משפיעים; SHAP (מבוססת על רעיון מתמטי מתורת-המשחקים, "ערך שפלי") מחשבת לכל מאפיין-קלט תרומה מדויקת-יחסית לתוצאה הסופית. שתיהן נפוצות היום כספריות-קוד-פתוח סטנדרטיות שמפתחי-AI מריצים כשלב שגרתי בבדיקת מודל, לא רק במחקר אקדמי.

ברפואה, אשראי, וגיוס-עובדים — תחומים עם השלכות משמעותיות על אנשים — יש דרישה גוברת (ולעיתים חוקית) שהחלטה מבוססת-AI תלווה בהסבר קריא לבן-אדם, לא רק תשובה בלי נימוק. חוק ה-AI האירופי (EU AI Act), שנכנס לתוקף בשלבים החל מ-2024, מחייב באופן מפורש שקיפות והסבר לגבי מערכות-AI "בסיכון-גבוה" הפועלות בתחומים כמו תעסוקה, אשראי ואכיפת-חוק — אחד המקרים הבולטים הראשונים שבהם דרישת-הסבירות עברה ממומלץ-מקצועי לחובה חוקית ממשית ברמת-יבשת שלמה.

קיים מתח מובנה בין דיוק להסבריות: לרוב, המודלים המדויקים ביותר (רשתות-נוירונים עמוקות) הם גם הקשים ביותר להסביר, בעוד מודלים פשוטים-להסביר (כמו עץ-החלטה) נוטים להיות פחות מדויקים על בעיות מורכבות. הבחירה בין השניים תלויה בהקשר — לפעמים דיוק-מקסימלי חשוב יותר, ולפעמים היכולת להסביר את ההחלטה חשובה לא-פחות מדיוקה.