שקיפות (Transparency)

שקיפות (Transparency) בהקשר של AI מתייחסת לעד כמה ברור למשתמש (או אפילו למפתח עצמו) איך ולמה מודל הגיע לתשובה או להחלטה מסוימת.

רוב מודלי AI המתקדמים היום — ובפרט מודלי שפה גדולים המבוססים על רשתות נוירונים עמוקות — פועלים כ"קופסה שחורה": גם היוצרים שלהם לא יכולים תמיד להסביר במדויק מדוע המודל בחר תשובה ספציפית אחת ולא אחרת.

תחום מחקר בשם "פרשנות" (interpretability) מנסה לפתוח את הקופסה השחורה הזו ולהבין מה בדיוק קורה בפנים — צעד שחשוב במיוחד ככל שמודלי AI מקבלים תפקידים משמעותיים יותר בהחלטות שמשפיעות על אנשים.