הטיית אוטומציה (Automation Bias)

מה זו הטיית אוטומציה

הטיית אוטומציה (Automation Bias) היא הנטייה של בני אדם להעדיף הצעות של מערכות אוטומטיות לקבלת החלטות, ולהתעלם ממידע סותר שהגיע ממקור אחר — גם כשהמידע הסותר נכון. זו לא תופעה של בינה מלאכותית דווקא: הדיון בה התמקד בתחילה בתעופה, והיא מופיעה בכל מקום שבו אדם עובד לצד מערכת שמציעה, מתריעה או מחליטה — מטייס אוטומטי ועד בודק איות.

בספרות מבחינים בין שני סוגי טעויות. טעות של עשייה היא כשהאדם מבצע הוראה שגויה של המערכת בלי לשקול מקורות מידע אחרים. טעות של מחדל היא כשהמערכת לא מזהה בעיה, והאדם לא שם לב כי הפסיק לעקוב בעצמו. בודק איות ממחיש את שתיהן: אם הוא מסמן מילה תקינה כשגויה ומקבלים את התיקון בלי לבדוק — זו טעות של עשייה; אם הוא מפספס שגיאה אמיתית ומניחים שהטקסט נקי — זו טעות של מחדל.

למה זה קורה

לפי הסיכום בוויקיפדיה, שלושה גורמים מרכזיים מסבירים את ההטיה: הנטייה האנושית לבחור בדרך שדורשת הכי מעט מאמץ מחשבתי; הנטייה לראות בכלי האוטומטי בעל יכולת ניתוח עדיפה על שלנו; והנטייה להפחית מאמץ כשמתחלקים במשימה, עם אדם אחר או עם מכונה. לחץ זמן, עומס וחוסר ניסיון מגבירים את ההטיה.

יש כאן גם פרדוקס: ככל שהמערכת אמינה יותר לאורך זמן, כך גדל הסיכוי שיפסיקו לבדוק אותה — תופעה שמכונה "רשלנות נלמדת". ב-2010 סקרו החוקרים פרסורמן ומנזי את המחקרים בנושא וקבעו שהטיית אוטומציה מופיעה גם אצל מתחילים וגם אצל מומחים, שאי אפשר למנוע אותה באמצעות הדרכה או הוראות בלבד, ושהיא משפיעה גם על צוותים ולא רק על יחידים. הם קשרו אותה לתופעה קרובה, "שאננות אוטומציה" — מעקב חלש אחרי מערכת שנחשבת אמינה — והציעו לראות בשתיהן ביטויים של אותה בעיה: הקשב.

בתא הטייס

הדיון בהטיית אוטומציה התחיל בתעופה, שבה מערכות אוטומטיות מחשבות מסלולים, מנווטות ומאבחנות תקלות. במחקר אחד שתואר בספרות, כל הטייסים שקיבלו התרעה אוטומטית שגויה לכבות מנוע אכן כיבו אותו — אף שאותם טייסים אמרו בראיון שלא היו מגיבים כך להתרעה כזו, ושהיו מסתפקים בהורדת הכוח לסרק.

במקרה היסטורי מוכר, יירוט מטוס ה-747 של קוריאן אייר מעל שטח ברית המועצות ב-1983 קרה משום שהצוות הקוריאני, כלשון הסיכום, "הסתמך על אוטומציה שהוגדרה באופן שגוי, ומעולם לא בדק את התקדמותו באופן ידני". ובמחקר על טייסים נמצא שנוכחות של איש צוות שני בתא הטייס לא השפיעה על ההטיה.

ברפואה: כשה-AI טועה, גם הרופא טועה

ב-2012 פרסמה קבוצת חוקרים בהובלת גודארד סקירה שיטתית על הטיית אוטומציה במערכות תומכות-החלטה ברפואה. מתוך 13,821 מאמרים שאותרו, 74 עמדו בתנאי הסקירה. נמצא שההטיה מושפעת מניסיון, מאמון ומביטחון עצמי, וגם מעומס, ממורכבות המשימה ומלחץ זמן. לפי ויקיפדיה, במחקרים מ-2004 ומ-2008 על אבחון סרטן שד נמצא שסרטן שאובחן ב-46% מהמקרים בלי עזר ממוחשב זוהה רק ב-21% מהמקרים כשהעזר הממוחשב לא סימן אותו.

מחקר מ-2023 בכתב העת Radiology בדק את התופעה עם בינה מלאכותית. 27 רדיולוגים קראו 50 צילומי ממוגרפיה בעזרת מה שהוצג להם כמערכת AI, שבחלק מהצילומים נתנה בכוונה דירוג שגוי. רדיולוגים חסרי ניסיון דירגו נכון 79.7% מהצילומים כשהמערכת צדקה, ורק 19.8% כשטעתה. אצל בעלי ניסיון בינוני הנתונים היו 81.3% מול 24.8%, ואצל המנוסים מאוד 82.3% מול 45.5%. כלומר, גם המומחים הושפעו, אם כי פחות.

בעידן הצ'אטבוטים

מודלי-שפה מוסיפים לבעיה ממד חדש: הם עונים בביטחון ובשפה רהוטה גם כשהם טועים. המקרה המוכר הוא Mata נגד Avianca מ-2023. עורכי הדין של התובע הגישו לבית המשפט הפדרלי בניו יורק מסמך עם תקדימים שיצר ChatGPT ושלא היו קיימים. כשבית המשפט לא מצא אותם, ChatGPT "הבטיח" לעורכי הדין שהם "אכן קיימים" ונמצאים במאגרים משפטיים מוכרים. השופט קבע שעורכי הדין פעלו בחוסר תום לב והטיל עליהם קנס של 5,000 דולר.

מחקר שפורסם ב-Microsoft Research והוצג ב-2025 בכנס CHI סקר 319 עובדי ידע ו-936 דוגמאות לשימוש שלהם בבינה מלאכותית יוצרת בעבודה. הממצא המרכזי: "ביטחון גבוה יותר ב-AI קשור לפחות חשיבה ביקורתית, וביטחון עצמי גבוה יותר קשור ליותר חשיבה ביקורתית". החוקרים מצאו גם שבינה מלאכותית יוצרת מזיזה את החשיבה הביקורתית לאימות מידע, לשילוב התשובות בעבודה ולפיקוח על המשימה.

מה מפחית את ההטיה

חוק הבינה המלאכותית האירופי מתייחס להטיה במפורש. סעיף 14 קובע שמערכות בסיכון גבוה צריכות לאפשר פיקוח אפקטיבי של בני אדם, ומחייב שהמפקח יוכל "להישאר מודע לנטייה האפשרית להסתמך באופן אוטומטי או מופרז על הפלט של מערכת בינה מלאכותית בסיכון גבוה (הטיית אוטומציה)".

המחקר מציע כמה דרכים מעשיות. בסקירה של קבוצת גודארד נמצאו הדרכה, הדגשת האחריות האישית של המשתמש, מיקום העצה על המסך, הצגת רמת הביטחון של המערכת, ומסירת מידע במקום המלצה. לפי ויקיפדיה, אימון שבו המערכת עושה טעויות מכוונות יעיל יותר מאשר רק לומר למשתמשים שטעויות יכולות לקרות, ואחריות אישית על דיוק ההחלטות הפחיתה את ההטיה. אבל יש גם גבול: בדיקה מופרזת של כל הצעה מוסיפה לחץ זמן ומורכבות, ולכן מערכות רבות מנסות לאזן בין התועלת לנזק ולא לבטל את ההטיה לגמרי.