הזיה (Hallucination)

מה זו הזיה, ולמה היא קורית מבחינה טכנית

הזיה (Hallucination) היא כשמודל AI מציג מידע שגוי או מומצא בביטחון מלא, כאילו היה עובדה מאומתת — לא שקר מכוון, אלא תוצר-לוואי מובנה של האופן שבו מודלי שפה גדולים (LLM) מייצרים טקסט. המונח עצמו שאול מפסיכולוגיה, שם הוא מתאר תפיסה חושית שאין לה בסיס במציאות, וההשאלה מדגישה נקודה חשובה: המודל לא "משקר" במובן שהוא יודע את האמת ובוחר להסתיר אותה — הוא פשוט אין לו יכולת מובנית להבחין בין מה שהוא "בטוח בו באמת" לבין מה שהוא רק מנחש בסבירות גבוהה, כי כל תשובה שהוא מייצר נבנית באותו תהליך סטטיסטי בדיוק, בלי "דגל-אי-ודאות" פנימי שמלווה כל משפט.

מבחינה טכנית, הזיה נובעת ישירות מהמנגנון הבסיסי של מודל שפה: הוא מנבא בכל שלב את הטוקן (Token, יחידת-הטקסט הבאה) הכי-סביר סטטיסטית בהינתן כל מה שנכתב עד כה, ולא "שולף עובדה" ממאגר-ידע מסודר כפי שמסד-נתונים היה עושה. כשהשאלה נוגעת בתחום שהמודל ראה הרבה דוגמאות ברורות עליו באימון, הניחוש הסטטיסטי הזה בדרך-כלל תואם עובדות אמיתיות. אבל כשהשאלה נוגעת בפרט ספציפי, נדיר, או שלא הופיע בבירור מספיק בנתוני-האימון — למשל שם-ספר מדויק, תאריך לא-מוכר, או ציטוט של מקור שלא קיים — המודל עדיין ממשיך לייצר את הרצף "הכי-סביר", גם אם הוא בפועל שגוי לגמרי, ומציג אותו באותו ביטחון-לשוני-חלק כמו כל משפט אחר.

דוגמאות מוכרות ושני סוגי-הזיה: מבוססת-עובדה מול מבוססת-נאמנות

הביטוי המוכר ביותר של הזיה, שנתפס לרוב הקהל הרחב מהר יחסית, הוא המצאת ציטוטים ומקורות שלא קיימים: מודל שמתבקש להביא מקור אקדמי לטענה מסוימת עלול "לייצר" שם-מאמר, שם-כתב-עת ומספר-עמודים שנשמעים אמינים לחלוטין, אבל אינם קיימים בפועל. תופעה דומה מוכרת היטב במקצוע עריכת-הדין: מקרים מתועדים החל מ-2023 של עורכי-דין שהגישו לבתי-משפט מסמכים המצטטים תקדימים משפטיים שהמציא מודל שפה, ונענשו על-כך על ידי בית-המשפט. בתחום הרפואי, מודלים עלולים להמציא שמות-תרופות או מינונים שנשמעים סבירים אך אינם קיימים, מה שהפך את בדיקת-מקור-בלתי-תלוי לדרישת-סף בכל יישום רפואי מבוסס-LLM רציני. אפילו חברות-הענק לא חסינות: בהשקה הראשונה של הצ'אטבוט Bard של גוגל (קודמו של Gemini), בפברואר 2023, השיב הבוט בסרטון-פרסומת רשמי בטעות שטלסקופ החלל ג'יימס-ווב היה הראשון שצילם כוכב-לכת מחוץ למערכת-השמש שלנו — טענה שגויה עובדתית (הצילום הראשון כזה בוצע כבר ב-2004 בטלסקופ אחר) — והשגיאה, שהתגלתה תוך יום, גרמה לירידה של כ-8 אחוזים במניית Alphabet, שווה-ערך לכ-100 מיליארד דולר בשווי-שוק, באותו יום מסחר בודד.

חשוב להבחין בין שני סוגים עיקריים של הזיה, כי לכל אחד גורם-שורש שונה במקצת. "הזיה מבוססת-עובדה" (Factual Hallucination) קורית כשהמודל טוען טענה שסותרת ידע-אמיתי שקיים בעולם — כמו תאריך שגוי או אירוע שלא קרה. "הזיה מבוססת-נאמנות" (Faithfulness Hallucination) קורית גם כשהמודל מקבל מקור-מידע ספציפי לעבוד איתו (כמו מסמך שסופק לו לסיכום) אבל בכל זאת "בורח" ממנו לכיוון מידע שהוא "זוכר" מהאימון הכללי שלו במקום להישאר נאמן למה שסופק לו בפועל — סוג הבעיה שרלוונטי במיוחד למערכות אחזור-מוגבר-בייצור (RAG), שם הציפייה היא שהמודל יענה אך ורק מתוך המסמכים שאוחזרו עבורו.

איך מצמצמים הזיות: RAG, חשיבה-מורחבת ואנטרופיה סמנטית

אחזור-מוגבר-בייצור הוא כיום אחת הטכניקות היעילות ביותר לצמצום הזיות: במקום להסתמך על מה שהמודל "זוכר" מהאימון, המערכת מביאה לו מקורות רלוונטיים בזמן-אמת ומבקשת ממנו לענות על בסיסם בלבד, עם ציטוט-מקור מפורש. שיטות משלימות נוספות כוללות ניסוח-פרומפט שמעודד את המודל להודות באי-ודאות ("אם אינך בטוח, אמור שאינך יודע, אל תנחש") — ניסוח שהראה בבדיקות שיפור משמעותי בשיעור ההזיות במחקרים רפואיים ממוקדים; "הפעלת-חשיבה מורחבת" (Extended Thinking) — מתן זמן-חישוב נוסף למודל לבדוק את עצמו לפני מתן תשובה סופית; ו"קונצנזוס-רב-מודלי" — הרצת אותה שאלה בכמה מודלים או כמה פעמים ובדיקת התאמה בין התשובות, כשתשובות שחוזרות-על-עצמן בעקביות נחשבות אמינות יותר מתשובה בודדת.

כיוון-מחקר מבטיח לזיהוי הזיות מבפנים, ולא רק מדידה-חיצונית של תוצאות, הוא "אנטרופיה סמנטית" (Semantic Entropy) — שיטה שפרסמו חוקרי אוניברסיטת אוקספורד בכתב-העת Nature ביוני 2024. הרעיון: להריץ את אותה שאלה כמה פעמים ולבדוק לא רק אם הניסוחים שונים מילולית (שזה טבעי וצפוי), אלא אם המשמעות עצמה משתנה בין הריצות. תשובה שחוזרת על אותה משמעות בעקביות, גם בניסוחים שונים, נחשבת אמינה; תשובה שמשמעותה קופצת בין ריצה לריצה מסמנת אזור-אי-ודאות גבוה — לרוב סימן לכך שהמודל בפועל "מנחש" ולא "יודע", מה שמאפשר להתריע למשתמש באופן אוטומטי לפני שהתשובה מוצגת כעובדה.

מדידת שיעור-ההזיות, והשאלה אם אפשר לחסלן לגמרי

מדידת שיעור-ההזיות היא בעצמה תחום-מחקר פעיל. מסגרת-הערכה מוכרת אחת, HHEM (מודל-הערכת-הזיות של חברת Vectara), בודקת ספציפית עד כמה מודל נאמן לטקסט-מקור כשהוא מתבקש לסכם אותו — לא הזיה "כללית" אלא הזיה מבוססת-נאמנות ספציפית. שיטת-הערכה מוקדמת ומשפיעה אחרת, Q² (מ-2021), פותחה בשיתוף חוקרים מהאוניברסיטה העברית בירושלים ומרכז-המחקר הישראלי של גוגל: היא בודקת נאמנות-עובדתית לא על ידי השוואת-מילים ישירה, אלא על ידי ייצור שאלות אוטומטי מתוך תשובת-המודל ובדיקה אם מענה עליהן, כשהן מופנות בחזרה למקור, עדיין תואם — טכניקה שהשפיעה על דור שלם של שיטות-הערכה מאוחרות יותר. מבחני-הזיה כלליים יותר, כמו TruthfulQA (מבחן שנועד ספציפית לבחון אם מודל חוזר על אמונות-שווא נפוצות בקרב בני-אדם), מציגים תוצאות שונות מאוד ממבחני-סיכום, מה שמדגיש עד כמה "שיעור-ההזיות" תלוי-הקשר: מודל יכול להיות אמין מאוד במשימה אחת (סיכום מסמך שסופק לו) ופחות אמין במשימה אחרת (שליפת עובדה נדירה מהזיכרון הכללי שלו).

השאלה אם אפשר לחסל הזיות לגמרי היא לרוב-חוקרי-התחום שאלה שהתשובה עליה שלילית באופן עקרוני, לא רק זמנית: כל עוד מודל שפה מייצר טקסט על בסיס ניבוי-סטטיסטי ולא על בסיס אימות מול מאגר-אמת-מוחלט, קיים תמיד סיכוי שהוא ייצר רצף סביר-אך-שגוי. המטרה המעשית איננה חיסול מוחלט, אלא צמצום השיעור למינימום, ובעיקר — יצירת אמצעים שיאפשרו למשתמש ולמערכת לזהות מתי תשובה מסוימת מסוכנת-במיוחד לטעות, כדי להפנות אותה לבדיקה אנושית או למקור עצמאי לפני הסתמכות עליה.

שיפור בין דורות מודלים, ולמה הזיה היא גם הבסיס ליצירתיות

צמצום ההזיות הוא גם אחד המדדים שבהם ניכר השיפור המהיר ביותר בין דורות המודלים: מודלים חדשים יותר, במיוחד כאלה שמשלבים חשיבה-מורחבת לפני מענה, מראים באופן עקבי שיעורי-הזיה נמוכים משמעותית ממודלים קודמים על אותם מבחנים בדיוק, ומגמת-שיפור זו נמשכת מדי דור-מודלים. עם זאת, ההשוואה בין דורות מודלים בתחום הזה קשה יחסית לתחומים אחרים, כי מבחני-ההזיה עצמם משתנים ומתעדכנים, וחברות שונות מדווחות לעיתים על שיטות-מדידה שונות — מה שמקשה על השוואה אובייקטיבית "אחד-לאחד" בין מוצרים מתחרים בלי לבדוק את התנאים המדויקים של כל מבחן.

לבסוף, כדאי לזכור שהזיה איננה תמיד "תקלה" חד-משמעית מנקודת-מבט הנדסית — היא בדיוק אותו מנגנון שמאפשר למודל שפה גם ליצור טקסט חדשני, סיפורי ויצירתי כשמבקשים ממנו זאת בכוונה. היכולת "להמציא" רצף-טקסט סביר היא-היא הבסיס לכתיבה יצירתית, לסיעור-מוחות רעיוני, ולבניית-דוגמאות היפותטיות שימושיות — אותו מנגנון בדיוק הופך לבעיה רק כשהמשתמש מצפה לעובדה מאומתת והמודל מספק ניחוש-סביר בלבוש-של-עובדה בלי לסמן את ההבדל. בגלל זה חלק מהגישות המתקדמות יותר להתמודדות עם הזיה לא מנסות "לכבות" את מנגנון-הניחוש, אלא ללמד את המודל לתייג בעצמו את רמת-הביטחון שלו בכל טענה — משימה שעדיין נחשבת לא-פתורה במלואה נכון ל-2026.

המסקנה המעשית: לאמת כל טענה עובדתית באופן עצמאי

ההמלצה המעשית שיוצאת מכל זה, לכל מי שמשתמש ב-LLM לצרכים שבהם דיוק קריטי, פשוטה יחסית להסביר גם אם היא לא תמיד קלה ליישום בפועל: להתייחס לכל טענה עובדתית ספציפית — שם, תאריך, מספר, ציטוט — כאל טענה שדורשת אימות עצמאי לפני הסתמכות עליה, בדיוק כפי שמומלץ להתייחס למידע לא-מאומת ממקור אנושי בלתי-מוכר. ההבדל המרכזי הוא שהמודל, בניגוד לרוב בני-האדם, לעולם לא "נשמע" פחות בטוח בטענה שגויה מאשר בטענה נכונה — ולכן הטון הבטוח של התשובה עצמו הוא בדיוק האינדיקציה שהכי-פחות-שווה-להסתמך-עליה כשמנסים להעריך את מהימנותה.