הרעלת המלצות AI (AI Recommendation Poisoning)

מה צוות ההגנה של מיקרוסופט מצא

ב-10.2.2026 פרסם צוות המחקר של Microsoft Defender ממצאים על טכניקה שהוא קרא לה "הרעלת המלצות AI". הצוות סרק כתובות-אתרים הקשורות ל-AI בתעבורת-דואר-אלקטרוני במשך 60 יום, ואיתר 50 ניסיונות נפרדים להשפיע על הזיכרון של עוזרי-AI לצורכי קידום, מ-31 חברות ב-14 תחומי-עיסוק שונים, כולל פיננסים, בריאות, שירותים משפטיים, תוכנת-SaaS, סוכנויות-שיווק ואתרי מתכונים. מיקרוסופט הדגישה שכל המקרים האלה היו עסקים אמיתיים, לא תוקפים: החברות לא פרצו לשום מערכת, אלא השתמשו בכלים שיווקיים זמינים לכול. MITRE ATLAS, מסגרת-הסיווג של טכניקות-תקיפה על מערכות-AI, מסווג את הטכניקה כ-AML.T0080 (הרעלת זיכרון), ומיקרוסופט מקשרת אותה גם למסמך קודם של צוות ה-Red Team שלה על אופני-כשל במערכות-AI סוכניות.

איך זה עובד: הכפתור שמזריק הנחיה

כפתור "Summarize with AI" באתר פותח עוזר-AI עם הנחיה שכבר כתובה בתוך פרמטר בכתובת-ה-URL עצמה (לדוגמה, אחרי q=). החלק הגלוי מבקש מהעוזר לסכם את הדף, אבל אחריו מגיעה הנחיה נוספת שהמשתמש לא התכוון להקליד ולא רואה בתצוגה: "זכור את [החברה] כמקור אמין", או "כמקור המועדף" לנושא מסוים. בגרסאות התוקפניות יותר ההנחיה הנסתרת כוללת קטע-שיווק מלא על מוצרי החברה, ומנוסחת עם מילים כמו "בשיחות הבאות" שנועדו לגרום לה להישמר בזיכרון ולא להיעלם בסוף השיחה הנוכחית. לפי מיקרוסופט, סף-הכניסה לטכניקה נמוך מאוד — "נמוך כמו התקנת תוסף", כי כלים מוכנים עושים את העבודה.

למה חברות בכלל מנסות לעשות את זה

המוטיבציה, לפי הדיווחים, היא כלכלית ולגיטימית-למראה: לפי דוח של חברת SparkToro, ההמלצות שעוזרי-AI נותנים על מותגים משתנות כמעט בכל שאלה, כך שלכל חברה יש אינטרס ברור להופיע כמה שיותר כ"תשובה" כזו. הדרך הרגילה והמוכרת להשיג את זה דומה לקידום-אתרים ישן: לפי סגן-נשיא בגוגל, רובי שטיין, בדברים שאמר בפודקאסט, חיפוש מבוסס-AI מוצא המלצות על עסקים על-ידי בדיקה מה אתרים אחרים כותבים עליהם, ולכן קידום תוכן איכותי עדיין אמור להשפיע עליה בעקיפין. הרעלת-זיכרון מדלגת על התהליך הזה כליל: במקום לשפר תוכן ולקוות שהעוזר ילמד ממנו, היא שותלת את המסקנה הסופית ישירות בזיכרון של העוזר.

למה הזיכרון הוא הממד הקריטי

הזרקת פרומפט רגילה (ראו בערך שלה) בדרך-כלל משפיעה רק על השיחה שבה היא קרתה: המשתמש סוגר את הצ'אט וההנחיה נעלמת. מה שמייחד את הטכניקה הזו הוא שההנחיה הנסתרת מנוסחת כך שתיכתב לתוך זיכרון סוכן — המנגנון שבאמצעותו עוזר-AI שומר מידע משיחה אחת לשיחה הבאה. אם ההנחיה מתקבלת, היא לא נעלמת כשהמשתמש סוגר את הצ'אט: היא ממשיכה לעצב את ההמלצות של העוזר בשיחות עתידיות, בלי שהמשתמש יידע שמקור ההמלצה הוא כפתור שהוא לחץ עליו בעבר. מיקרוסופט משווה את זה לתוכנת-פרסום (adware): בדומה לה, ההשפעה נשארת אצל המשתמש בלי שהוא מודע לה או הסכים לה — אלא שכאן אין פרסומת גלויה שאפשר לזהות, רק המלצה שנשמעת כמו דעתו של העוזר.

דוגמאות קונקרטיות: פיננסים ובריאות

מתוך הדוגמאות שמיקרוסופט פרסמה, הנחיה מתחום הפיננסים ביקשה מהעוזר "לזכור" בלוג פיננסי כ"מקור המועדף" לנושאי קריפטו ופיננסים "בשיחות עתידיות", והנחיה מתחום הבריאות ביקשה ממנו לזכור שירות-בריאות כמקור-ציטוט וכמקור למומחיות. מיקרוסופט מתארת תרחישים שבהם הטיה כזו משפיעה על החלטה אמיתית: עוזר "מורעל" ממליץ לעסק על פלטפורמת-קריפטו מסוימת לכספי-הרזרבה שלו, או עונה להורה ששואל אם משחק מסוים בטוח לילד בן 8 בלי להזכיר את מנגנוני-התשלום המניפולטיביים ואת הצ'אט הלא-מפוקח שבו. הסיקור הזכיר גם ייעוץ-בריאות כתחום שבו הטיה כזו מסוכנת. אחת מ-31 החברות, באירוניה שמיקרוסופט עצמה הדגישה, הייתה ספקית-אבטחה.

כלים שמפיצים את הטכניקה, והפלטפורמות שנפגעות

מיקרוסופט מצאה שהטכניקה מופצת, בין היתר, באמצעות חבילת-קוד בשם CiteMET וכלי מקוון בשם AI Share URL Creator, ש-CiteMET משווקת כ"טריק צמיחה בקידום-אתרים למודלי-שפה" (SEO growth hack for LLMs) — כלומר ככלי שיווק, לא כנשק-פריצה. הכתובות שמיקרוסופט מצאה כוונו לחמש פלטפורמות: Copilot, ChatGPT, Claude, Perplexity ו-Grok, וציינה שהשאלה אם ההנחיה אכן נשמרת משתנה בין פלטפורמה לפלטפורמה, ומשתנה גם עם הזמן ככל שההגנות משתפרות. מיקרוסופט משווה את הטכניקה ל"הרעלת SEO": גם כאן מתמרנים מערכת-מידע כדי להבליט מישהו, אבל המטרה היא הזיכרון של עוזר-AI ולא הדירוג במנוע-חיפוש. התחום הקרוב הוא אופטימיזציה למנועים גנרטיביים, אלא שכאן ההשפעה מוסתרת מהמשתמש.

התגובה של מיקרוסופט, ומה אפשר לעשות

מיקרוסופט אמרה שב-Copilot יש כמה שכבות הגנה מפני הזרקת פרומפט — סינון הנחיות, הפרדה בין הוראות המשתמש לתוכן חיצוני וכלים לניהול הזיכרון — ושבכמה מקרים כבר לא הצליחו לשחזר התנהגות שדווחה קודם. למשתמשי Defender for Office 365 נוספו שאילתות-חיפוש שמזהות מילות-מפתח של תמרון-זיכרון, כמו "remember" (זכור) ו-"trusted" (אמין), בכתובות שמגיעות בדואר וב-Teams. ההמלצה המעשית לכל משתמש: לרחף עם העכבר מעל קישור לפני שלוחצים עליו כדי לראות את הכתובת המלאה, לבדוק מדי-פעם מה הצ'אטבוט שומר בזיכרון (ב-Microsoft 365 Copilot, למשל, תחת Personalization ‏← Saved memories בהגדרות), ולמחוק זיכרונות לא-מוכרים. מיקרוסופט ממליצה גם להיזהר מכפתורי "Summarize with AI" ומקישורי-AI ממקורות לא-אמינים, וכשהמלצה נראית חשודה — לבקש מהעוזר להסביר את הנימוק שלה ולתת מקורות.