תולעת ה-AI (Morris II)

ההגדרה: פרומפט שמשכפל את עצמו

תולעת ה-AI (Morris II) היא שם שניתן במחקר אקדמי מ-2024 לשרשרת-תקיפה שמדגימה איך הזרקת הוראות דרך מסמך חיצוני יכולה להפוך לתולעת-ממש בתוך אקוסיסטם של יישומי-GenAI. התוקף מכין פרומפט-יריבי עצמי-משכפל: קטע-טקסט שגורם למודל שמעבד אותו לא רק לבצע פעולה זדונית, אלא גם להעתיק את אותו הפרומפט עצמו לפלט שהוא מפיק. אם הפלט הזה מוזן בהמשך למערכת-GenAI נוספת — למשל כשעוזר-דואר אחד שולח מייל שעוזר-דואר אחר יקרא ויעבד — ההוראה הזדונית ממשיכה לקפוץ מיישום ליישום בלי שאף משתמש הקליד אותה בעצמו ובלי שהוא לחץ על דבר. המנגנון הזה מכונה 'אפס-קליקים' (Zero-click): הדבקה שלמה בלי כל מעורבות אנושית בדרך. לפי המאמר, המתקפה מכוונת ליישומים שמתקשרים זה עם זה דרך 'שליפה מועשרת' (RAG) — כלומר שולפים מידע ממאגר חיצוני כדי להרכיב את התשובה — כי שם התוכן שהמודל שולף עלול להיות הפרומפט המורעל.

המחקר שהוליד אותה

את התולעת תיארו לראשונה סתיו כהן, בן נאסי ורון ביטון במאמר בשם 'Here Comes The AI Worm: Unleashing Zero-click Worms that Target GenAI-Powered Applications'. המאמר הוגש לארכיב המחקרי arXiv ב-5.3.2024, וקיבל גרסה מתוקנת ב-30.1.2025. בגרסה הראשונה רשומים כהן ונאסי ב-Cornell Tech בניו יורק (כהן גם בטכניון), וביטון ב-Intuit בפתח תקווה; בגרסה המתוקנת כהן ונאסי רשומים בטכניון. לפי הגרסה המתוקנת של המאמר, הניסויים נעשו על עוזרי-דואר מבוססי-GenAI שהחוקרים בנו בעצמם מעל מסגרת-הקוד LangChain, עם מסד-הדוא"ל הציבורי Enron לבחינת-ההתפשטות — ולא מול מוצרים מסחריים קיימים, כדי, כלשונם, להימנע משליחת תולעת אל העולם האמיתי. את יציבות ההתפשטות הם בדקו בכמה תנאים שונים: גודל-ההקשר שהמודל רואה, סוג המודל, ניסוח-הפרומפט עצמו, אלגוריתם-ההטמעה (embedding) שמשמש לשליפת-המידע, ומספר 'הקפיצות' שהתולעת עברה בין יישומים. לפני הפרסום הציבורי העבירו החוקרים את הממצאים ל-LangChain, ל-OpenAI ול-Google, במסגרת תוכניות-bug-bounty שלהן.

למה 'Morris II': ההקשר ההיסטורי

החוקרים בחרו לקרוא לתולעת שלהם Morris II במכוון, על-שם תולעת מוריס — התולעת שהתפשטה באינטרנט המוקדם בשנת 1988, ונחשבת לתולעת-האינטרנט הראשונה. את התולעת המקורית כתב רוברט טאפן מוריס, אז תלמיד-מחקר לדוקטורט בקורנל. שתי התולעים חולקות יותר מהשם: שתיהן מדגימות עד כמה רשת מקושרת-היטב מעבירה קוד בין צמתים בלי שאף אחד מהם ביקש את זה. אבל יש גם הבדל-יסוד ביניהן: תולעת מוריס המקורית ניצלה פרצות קונקרטיות בתוכנת-רשת כמו Sendmail ו-fingerd; Morris II אינה מנצלת פרצת-תוכנה כלל, אלא את הדרך שבה מודל-שפה מעבד טקסט — חוסר-היכולת שלו להבחין בין תוכן-שהוא קורא לבין הוראה שהוא צריך לבצע. בגרסה הראשונה של המאמר החוקרים מסבירים את השם בכך ששתי התולעים פותחו בידי סטודנטים בקורנל.

ההדגמה בפועל: טקסט, תמונה ומודלים

בגרסה הראשונה של המאמר (מרץ 2024) הודגמה המתקפה מול Gemini Pro, ‏ChatGPT 4.0 ומודל שפה-ותמונה בשם LLaVA, בשני ערוצים נפרדים: קידוד הפרומפט בטקסט של מייל, וקידודו בתוך תמונה מצורפת — כך שהדבקה יכולה לקרות גם בלי שאף טקסט זדוני נראה לעין. בגרסה הזו הודגמו שתי יכולות-נזק: שליחת ספאם לנמענים נוספים, וגניבת מידע אישי מתוך תיבת-הדואר הנגועה. בגרסה המתוקנת (ינואר 2025) הניסויים נעשו בטקסט בלבד: הפרומפט העצמי-משכפל הופעל בעיקר דרך Gemini 1.5 Flash, ובניסויים נוספים נבדקו גם GPT-4o Mini, ‏Gemini 1.5 Pro ו-Claude 3.5 Sonnet, תחת כמה אלגוריתמי-הטמעה שונים כמו Text-Embedding-004 של Google ושלוש גרסות של GTE. בגרסה המתוקנת הוצג גם מנגנון-הגנה בשם Virtual Donkey, שנועד לזהות ולחסום את התפשטות הפרומפט המשוכפל; לפי המאמר, הוא הגיע לשיעור-גילוי מלא (1.0) ולשיעור-התרעות-שגויות של 1.5 אחוזים בלבד.

הבהרה חשובה: הדגמה במעבדה, לא תקרית מתועדת בעולם האמיתי

לפי כתבה ב-GovInfoSecurity (ISMG) מ-5.3.2024, החוקרים ציינו במפורש שהם 'ערכו את הניסוי בסביבת מעבדה בלבד'. גם IBM כותבת באתרה שתולעת Morris II 'לא נראתה בעולם האמיתי', ושההדגמה בוצעה בסביבה מבוקרת. המחקר עצמו תומך בזה: החוקרים בחרו לבנות יישום משלהם ולא לתקוף מוצר קיים, בדיוק כדי שלא ליצור תולעת פעילה בפועל, ולכן גם לא בדקו את המתקפה מול יישומי-דואר מסחריים קיימים. במקורות שנבדקו לערך זה לא נמצא דיווח על מקרה שבו Morris II, או תולעת-AI דומה לה, פעלה מחוץ למעבדה.

למה זה חשוב למי שמחבר יישומי-AI זה לזה

החשיבות של Morris II אינה בפרצה ספציפית שצריך לתקן, אלא בהדגמה של סיכון-מערכתי: כל עוד יישום-GenAI אחד יכול לקרוא תוכן שיישום-GenAI אחר הפיק — דרך שליפה-מועשרת, תור-הודעות, או כל צינור-אוטומטי אחר — הוא חשוף להזרקת הוראות דרך מסמך חיצוני שמגיעה לא מאדם אלא ממודל-AI אחר. זו הסיבה שהעקרונות שמתוארים בערכים גבולות הרשאה לסוכן AI ומעקות בטיחות — הפרדה בין קריאה לכתיבה, אישור אנושי לפעולה חיצונית, ותיעוד שמאפשר לזהות התפשטות מוקדם — רלוונטיים גם כשאף אדם לא לחץ על דבר. ככל שיותר עוזרי-AI מחוברים זה לזה בשרשראות אוטומטיות, כך גדל גם מספר-הצמתים שתולעת מהסוג הזה יכולה לעבור ביניהם.