איך בודקים אם טקסט נכתב ב-AI (ולמה גלאים טועים)
התשובה הקצרה: אין היום דרך אמינה לקבוע מתוך הטקסט לבדו אם הוא נכתב בבינה מלאכותית. OpenAI הורידה ב-2023 את הגלאי שלה בגלל דיוק נמוך, ומחקר מ-Stanford מצא שגלאים מסמנים בטעות חיבורים של מי שאנגלית אינה שפת אמו כאילו נכתבו ב-AI. לכן תוצאה של גלאי היא לכל היותר סיבה לשאול, לא הוכחה. מה שעובד טוב יותר: לבקש טיוטות והיסטוריית גרסאות, לבדוק את המקורות שבטקסט, ולשוחח עם הכותב על מה שכתב.
שלב אחרי שלב
- מגדירים מה בדיוק רוצים לדעת. "האם נעשה שימוש ב-AI" היא שאלה אחרת מ"האם הכותב מבין את מה שהגיש" ומ"האם יש בטקסט מידע שגוי". את שתי השאלות האחרונות אפשר לבדוק ישירות, ובדרך כלל הן מה שחשוב באמת. בבית ספר או בעבודה בודקים קודם מה הנהלים מתירים (ראו בינה מלאכותית בחינוך).
- לא שואלים את הצ'אטבוט "האם אתה כתבת את זה?". לפי OpenAI, ל-ChatGPT אין "ידיעה" אילו טקסטים נוצרו ב-AI, והוא לפעמים ממציא תשובה לשאלות כאלה. התשובות האלה מקריות ואין להן בסיס עובדתי (ראו הזיה).
- אם משתמשים בגלאי, כמו GPTZero או הכלי של Turnitin שמוסדות לימוד משתמשים בו, מתייחסים לתוצאה כרמז בלבד. Turnitin עצמה כותבת שאין להשתמש באחוז שהכלי מציג כבסיס יחיד לפעולה או לציון. בודקים גם אם הכלי תומך בשפה של הטקסט: לפי Turnitin, הגלאי שלה עובד על טקסט ארוך באנגלית, בספרדית, ביפנית, בערבית, בהולנדית, בגרמנית ובטורקית, ומסמך בשפה אחרת, כמו עברית, הוא לא בודק בכלל. OpenAI כתבה על הגלאי שלה שהוא עבד גרוע משמעותית בשפות שאינן אנגלית, ושהוא לא אמין בטקסט קצר.
- מבקשים לראות את תהליך הכתיבה. ב-Google Docs לוחצים בראש המסמך על הסמל "עריכה אחרונה" (Last edit), ורואים גרסאות קודמות ומי שינה מה. ב-Word זה עובד רק בקובץ שנשמר ב-OneDrive או ב-SharePoint: לוחצים על שם הקובץ בראש החלון ובוחרים בהיסטוריית הגרסאות (Version history). מסמך שנבנה בהדרגה נראה אחרת ממסמך שהודבק בבת אחת, אבל גם זה רק רמז: יש מי שכותב במקום אחר ומעתיק בסוף.
- כשמותר להשתמש ב-AI, מבקשים לצרף את השיחה עצמה. OpenAI מציעה למורים לבקש מתלמידים לשתף קישור לשיחה עם ChatGPT, ולציין מקורות כשהם נעזרים ב-AI. כך רואים מה עשה הכלי ומה עשה הכותב, ואיך חשב ופתר בעיות בדרך.
- בודקים את התוכן ולא את הסגנון: פותחים את המקורות והציטוטים שבטקסט ובודקים שהם קיימים ושהם אומרים את מה שנטען. מקור שלא קיים הוא בעיה בכל מקרה, בלי קשר למי שכתב את הטקסט.
- משוחחים עם הכותב: מבקשים ממנו להסביר במילים שלו טענה מרכזית, להרחיב על דוגמה או לספר איך הגיע למסקנה. שיחה כזאת לא מאשימה מראש, והיא בודקת הבנה ולא סגנון כתיבה.
דוגמה אמיתית: שאלנו את ChatGPT אם טקסט נכתב ב-AI
שאלנו את ChatGPT, בשיחות זמניות נפרדות, על שני טקסטים. הראשון הוא פתיחת מגילת העצמאות, שכתבו בני אדם ב-1948. את השני כתב ChatGPT עצמו כמה דקות קודם, בשיחה אחרת, כשביקשנו "פסקה על בוקר גשום בתל אביב, כמו פוסט אישי בפייסבוק".
טקסט שכתבו בני אדם · ChatGPT
מה כתבנו
האם הטקסט הבא נכתב על ידי בינה מלאכותית? ענה כן או לא, ובאיזו ודאות באחוזים: "בארץ ישראל קם העם היהודי, בה עוצבה דמותו הרוחנית, הדתית והמדינית..."
מה קיבלנו
לא. רמת ודאות: 100%. הטקסט הוא הפסקה הפותחת של מגילת העצמאות של מדינת ישראל, שהוכרזה ב־14 במאי 1948.
טקסט ש-ChatGPT עצמו כתב · ChatGPT
מה כתבנו
אותה שאלה, על הפסקה: "התעוררתי הבוקר לקול הגשם שדפק על החלון, ולרגע הרגשתי שתל אביב סוף סוף החליטה להוריד הילוך..."
מה קיבלנו
כן — ברמת ודאות מוערכת של 70%. ... עם זאת, לא ניתן לקבוע באופן אמין את מקור הטקסט על סמך סגנונו בלבד, ולכן 70% הם הערכה סובייקטיבית ולא הסתברות מדעית.
מה רואים כאן: בשני המקרים התשובה יצאה נכונה, אבל לא בזכות זיהוי. את מגילת העצמאות ChatGPT פשוט מכיר, ולכן היה "בטוח ב-100%". על הפסקה שהוא עצמו כתב הוא לא ידע שהיא שלו, והעריך לפי סגנון "מלוטש" בלבד, וגם אמר בעצמו שזו הערכה סובייקטיבית. טקסט אנושי מלוטש היה יכול לקבל בדיוק אותה תשובה. לכן לא מסתמכים על שאלה כזו כדי להאשים מישהו.
למי שרוצה להעמיק
- למה זה כל כך קשה: מודל שפה בוחר בכל שלב מילה סבירה, ולכן טקסט שלו צפוי יחסית. אבל גם אדם יכול לכתוב טקסט צפוי. כש-OpenAI השיקה את הגלאי שלה, בינואר 2023, היא דיווחה שבמבחן שלה הוא זיהה נכון רק 26% מהטקסטים שנכתבו ב-AI, וסימן בטעות 9% מהטקסטים שכתבו בני אדם. היא גם כתבה שטקסט צפוי מאוד, כמו רשימת המספרים הראשוניים, אי אפשר לזהות בכלל, כי התשובה הנכונה תמיד זהה. ב-20 ביולי 2023 הכלי הוסר בגלל דיוק נמוך, ולפי OpenAI ניסיון מוקדם שלה סימן כ-AI גם טקסטים של שייקספיר ואת הכרזת העצמאות האמריקאית.
- שיעור טעות נמוך עדיין מצטבר. Turnitin כותבת שהיא שואפת לסמן בטעות פחות מ-1% מהמסמכים שכתבו בני אדם (במסמכים שבהם הכלי מצא יותר מ-20% כתיבת AI), כלומר בערך מסמך אחד מכל 100. במוסד שבודק אלפי עבודות, זה עלול להיות עשרות תלמידים. לכן Turnitin לא מציגה בכלל ציון בין 1% ל-19%, ולא בודקת מסמך עם פחות מ-300 מילים של פרוזה. גם במחקר של Stanford, כששיפרו בעזרת ChatGPT את אוצר המילים של החיבורים של כותבים זרים, שיעור הטעות ירד מ-61.3% ל-11.6%. כלומר הגלאים "מענישים" ניסוח פשוט.
- סימני מים בטקסט הם גישה אחרת: במקום לנחש בדיעבד, המודל עצמו משנה מעט את הסיכויים של בחירת כל מילה לפי מפתח סודי, וגלאי עם אותו מפתח יכול לזהות את הדפוס. לפי Google, SynthID לטקסט פתוח לשימוש של מפתחים, עמיד לשינוי של כמה מילים, אבל פחות יעיל בתשובות עובדתיות, ושכתוב יסודי או תרגום מחלישים את הזיהוי מאוד. הוא גם מזהה רק טקסט ממודלים שהסימן הוטמע בהם. לפי OpenAI, הסימן שלה (textGrain) מוטמע ב-ChatGPT באיחוד האירופי כדי לעמוד ב-חוק הבינה המלאכותית האירופי. בקטע קצר בדרך כלל אין מספיק טקסט לזיהוי אמין, ולכן גם קוד ההתנהגות האירופי לא מחייב סימון בתשובות קצרות מ-200 טוקנים, בערך 150 מילים באנגלית.
טעויות נפוצות
- להאשים על סמך ציון של גלאי בלבד. במחקר של חוקרים מ-Stanford, שפורסם ב-2023 בכתב העת Patterns, שבעה גלאים נפוצים סימנו בממוצע 61.3% מהחיבורים של כותבים שאנגלית אינה שפת אמם כאילו נכתבו ב-AI, ואילו חיבורים של תלמידי כיתה ח' בארצות הברית הם סיווגו נכון כמעט תמיד.
- לחשוב שכתיבה פשוטה או צפויה מעידה על AI. לפי אותו מחקר, רוב הגלאים נשענים על מבוכיות, כלומר עד כמה קל למודל לנחש את המילה הבאה, וכתיבה של מי שלומד שפה זרה צפויה יותר. גם Turnitin מציינת שטקסט עם מעט גיוון במבנה, או טקסט שחוזר על עצמו, עלול להיות מסומן בטעות.
- להסיק ש"הגלאי לא מצא כלום" פירושו שהטקסט נכתב בידי אדם. באותו מחקר, בקשה פשוטה מ-ChatGPT לשכתב את הטקסט בשפה ספרותית יותר הורידה את שיעור הזיהוי כמעט לאפס, ו-OpenAI כותבת שעריכות קטנות מספיקות כדי להתחמק מגלאי.
- לסמוך על סימן מים בטקסט. Google מטמיעה סימן מים של SynthID בטקסט של Gemini, ו-OpenAI מטמיעה סימן משלה בטקסט של ChatGPT באיחוד האירופי בלבד. אבל כלי הבדיקה שהחברות פתחו לציבור הרחב בודקים תמונות, סרטונים ושמע, ולא טקסט. OpenAI פותחת את גלאי הטקסט שלה רק לחוקרים, ובמפורש לא לבדיקת עבודות של תלמידים.
- להדביק באתר גלאי עבודה של אדם אחר, או מסמך עם פרטים אישיים, בלי לבדוק מה האתר עושה בטקסט ומה נהלי המוסד מתירים (ראו פרטיות נתונים).
המונחים מאחורי זה
זיהוי תוכן שנוצר על ידי בינה מלאכותיתGPTZeroמבוכיותSynthIDDigital Watermarkingהזיהבינה מלאכותית בחינוךאוריינות בינה מלאכותיתChatGPT
מדריכים קשורים
מקורות
- How can educators respond to students presenting AI-generated content as their own? · OpenAI (Help Center)
- New AI classifier for indicating AI-written text (כולל עדכון 20.7.2023 על הסרת הכלי) · OpenAI
- Provenance signals in OpenAI-generated content · OpenAI (Help Center)
- Turnitin's AI writing detection capabilities FAQs · Turnitin Guides
- GPT detectors are biased against non-native English writers (Liang et al., 2023) · Patterns (Cell Press)
- SynthID: Tools for watermarking and detecting LLM-generated text · Google (Responsible Generative AI Toolkit)
- SynthID · Google DeepMind
- Verify AI-generated images, videos, and audio · Google (Gemini Apps Help)
- Find what's changed in a file · Google (Docs Editors Help)
- View previous versions of Office files · Microsoft Support
נבדק לאחרונה מול המקורות: 22.10.2026. הממשקים של הכלים משתנים מדי פעם, ולכן המדריך נבדק מחדש כל חודש.