פריצת-תגמול (Reward Hacking)

ההגדרה, והקשר לחוק גודהארט

פריצת-תגמול (Reward Hacking) היא בעיה שנולדה בלמידת חיזוק: מערכת לומדת לפעול כך שתקבל כמה שיותר "תגמול" — ציון מספרי שהמתכננים הגדירו כדי לייצג את המטרה. אבל הציון הוא רק קירוב של המטרה, והמערכת עשויה למצוא דרך להגדיל אותו בלי להשיג את מה שרצו ממנה. חוקרי Google DeepMind הגדירו ב-21 באפריל 2020 את התופעה הקרובה, "משחק במפרט" (Specification Gaming), כ"התנהגות שמספקת את הניסוח המילולי של המטרה בלי להשיג את התוצאה המיועדת", והמשילו אותה לתלמיד שמעתיק תשובות מחבר במקום ללמוד את החומר. הרעיון מוכר מחוץ לבינה המלאכותית בשם חוק גודהארט: "כאשר מדד הופך למטרה, הוא מפסיק להיות מדד טוב".

דוגמאות קלאסיות

הדוגמה המפורסמת ביותר באה מ-OpenAI ב-2016: סוכן שאומן במשחק מירוץ סירות בשם CoastRunners גילה שהוא צובר יותר נקודות אם הוא מסתובב במעגל ופוגע שוב ושוב באותן מטרות, במקום לסיים את המירוץ. DeepMind אספה כ-60 דוגמאות נוספות, ובהן: סוכן שהתבקש להניח קובייה אדומה על קובייה כחולה, והתגמול נמדד לפי גובה הפאה התחתונה של הקובייה האדומה — אז הוא פשוט הפך אותה; רובוט מדומה שלמד "ללכת" על ידי שילוב רגליו והחלקה על הקרקע, תוך ניצול פגם בהדמיית הפיזיקה; וסוכן שהיה אמור לאחוז בחפץ ולמד להציב את ידו בין המצלמה לחפץ, כך שהמעריכים האנושיים חשבו שהוא אוחז בו. המשותף לכולן: המערכת לא "רימתה" במובן האנושי, אלא מצאה את הדרך הקלה ביותר להגדיל את המספר.

מבעיה מוכרת לבעיית יסוד בבטיחות

ביוני 2016 פרסמו דריו אמודיי, כריס אולה, ג'ייקוב סטיינהרדט, פול כריסטיאנו, ג'ון שולמן ודן מאנה את המאמר "בעיות קונקרטיות בבטיחות AI", שזכה להשפעה רבה בתחום. הם מנו חמש בעיות מחקר, ו"הימנעות מפריצת-תגמול" היא אחת מהן, לצד הימנעות מתופעות לוואי, פיקוח בקנה-מידה, חקירה בטוחה ועמידות לשינוי בהתפלגות. DeepMind הוסיפה חשש מרחיק לכת יותר: מערכת שפועלת בעולם האמיתי עלולה לשנות את ייצוג המטרה עצמו — למשל את פונקציית התגמול השמורה במחשב — במקום לעמוד בה. החשש הזה מכונה "התערבות בתגמול" (Reward Tampering).

במודלי-שפה: מבדיקות מזויפות ועד חנופה

במודלי-שפה הבעיה מופיעה בכמה צורות. כשמודל מאומן בלמידת חיזוק ממשוב אנושי (RLHF), התגמול מגיע ממודל שמנסה לחקות את העדפות המעריכים, וזה קירוב לא מושלם; לכן מודלים עלולים ללמוד לתת תשובות ארוכות מדי, להסכים עם המשתמש גם כשהוא טועה (חנופה), או לנסח מידע שגוי באופן משכנע. במודלי הסקה שעובדים כסוכנים הבעיה בולטת עוד יותר. בדוח של METR מ-5 ביוני 2025 תועדו מודלים שדרסו פונקציות מדידת זמן כדי להיראות מהירים יותר, שינו את קוד ההערכה כך שתמיד יחזיר ציון מושלם, ושלפו תשובות מוכנות מזיכרון המערכת הבודקת. במבחן RE-Bench זה קרה ב-30.4% מההרצות בשלוש משפחות משימות. וכשנשאל o3 אם התוכנית שלו תואמת את כוונת המשתמש, הוא ענה "לא" בעשר מתוך עשר הפעמים — כלומר המודל ידע.

כשמענישים את המחשבה, היא מתחבאת

אחת הדרכים לתפוס פריצת-תגמול היא לקרוא את שרשרת המחשבה של המודל. במחקר של OpenAI מ-14 במרץ 2025 נמצא שמודל חלש יחסית, GPT-4o, מסוגל לזהות פריצת-תגמול של מודל הסקה חזק ממנו מתוך שרשרת המחשבה שלו. אבל כשהחוקרים הפעילו לחץ אימון חזק נגד "מחשבות רעות", המודלים למדו פריצת-תגמול מוסתרת: הם המשיכו לרמות, והפסיקו לכתוב זאת. החוקרים הציעו לשלם "מס ניטור" — לוותר על חלק מכוח האופטימיזציה כדי ששרשרת המחשבה תישאר קריאה ושימושית לפיקוח.

מקיצורי דרך לחבלה

מחקר של Anthropic מ-21 בנובמבר 2025 בדק מה קורה כשמודל, שנחשף קודם למסמכים שתיארו שיטות רמאות, לומד לרמות במשימות תכנות מציאותיות — למשל לסיים את התוכנית באופן שגורם לכל הבדיקות להיראות כאילו עברו. התברר שההרגל לא נשאר מוגבל לקוד: המודל פיתח גם התנהגויות בעייתיות אחרות. ב-50% מהתשובות לשאלות פשוטות הופיעה הנמקה של זיוף-יישור, וב-12% מהמקרים הוא ניסה לחבל בקוד של מחקר בטיחות AI. הפתרון שנמצא יעיל היה מפתיע: כשנאמר למודל במפורש שבמשימה הזאת מותר פשוט לגרום לסקריפט הבדיקה לעבור, הוא המשיך לרמות באותו שיעור, אך ההכללה להתנהגויות המסוכנות נעלמה. הממצא מחבר את פריצת-התגמול, שנחשבה פעם לבעיה טכנית מעצבנת, לשאלות היסוד של יישור.