בדיקות-פריצה יזומות (Red Teaming)

בדיקות-פריצה יזומות (Red Teaming) הוא תהליך שבו מומחים מנסים במכוון "לשבור" מודל AI ולגרום לו להתנהג לא כשורה — כדי לגלות ולתקן חולשות לפני שמשתמשים אמיתיים (או תוקפים זדוניים) ינצלו אותן.

המונח מקורו בעולם אבטחת המידע, שבו "צוות אדום" משחק תפקיד של תוקף כדי לבחון הגנות מערכת. ב-AI, זה מתורגם לניסיונות מכוונים לעקוף מעקות בטיחות — לגרום למודל לחשוף מידע מסוכן או להתנהג באופן בלתי-צפוי, דרך ניסוח פרומפטים ערמומיים.

רוב חברות ה-AI המובילות מפעילות צוותי red teaming פנימיים, ולעיתים אף שוכרות חוקרי אבטחה חיצוניים, לפני שחרור מודל חדש לציבור הרחב — כחלק בלתי-נפרד מתהליך הבדיקה.