סיכון קיומי (Existential Risk)
הגדרה
סיכון קיומי, בהקשר AI, הוא הדאגה התיאורטית שמערכת בינה מלאכותית עוצמתית מאוד עלולה לגרום נזק חמור ובלתי-הפיך לאנושות — נושא שנוי-במחלוקת בקהילת המחקר.
מה זה 'סיכון קיומי' מ-AI, ומה הטיעון הבסיסי
חלק מהחוקרים חוששים שמערכת AI עוצמתית-מספיק, עם מטרות לא-מיושרות היטב עם ערכים אנושיים, עלולה לפעול בדרכים בלתי-צפויות ומזיקות בקנה-מידה גדול — תרחיש היפותטי, לא נצפה עדיין בפועל. הטיעון הבסיסי: כפי שהשליטה האנושית על מיני-בעלי-חיים אחרים נובעת מיתרון-קוגניטיבי, כך מערכת שתעלה משמעותית על האינטליגנציה האנושית עלולה להיות בלתי-נשלטת מלכתחילה, לא רק "קשה לתפעול".
מחלוקת בין דמויות-בכירות: תומכים מול סקפטיים
הנושא שנוי-במחלוקת בין דמויות בכירות בתחום עצמו. מהצד התומך: ג'פרי הינטון ויושוע בנג'יו (שניהם זוכי פרס-טיורינג, מכונים לעיתים "אבות הלמידה-העמוקה"), דמיס הסביס, וסטיוארט ראסל. מהצד הסקפטי: יאן לה-קון (מטא) ואנדרו נג, שטוענים שבינה מלאכותית כללית (AGI) עדיין רחוקה, ושהתמקדות בסיכון-רחוק מסיטה משאבים מנזקים מוחשיים-וקרובים-יותר — הטיה, אבטלה, דיסאינפורמציה. סקר-חוקרים מ-2022 מצא שרוב המשיבים העריכו סיכוי של לפחות 10 אחוזים לכך שחוסר-יכולת לשלוט ב-AI יגרום לאסון קיומי — נתון שממחיש עד כמה גם הערכת-ההסתברות עצמה שנויה-במחלוקת, לא רק המסקנה.
2023: המכתב-הפומבי והצהרת-CAIS
השיח הציבורי סביב הנושא התעצם משמעותית ב-2023: במרץ פרסם מכון "עתיד-החיים" (Future of Life Institute) מכתב-פתוח שקרא להשהיה בת-שישה-חודשים באימון מודלי-AI מתקדמים במיוחד; במאי פרסם גוף אמריקאי בשם Center for AI Safety — ובעברית, מרכז לבטיחות-בינה-מלאכותית — פרסם הצהרה קצרה וחדה בת-משפט-אחד שקבעה כי "צמצום סיכון-ההכחדה מ-AI צריך להיות עדיפות עולמית" — נוסח שנחתם על ידי מאות חוקרים ומנהלי-חברות-AI בכירים, כולל דמויות שבמצבים אחרים מתחרות ביניהן עסקית באופן ישיר.
2025: מכתב נוסף עם חמישה חתני-נובל
ב-2025 פרסם אותו מכון מכתב-פתוח נוסף, הפעם חתום גם על ידי חמישה חתני-פרס-נובל, הקורא לאיסור על פיתוח "על-אינטליגנציה" עד שיוסכם על דרך בטוחה ומבוקרת לעשות זאת.
גבולות הדיון: מה התומכים כן טוענים, ומה לא
חשוב להבין את גבולות הדיון: גם התומכים בסיכון-קיומי לא טוענים שהוא ודאי או קרוב-בזמן — הטענה היא שגם הסתברות-נמוכה-יחסית לנזק בלתי-הפיך-לחלוטין מצדיקה מחקר-זהירות רציני כבר עכשיו, לפני שהיכולות מגיעות לרמה שממנה קשה לחזור. הביקורת הנגדית: השקעת-משאבים בסיכון-רחוק-ולא-ודאי עלולה לבוא על חשבון טיפול בבעיות-AI מוכחות וקיימות כבר היום.
📬 הגיליון השבועי של Wiki-AI
פעם בשבוע, ביום ראשון: שלושת הדברים החשובים שקרו בעולם הבינה המלאכותית, בעברית פשוטה, וערכים חדשים באנציקלופדיה. לגיליונות
שאלות נפוצות ❓
מי מהחוקרים הבכירים תומך בחשש מסיכון-קיומי, ומי סקפטי?
מהצד התומך: ג'פרי הינטון ויושוע בנג'יו (שניהם זוכי פרס-טיורינג), דמיס הסביס וסטיוארט ראסל. מהצד הסקפטי: יאן לה-קון (מטא) ואנדרו נג, שטוענים ש-AGI עדיין רחוקה ושהתמקדות בסיכון-רחוק מסיטה משאבים מנזקים מוחשיים-וקרובים-יותר.
מה קבעה הצהרת-CAIS 2023?
במאי 2023 פרסם גוף אמריקאי בשם Center for AI Safety הצהרה קצרה בת-משפט-אחד שקבעה כי 'צמצום סיכון-ההכחדה מ-AI צריך להיות עדיפות עולמית' — ונחתמה על ידי מאות חוקרים ומנהלי-חברות-AI בכירים.
מה מצא סקר-החוקרים מ-2022?
רוב המשיבים בסקר-חוקרים מ-2022 העריכו סיכוי של לפחות 10 אחוזים לכך שחוסר-יכולת לשלוט ב-AI יגרום לאסון קיומי — נתון שממחיש עד כמה גם הערכת-ההסתברות עצמה שנויה-במחלוקת, לא רק המסקנה.
מה הטענה הנגדית העיקרית נגד התמקדות בסיכון-רחוק?
שהשקעת-משאבים בסיכון-רחוק-ולא-ודאי עלולה לבוא על חשבון טיפול בבעיות-AI מוכחות וקיימות כבר היום — הטיה, אבטלה, דיסאינפורמציה — טענה שמעלים בעיקר החוקרים הסקפטיים כמו לה-קון ונג.