P(doom) (הסתברות לאבדון)
הגדרה
P(doom) הוא מונח-סלנג מקהילת בטיחות הבינה המלאכותית, המציין הערכה סובייקטיבית — לרוב באחוזים — של ההסתברות שפיתוח בינה מלאכותית יוביל לאסון קיומי לאנושות.
מקור המונח וההקשר התרבותי
המונח "P(doom)" — סימון מתמטי לביטוי "ה-P (probability, הסתברות) של ה-doom (אבדון)" — צמח כסלנג פנימי בקהילת הרציונליזם ובקהילת בטיחות-הבינה-המלאכותית, ומקורו מיוחס לפי מילון Wiktionary לפורום הדיונים LessWrong בסביבות 2010. שנים רבות נותר שימושו מצומצם לחוגי-מחקר קטנים, כקיצור-דרך לתמצת עמדה מורכבת במספר יחיד — לא כטענה שמדובר בהסתברות סטטיסטית מבוססת-נתונים במובן המקובל של המילה. היוצר-המדויק של המונח אינו ידוע בוודאות.
הזינוק לשיח הציבורי ב-2023
לפי ערך P(doom) בוויקיפדיה, השימוש במונח קפץ מחוגי-מחקר סגורים לשיח הציבורי הרחב ב-2023, בעקבות שחרור GPT-4 והתבטאויות פומביות של חוקרים בכירים כמו ג'פרי הינטון ויושוע בנג'יו על סיכוני בינה מלאכותית. סקר אקדמי בין-לאומי של 2,778 חוקרי-בינה-מלאכותית, שערכו קייטיה גרייס ושותפיה (Grace et al.) ויצא לאור ב-Journal of Artificial Intelligence Research, מצא הסתברות ממוצעת של 14.4 אחוזים וחציונית של 5 אחוזים להכחדת-אנושות או לתוצאה חמורה-ובלתי-הפיכה-דומה, תוך 100 שנה — נתון שממחיש כמה רחב הפער בין המשיבים לשאלה עצמה.
טווח ההערכות: מאפס-מוחלט לוודאות-כמעט
ההערכות שדמויות-מפתח בתעשייה ובאקדמיה מציגות בפומבי משתרעות על טווח עצום: אליעזר יודקובסקי, ממקימי תנועת בטיחות-ה-AI, ציין הסתברות של מעל 95 אחוזים, ורומן ימפולסקי ציין טווח של 99.9 עד כ-99.999999 אחוזים. פול כריסטיאנו והולדן קרנופסקי, שניהם חוקרי-בטיחות בולטים, ציינו כל אחד סביב 50 אחוזים; דריו אמודיי, מנכ"ל Anthropic, נקב בטווח של 10 עד 25 אחוזים. מרק אנדריסן ציין 0 אחוזים, ויאן לה-קון, לשעבר מטא, ציין פחות מ-0.01 אחוזים — הפער עצמו הפך לחלק מהביקורת על שימושיות המונח.
הביקורת על המונח
מבקרי המונח טוענים שהוא יוצר רושם-מדעי מטעה: מדובר בהערכה סובייקטיבית-לחלוטין, ללא בסיס-נתונים סטטיסטי מוסכם, וללא הגדרה אחידה למה בדיוק נחשב "אבדון", לאיזה טווח-זמן, ובאיזו הנחה לגבי קצב הפיתוח העתידי של בינה מלאכותית כללית. עם זאת, המונח ממשיך להופיע בכנסים מקצועיים, בראיונות עיתונאיים ואפילו בספרים על עתיד הבינה המלאכותית, כקיצור-דרך שגור ונוח לפתיחת שיחה על סיכון קיומי מבינה מלאכותית.
📬 הגיליון השבועי של Wiki-AI
פעם בשבוע, ביום ראשון: שלושת הדברים החשובים שקרו בעולם הבינה המלאכותית, בעברית פשוטה, וערכים חדשים באנציקלופדיה. לגיליונות
שאלות נפוצות ❓
מאיפה בא המונח P(doom)?
צמח כסלנג פנימי בקהילת הרציונליזם ובקהילת בטיחות-הבינה-המלאכותית, עם מקור מיוחס לפורום הדיונים LessWrong בסביבות 2010 — לפני שקפץ לשיח הציבורי הרחב ב-2023.
מה ההסתברות הממוצעת שחוקרי AI נותנים לאסון קיומי?
לפי סקר חוקרי-AI מ-2023, ההסתברות הממוצעת הייתה 14.4 אחוזים, וההסתברות החציונית 5 אחוזים, להכחדת-אנושות או לתוצאה חמורה-דומה תוך 100 שנה.
מי מציג את ההסתברויות הגבוהות והנמוכות ביותר?
בין הגבוהים: אליעזר יודקובסקי (מעל 95%) ורומן ימפולסקי (עד כ-99.999999%). בין הנמוכים: מרק אנדריסן (0%) ויאן לה-קון (פחות מ-0.01%).
האם P(doom) הוא מדד מדעי מבוסס-נתונים?
לא — זו הערכה סובייקטיבית-לחלוטין, ללא בסיס-נתונים סטטיסטי מוסכם וללא הגדרה אחידה למה נחשב "אבדון" ולאיזה טווח-זמן, וזו הביקורת המרכזית על שימושיות המונח.