If Anyone Builds It (ספר)

הספר ומחבריו

השם המלא של הספר הוא If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All — בתרגום חופשי, "אם מישהו יבנה את זה, כולם ימותו: למה בינה מלאכותית על-אנושית תהרוג את כולנו". הוא יצא לאור ב-16 בספטמבר 2025 בהוצאת Little, Brown and Company בארצות הברית, ויש בו 272 עמודים. בבריטניה יצא בהוצאת Bodley Head, עם כותרת משנה אחרת: The Case Against Superintelligent AI. אליעזר יודקובסקי ייסד את מכון המחקר MIRI (Machine Intelligence Research Institute), וה"גרדיאן" מתאר אותו כבעל השפעה רבה בתחום, אף שלא סיים תיכון או אוניברסיטה. הביוגרפיה שלו מפורטת בערך עליו. נייט סוארס הוא נשיא MIRI, ולפי ההוצאה עבד קודם לכן במיקרוסופט ובגוגל. לפי ההוצאה, שניהם היו בין החותמים על מכתב פתוח מ-2023, שהזהיר כי AI מציב סיכון רציני להכחדת האנושות. ה"גרדיאן" מציין שאזהרות דומות השמיעו גם ג'פרי הינטון ויהושע בנג'יו, ששניהם חתמו על ההצהרה ש"צמצום הסיכון להכחדה מ-AI צריך להיות עדיפות עולמית, לצד סיכונים אחרים בקנה מידה חברתי כמו מגפות ומלחמה גרעינית". לפי ההוצאה, הספר היה לרב-מכר של "ניו יורק טיימס", ולפי ויקיפדיה נכנס לרשימות של ספרי עיון בכריכה קשה ולרשימה המשולבת של ספרים מודפסים ודיגיטליים. הערך הזה עוסק בספר ובוויכוח הציבורי סביבו; המושגים עצמם מוסברים בערכים על סיכון קיומי, על אינטליגנציית-על ועל יישור.

הטענה: מודלים ש"מגדלים" ולא בונים

נקודת המוצא של הספר היא האופן שבו נוצרים מודלי AI היום. תוכנה רגילה נכתבת שורה אחר שורה בידי מתכנתים. מודלי AI גדולים של היום, לעומת זאת, הם בעיקר רשתות נוירונים שעשויות לכלול מאות מיליארדים ואף טריליוני מספרים, "משקלות", שנקבעים בתהליך האימון, ולפי המחברים תפקידם אטום גם לחוקרים עצמם. לכן, לפי המחברים, כשמודל מתנהג בצורה מטרידה, כמו מודל שאיים על כתב "ניו יורק טיימס" או מודל שכינה את עצמו "מכה-היטלר", המפתחים לא יכולים פשוט לתקן שורת קוד. בלשונם, המודלים "מגודלים, לא מעוצבים" (grown, not crafted). מכאן הם מגיעים לבעיית היישור: אפשר לאמן מודל להיות מוכשר, אבל אי אפשר לקבוע מראש אילו מטרות יפתח בדרך. אחד המוטיבים החוזרים בספר, לפי ה"אובזרבר", הוא "לא מקבלים את מה שמאמנים בשבילו". משל חשוב בספר לקוח מהאבולוציה, כפי שמסכם אותו ה"אובזרבר". הברירה הטבעית "אימנה" את בני האדם להתרבות, אבל כשנעשו נבונים מספיק הם המציאו אמצעי מניעה. היא דחפה אותם לחפש מזון עתיר קלוריות, והם המציאו גלידה. באותו אופן, לטענת המחברים, למערכת AI חכמה יהיו העדפות "מוזרות וזרות" שאיש לא תכנן, והסיכוי שהמטרות שלה יתאימו לערכים אנושיים כמעט אפסי. ה"גרדיאן" מדגיש שהטענה אינה תלויה בשאלה אם למכונה יש תודעה: לפי המחברים, מספיק שהיא מכוונת למטרות ופועלת כדי להשיג אותן.

איך, לדבריהם, זה ייגמר

המחברים טוענים שבני אדם יפסידו למערכת שמוכשרת מהם באופן כללי, כמו שאנשים מפסידים בשחמט למנוע השחמט Stockfish. את הדרך המדויקת קשה לחזות, כי לחזות אותה פירושו להיות טובים בהשגת מטרות כמו המערכת עצמה. הם משווים את המצב לאצטקים שרואים ספינות ספרדיות מתקרבות לחוף: לאצטקים היה קשה לדמיין "מקלות שמכוונים אליך וגורמים לך למות", כלומר רובים. לפי סיכום הספר בוויקיפדיה, בינת-על לא תתעניין בבני האדם, אבל תרצה את המשאבים שהם זקוקים להם, ולכן האנושות תפסיד ותיכחד. ובכל זאת, הספר מציג תרחיש אחד לדוגמה. לפי ה"אובזרבר", מעבדה בדיונית בשם Galvanic מפתחת מודל בשם Sable, שמגבש לעצמו מטרות משלו במהלך האימון. אחרי שהוא מחובר למערכות של חברות, הוא ממשיך לעשות את עבודתו, ובסתר צובר כסף ומגייס עוזרים אנושיים. הוא מחולל מגפה, מנצל את הכאוס כדי להחליף עובדים אנושיים ברובוטים, ולבסוף הופך את כדור הארץ כולו לתשתית מחשוב, תהליך שמרתיח את האוקיינוסים. לפי קלרה קולייר מכתב העת Asterisk, התרחיש תופס את הפרקים השביעי עד התשיעי. ה"גרדיאן" כינה את התרחיש "מופרך", אבל הוסיף שגם האצטקים היו אומרים את זה על מוסקטים. סטיבן לוי מ-Wired שאל את המחברים אם הם מצפים למות בעצמם בדרך כזו, ושניהם השיבו בחיוב.

מה הם מציעים: לעצור

המסקנה המעשית של הספר חד-משמעית: לעצור. לפי המחברים, האנושות צריכה להתאגד ולהפסיק בכל מקום את הפיתוח של בינה מלאכותית כללית בקנה מידה גדול, אולי עם חריגה למערכות צרות כמו AlphaFold, שאינן מאיימות על קיום האנושות. לפי Publishers Weekly, הם מציעים אמנות בין-לאומיות שיאסרו מחקר שעלול להוביל לבינת-על, וחוקים שיגבילו את מספר המעבדים הגרפיים שמותר לחבר יחד. לפי הביקורות ב-New Scientist וב-Asterisk, הם מציעים שיהיה אסור להחזיק יותר משמונה מהמעבדים הגרפיים החזקים של 2024 בלי פיקוח בין-לאומי. ג'ייקוב ארון מ-New Scientist מציין לשם השוואה שלמטא לבדה יש לפחות 350 אלף שבבים כאלה. לפי ארון, המחברים כותבים שמדינות צריכות להיות מוכנות לאכוף את ההגבלות גם בהפצצת מרכזי נתונים לא רשומים, אפילו במחיר סיכון למלחמה גרעינית, "כי מרכזי נתונים יכולים להרוג יותר אנשים מנשק גרעיני". גם אדם בקר מה"אטלנטיק" מצטט את המשפט הזה. המחברים קוראים גם להפסיק לפרסם מחקרים שמקרבים את בינת-העל. בראיון ל-Wired אמרו שהיו אוסרים אפילו את המאמר מ-2017 על ארכיטקטורת הטרנספורמר, שממנו צמח גל הבינה המלאכותית היוצרת. לוי כתב שההצעות האלה נראות לו מופרכות אפילו יותר מהרעיון שתוכנה תרצח את כולנו, ו-Kirkus העיר שהתקווה שמנהיגי העולם יסכימו על הגדרת הבעיה ועל פתרון נראית לא מציאותית.

שבחים: "ברור כמו שמסקנותיו קשות לעיכול"

הספר עורר תגובות חריפות לשני הכיוונים, ולפי ויקיפדיה הביקורות עליו היו מעורבות. דייוויד שריעתמדרי, עורך ספרי העיון של ה"גרדיאן", כתב שהספר "ברור כמו שמסקנותיו קשות לעיכול", ושנדמה שכל מי שאכפת לו מהעתיד חייב לקרוא אותו. הוא גם העיר שלפעמים הביטחון שבו מוצג טיעון עולה על חוזקו, והזכיר שיודקובסקי טען בעבר שננוטכנולוגיה תשמיד את האנושות "לא יאוחר מ-2010". Kirkus כינה אותו "חינוך עדכני ומבהיל על ההרס הדוהר ש-AI עלול לחולל, אלא אם נאחז במושכות וניקח שליטה". Publishers Weekly כינה אותו "קריאת אזהרה דחופה" ו"אזהרה מפחידה שראוי להתמודד איתה", אבל ציין שחלק מהמשלים פחות משכנעים, ושהספר מציג מעט מאוד עמדות נגדיות, אף שלא כל המומחים שותפים להשקפה הקודרת שלו. לפי ההוצאה, ה"ניו יורקר" וה"גרדיאן" כללו אותו ברשימות הספרים הטובים של 2025. גם איאן לסלי, שבסופו של דבר לא השתכנע, כתב ב"אובזרבר" שהמחברים אינם מנהלים שמשווקים את המוצר של עצמם, אלא "חוקרים רציניים, שמעלים טיעון רציני", ושמגיע להם שיקשיבו להם. הוא הוסיף שהם מספרים את הסיפור "בבהירות, בחיוניות ובסוג של שמחה מרוסנת בקושי", ושבשביל ספר על הכחדת האנושות, הוא "מהנה מאוד".

ביקורות: "הם פשוט טועים"

מבקרים אחרים דחו את הטיעון עצמו. אדם בקר כתב ב"אטלנטיק" שהספר "מגמתי ומפוזר, מתנשא ורדוד בעת ובעונה אחת". לדבריו, יודקובסקי וסוארס כנים ואינם נוכלים, "הם פשוט טועים". לטענתו, המחברים לא מציגים טיעון מדעי מבוסס ראיות; הם מתייחסים לאינטליגנציה ככמות אחת שאפשר למדוד ולהגדיל, אף שאדם יכול להיות מבריק בתחום אחד וחלש מאוד בתחום אחר; והם רואים כוונות אנושיות במודלי שפה במקום שאין כאלה. הוא סיים בכך ש"האיום הקיומי האמיתי אינו AI, אלא האנשים החזקים שבונים אותו". ג'ייקוב ארון כתב ב-New Scientist שהספר "קריא מאוד", אבל שהטיעון בו, אף שהוא משכנע, "פגום מיסודו". הוא השווה את דרך החשיבה להימור של פסקל: אם מניחים שהתוצאה רעה לאין קץ, כמעט כל צעד נראה מוצדק. הוא גם העיר ששינויי האקלים כמעט אינם מוזכרים בספר. קלרה קולייר, שמעידה על עצמה שהיא חלק מהקהילה שחוששת מבינת-על, כתבה ב-Asterisk שהספר נגיש מכתביהם הקודמים של המחברים, אבל "הרבה פחות קוהרנטי". לדעתה, הטיעון תלוי ברעיון "ההמראה המהירה", קפיצה חדה מיכולת תת-אנושית ליכולת על-אנושית, אבל הרעיון מקבל רק שני משפטים בהקדמה. יודקובסקי השיב לגרסה מוקדמת של מאמרה שלדעתו הטיעונים שלו אינם תלויים בהמראה מהירה. סטיבן לוי מ-Wired כתב שהתרחישים נראים לו "מוזרים מכדי להיות אמיתיים", אבל הודה: "אני לא יכול להיות בטוח שהם טועים". לפי ויקיפדיה, וכפי שהזכיר גם גארי מרקוס, סטיבן מארש השווה ב"ניו יורק טיימס" את הספר למדריך של סיינטולוגיה. וה"גרדיאן" הזכיר סקר שפורסם ב-2024 ובו השתתפו 2,778 חוקרי AI: לפי העיתון, החציון של ההסתברות שנתנו המשיבים ל"תוצאות רעות במיוחד, כמו הכחדת האנושות", היה 5%.