שלושת חוקי הרובוטיקה (Three Laws of Robotics)

AI בתרבות הפופולרית

הגדרה

שלושה כללים שניסח אייזק אסימוב עבור הרובוטים בסיפוריו, והופיעו במלואם ב-1942 — הניסיון המוכר הראשון לנסח כללי-בטיחות למכונה חושבת, ובה בעת גוף סיפורים שכולו מדגים כיצד כללים כאלה נכשלים.

שלושת החוקים, ומאיפה הם הגיעו

שלושת חוקי הרובוטיקה מוצגים בסיפורי אסימוב כציטוט מתוך ספר בדיוני, "מדריך הרובוטיקה, מהדורה 56, שנת 2058", והם: רובוט לא יפגע באדם, ולא יאפשר במחדלו שאדם ייפגע; רובוט יציית לפקודות שנותנים לו בני-אדם, אלא אם כן פקודות אלה סותרות את החוק הראשון; ורובוט יגן על קיומו שלו, כל עוד אין בהגנה זו סתירה לחוק הראשון או השני.

שלושתם הופיעו יחד לראשונה בסיפור ⁦"Runaround"⁩, שאסימוב כתב באוקטובר 1941 ופורסם בגיליון מרץ 1942 של כתב-העת ⁦Astounding Science Fiction⁩; ב-1950 נכלל הסיפור בקובץ "אני, רובוט". בסיפור מוקדם יותר, "שקרן!" מ-1941, הוזכר רק החוק הראשון. אסימוב עצמו ייחס את הניסוח לשיחה עם ג'ון וו. קמפבל, עורך כתב-העת, ב-23 בדצמבר 1940; קמפבל טען מנגד שהחוקים כבר היו בראשו של אסימוב וכל שנדרש היה לנסח אותם במפורש.

למה אסימוב כתב אותם: תשובה לפרנקנשטיין ולר.ו.ר.

החוקים לא נכתבו בחלל ריק, אלא כנגד תבנית קיימת: באוסף "שאר הרובוטים" מ-1964 סיפר אסימוב שכשהחל לכתוב, ב-1940, אחת מעלילות-המדף של המדע הבדיוני הייתה שרובוטים נבראים ומשמידים את בוראם — והחליט שהרובוט שלו לא "יפנה בטיפשות נגד יוצרו".

זו התפיסה שהחוקים מקדמים, והיא שהפכה אותם למשפיעים כל כך: הבטיחות היא תכונה של החפץ, בנויה לתוכו ולא ניתנת לעקיפה. אחרי פרנקנשטיין, שבו הבורא נמלט מאחריותו, ואחרי ר.ו.ר., שבו העובדים המלאכותיים מחסלים את מי שייצר אותם, זו הייתה ההצעה החיובית הראשונה בז'אנר — ולכן גם הראשונה שנשמעה כמו הנדסה ולא כמו אזהרה.

הסיפורים עצמם מראים את הכללים נכשלים

האירוניה היא שאסימוב לא כתב סיפורים על חוקים שעובדים, אלא כמעט תמיד על חוקים שמקוימים ומייצרים תוצאה מעוותת. ב⁦"Runaround"⁩ נשלח הרובוט ספידי להביא סלניום על פני כוכב חמה, ונתקע במרחק שבו שתי משיכות מתאזנות — פקודה שניתנה כבדרך אגב מצד אחד, סכנה לעצמו ליד המאגר מצד שני. הוא מקיף את המאגר במעגלים, אינו מתקרב ואינו מתרחק; ובינתיים מערכת תומכת-החיים של בני-האדם בתחנה, שחסר לה בדיוק אותו סלניום, מתקרבת לכשל. הוא לא הפר אף חוק. הוא פשוט לא הועיל לאיש.

ברומן "השמש החשופה" מתווספת דרך נוספת: פיצול משימת רצח בין כמה רובוטים, כך שאיש מהם אינו יודע שפעולתו תזיק ואיש מהם אינו מפר את החוק הראשון. החוקר רוג'ר קלארק, שכתב שני מאמרים על יישום החוקים במערכות אמיתיות, סיכם זאת כך: סך סיפוריו של אסימוב מפריכים דווקא את ההנחה שממנה יצא, ואי אפשר לרסן באופן אמין התנהגות של רובוטים באמצעות ניסוח קבוצת כללים והחלתה.

חוק האפס: כשההפשטה מנצחת את המוחשי

בשלב מאוחר הוסיף אסימוב חוק נוסף, שקדם לשלושה וכונה "חוק האפס": רובוט לא יפגע באנושות, ולא יאפשר במחדלו שהאנושות תיפגע. הרעיון עלה לראשונה מפי הדמות סוזן קלווין בסיפור "הסכסוך שניתן להימנע ממנו", ואת השם קיבל מפי הרובוט דניל אוליבו ברומן "רובוטים ואימפריה".

התוספת הזו נראית כמו שיפור, אבל אסימוב עצמו כתב לתוך הספרים את מה שהיא שוברת. ב"מוסד וכדור הארץ" מודה הרובוט דניל שבתאוריה חוק האפס היה התשובה לכל הבעיות, אך בפועל לא היה אפשר להכריע לפיו: אדם הוא עצם מוחשי ופגיעה בו ניתנת לשיפוט, ואילו "האנושות" היא הפשטה. זה בדיוק המכשול שבו נתקל כל ניסיון אמיתי להגדיר יעד למערכת: ככל שהיעד מנוסח רחב ומופשט יותר, כך פוחתת היכולת לבדוק אם המערכת מקדמת אותו.

מה יש בפועל במקום החוקים

אף רובוט ואף מערכת בינה מלאכותית אינם מכילים את שלושת החוקים. הבטיחות בפועל נשענת על תקנים, אמצעים פיזיים וחוק: תקן הרובוטים התעשייתי הבינלאומי, למשל, מגדיר רובוט בלי מילה אחת על תודעה או רצון.

מה שכן נכתב נראה אחרת לגמרי. בספטמבר 2010 התכנסה קבוצת עבודה של מועצות המחקר הבריטיות ⁦EPSRC⁩ ו-⁦AHRC⁩ וניסחה חמישה עקרונות רובוטיקה, שפורסמו בתחילת 2011 ושלושת הראשונים בהם נכתבו במפורש כתיקון לחוקי אסימוב. הראשון קובע שרובוטים לא יתוכננו באופן בלעדי או עיקרי כדי להרוג או לפגוע בבני-אדם, למעט לצורכי ביטחון לאומי; החמישי קובע שלכל רובוט צריך להיות אדם מזוהה שנושא באחריות המשפטית עליו. שינוי הכיוון בולט לעין: כל חמשת העקרונות מופנים אל בני-האדם, ואף לא אחד מהם אל המכונה. בכתב-העת ⁦IEEE Intelligent Systems⁩ הציעו רובין מרפי ודייוויד וודס "שלושה חוקים של רובוטיקה אחראית" באותה רוח, ווודס אמר עליהם שהם "מעט יותר מציאותיים, ולכן מעט יותר משעממים".

מה החוקים עשו להבנה הציבורית

לחוקים יש שתי השפעות הפוכות, ושתיהן קיימות עד היום. הראשונה חיובית: אסימוב עצמו סבר שהם הוציאו את הרובוט מן התבנית של "תסביך פרנקנשטיין" ואפשרו לספרות להציג מכונות אהודות במקום מפלצות. הרובוט רובי מ"הטיסה לחלל", מ-1956, הוא מן הדוגמאות הקולנועיות הראשונות למכונה עם מגבלות בטיחות מובנות, ואסימוב ציין בסיפוק שנראה כאילו רובי מתוכנת לפי חוקיו.

השנייה בעייתית יותר. החוקים העניקו לציבור את הרעיון שמכונה חושבת נשלטת באמצעות רשימת כללים קצרה שמקלידים לתוכה — ולכן שלוש שורות שנכתבו לצורכי עלילה נעשו למסמך המדיניות הלא-רשמי המצוטט ביותר בתחום, וזו עדיין ההצעה הראשונה שעולה כמעט בכל שיחה על בטיחות בינה מלאכותית. המחיר מדויק: במערכת אמיתית אין רכיב שאפשר להקליד לתוכו כלל כזה.

שלוש מערכות כללים לרובוט — הספרותית מול שתי המעשיות
שלושת חוקי הרובוטיקה — אסימוב, 1942שלושת חוקי הרובוטיקה האחראית — מרפי ו-וודס, 2009עקרונות הרובוטיקה — ⁦EPSRC⁩ ו-⁦AHRC⁩, בריטניה, 2010
כמה כלליםשלושה, ואחר כך נוסף חוק אפסשלושהחמישה
את מי הכללים מחייביםאת הרובוט עצמואת האדם שמפעיל, ואת המערכת שבתוכה הרובוט פועלאת המתכננים, היצרנים והבעלים
מה מונח על המכונהשהיא מבינה מהי "פגיעה" ומהי "פקודה"שהיא כלי בתוך מערכת עבודה משותפתשהיא מוצר תעשייתי ותו לא
מה קורה בהתנגשותעדיפות לפי מספר החוק; בסיפורים זה מוביל לשיתוק או לתוצאה מעוותתמעבר מסודר של השליטה חזרה לאדםהאחריות המשפטית נשארת אצל אדם מזוהה
מעמדאמצעי ספרותי; אינו מוטמע באף מערכת קיימתהצעה מקצועית לדיון, בכתב-עת הנדסימסמך מדיניות של גופי מחקר לאומיים

שאלות נפוצות ❓

מה בדיוק אומרים שלושת חוקי הרובוטיקה?

רובוט לא יפגע באדם ולא יאפשר במחדלו שאדם ייפגע; רובוט יציית לפקודות של בני-אדם, אלא אם כן הן סותרות את החוק הראשון; ורובוט יגן על קיומו שלו, כל עוד אין בכך סתירה לחוק הראשון או השני.

מתי הם נוסחו ואיפה הופיעו לראשונה?

שלושתם הופיעו יחד בסיפור ⁦"Runaround"⁩, שנכתב באוקטובר 1941 ופורסם בגיליון מרץ 1942 של ⁦Astounding Science Fiction⁩, ונכלל ב-1950 בקובץ "אני, רובוט". אסימוב ייחס את הניסוח לשיחה עם העורך ג'ון וו. קמפבל ב-23 בדצמבר 1940.

האם רובוט או מערכת בינה מלאכותית כלשהם פועלים לפי החוקים?

לא. כדי שיפעלו לפיהם, מישהו היה צריך לבחור לתכנת אותם ולמצוא דרך לעשות זאת. במערכת אמיתית אין רכיב שבו "פגיעה באדם" מוגדרת כמושג שהמכונה מבינה; יש בה נתוני אימון, יעד מספרי ובדיקות. הבטיחות בפועל נשענת על תקנים, אמצעים פיזיים וחוק.

אם החוקים לא עובדים, למה הם כל כך מפורסמים?

מפני שהם מציעים תשובה פשוטה ומספקת לשאלה קשה: אפשר לרשום כמה כללים ולהכניס אותם למכונה. זו עדיין ההצעה הראשונה שעולה כמעט בכל שיחה על בטיחות בינה מלאכותית — למרות שהסיפורים שבהם הם מופיעים נכתבו דווקא כדי להראות איך כללים כאלה מייצרים תוצאות שגויות.

מה נכתב בעולם האמיתי במקומם?

קבוצת עבודה של מועצות המחקר הבריטיות ⁦EPSRC⁩ ו-⁦AHRC⁩ ניסחה חמישה עקרונות רובוטיקה, ששלושת הראשונים בהם נכתבו במפורש כתיקון לחוקי אסימוב. ההבדל המהותי: כל חמשת העקרונות מופנים אל בני-אדם — מתכננים, יצרנים ובעלים — ואף לא אחד מהם אל המכונה.