מסימולציה למציאות (Sim-to-Real)

למה בכלל מאמנים רובוטים בסימולציה

מסימולציה למציאות (Sim-to-Real) הוא אימון רובוט בסימולציה ממוחשבת ולאחר-מכן העברת ההתנהגות שנלמדה לרובוט הפיזי — מהלך שנתקל בפער בין העולם המדומה למציאות. המניע ברור: אימון בעולם האמיתי איטי, יקר ומסוכן, ורובוט שנופל שובר את עצמו. בסימולציה אפשר להריץ אלפי ניסיונות במקביל, מהר מזמן-אמת, בלי לשלם על נזק. הצורך חריף במיוחד בלמידת חיזוק, שבה מדיניות טובה נלמדת מתוך כמות עצומה של ניסוי וטעייה.

הכלים: מנועי-פיזיקה וסימולטורים נפוצים

הסימולטור עצמו מבוסס על מנוע-פיזיקה שמחשב כוחות, חיכוך והתנגשויות. בין הכלים הנפוצים בתחום נמנים Gazebo, Webots ו-CoppeliaSim, ובבסיסם מנועים כמו Bullet, ODE, PhysX ו-MuJoCo. שני היתרונות המובהקים של הסימולציה הם זמינות בלתי-מוגבלת של נתוני-אימון ובטיחות מלאה. ויקיפדיה מציינת שיישום שפותח בסימולציה ניתן לעיתים להעביר לרובוט פיזי כמעט ללא שינוי, וכי הדבר חוסך עלויות והשבתה של קו-ייצור — אך גם מדגישה את הגבול: פעולות שמסתמכות על קריאות חיישנים רגעיות קשות בהרבה לסימולציה, משום שהתנועה תלויה במה שנמדד באמת ברגע נתון.

פער המציאות (Reality Gap) ומקורותיו

הפער הזה מכונה "פער המציאות". מקורותיו מגוונים: מקדם חיכוך שאינו מדויק, רעש בחיישנים, מגע בין גופים רכים, תאורה משתנה, וסטייה קטנה במשקל או במידות שלא מופיעה בקובץ התכנון. מדיניות שהצליחה בהדמיה עלולה להיכשל לחלוטין על החומרה, ולעיתים תלמד לנצל אי-דיוק של הסימולטור — התנהגות שאין לה מקבילה בעולם.

חמש אסטרטגיות לגישור הפער

סקירה מ-2020 מאת ונשואי ז'או, חורחה פניה קוראלטה ותומי וסטרלונד, שהוצגה בכנס IEEE SSCI של אותה שנה, ממיינת את שיטות ההתמודדות לחמש קבוצות: אקראיזציה של המרחב — שינוי מכוון של פרמטרי הסימולציה כדי לאמן מדיניות שעמידה לשונות; התאמת-מרחב (Domain Adaptation) — למידה ישירה של הפער בין תמונות מדומות לתמונות אמיתיות, כך שרשת-נוירונים 'מתרגמת' פלט-סימולציה לכזה שנראה כאילו צולם במצלמה אמיתית; למידה בחיקוי, שבה הרובוט מחקה הדגמות אנושיות במקום ללמוד מאפס בניסוי-וטעייה; מטא-למידה, שמאמנת מדיניות להסתגל מהר לסביבה חדשה מתוך מעט דוגמאות בלבד; וזיקוק ידע, שבו מדיניות גדולה שאומנה בסימולציה 'מלמדת' מדיניות קטנה ויעילה יותר שתרוץ על מעבד הרובוט עצמו. הרעיון המשותף פשוט: אם הסימולציה אינה מדויקת, לפחות שתהיה מגוונת מספיק כדי שהמציאות תיראה כמו עוד אחת מגרסאותיה.

קנה-המידה החדש: סימולציה מקבילה על GPU

בשנים האחרונות נוסף לזה ממד שלישי: קנה-המידה של הסימולציה עצמה. הסימולטור NVIDIA Isaac Gym מריץ את הפיזיקה ואת אימון-הרשת-העצבית יחד על אותו מעבד-גרפי (GPU), בלי להעביר נתונים דרך המעבד הראשי, ולפי מפתחיו זה מניב שיפור של שני עד שלושה סדרי-גודל בזמן-אימון לעומת סימולטור מבוסס-מעבד רגיל. ב-2021 הדגימו חוקרים מ-ETH ציריך ומ-NVIDIA את התוצאה בפועל: מדיניות-הליכה לרובוט ANYmal על קרקע ישרה אומנה תוך פחות מארבע דקות, ועל קרקע לא-אחידה תוך עשרים דקות בלבד, בהרצה מקבילה של אלפי עותקים מדומים של הרובוט על תחנת-עבודה בודדת. זו לא עוד שיטת-גישור על הפער אלא תשתית שמאפשרת להריץ הרבה יותר ניסויים-בסימולציה על כל שיטת-גישור, ובכך לצמצם בעקיפין גם את התלות בדיוק המושלם של המודל הפיזיקלי.

מה עדיין קשה: מגע, גמישות וחומרים רכים

גם אחרי עשור של שיפורים, סימולציה נשארת חלשה יחסית במשימות שתלויות במגע עדין ובחומרים לא-קשיחים: אחיזה של חפץ שגודלו או משקלו אינו ידוע במדויק, קיפול-בד, או מניפולציה של מזון ונוזלים — כל אלה קשה במיוחד לדגמן במנוע-פיזיקה, כי ההתנהגות הפיזית שלהם רגישה למשתנים רבים בו-זמנית. בגלל זה משימות מסוג הליכה ותנועה בחלל פתוח עוברות היום מסימולציה למציאות בהצלחה גבוהה יחסית, בעוד משימות-אחיזה עדינות נשענות עדיין במידה רבה יותר על אימון ישיר על החומרה. הפער מצטמצם בחלקו: מאמר מ-2024 על מודל שמחבר ראייה, שפה ופעולה (VLA) הדגים קיפול-בד ופינוי שולחן מנתוני-אימון אמיתיים ולא ממעבר-סימולציה.

יותר קנה-מידה לא מייתר את הגישור

חשוב לא לבלבל בין שני הממדים: קנה-המידה של הסימולציה (כמה ניסיונות אפשר להריץ בכל שנייה) וגישור-הפער בינה לבין המציאות (כמה שהתנהגות נלמדת שרדה את המעבר) הם שני צירים נפרדים, לא אותה בעיה. הרצה של אלפי עותקים מדומים במקביל על GPU מאיצה כל אחת מחמש האסטרטגיות שמומנת ב-2020, אבל לא פוטרת אותן: אם המודל הפיזיקלי עצמו לא לוכד נכון חיכוך, מגע-רך או תאורה, גם אלף מונים יותר ניסיונות מדומים לא יסגרו את הפער — הם רק מאפשרים לחקור טווח-שונות רחב יותר, מהר יותר, בתוך אותה סימולציה לא-מושלמת.