הבעיה: לאף חיישן בודד אין תמונה שלמה
היתוך חיישנים (Sensor Fusion) הוא צירוף נתונים מכמה חיישנים או מקורות שונים לתמונת-מצב אחת, שאי-הוודאות בה קטנה מזו שהיו מספקים המקורות בנפרד. הצורך בו נובע מכך שאין חיישן מושלם: לידאר מודד מבנה מרחבי אך אינו קורא צבע או שילוט, מצלמה קוראת אותם אך אומדת מרחק בעקיפין, ומכ"ם עמיד לגשם ולערפל. Waymo מנסחת זאת במפורש — אף סוג חיישן אינו יכול לספק לבדו את רמת-הפירוט הזו בכל תנאי-ההפעלה.
שלושה מערכים: מתחרה, משלים ומשתף-פעולה
נהוג להבחין בין שלוש דרכים להציב חיישנים יחד. במערך מתחרה, או עודף, כל חיישן מספק מדידה עצמאית של אותה תכונה עצמה — והצירוף מקטין רעש וחושף תקלה בחיישן אחד. במערך משלים כל מקור מספק מידע אחר על אותם מאפיינים, כמו לידאר ומצלמה המביטים באותו הולך-רגל. ובמערך משתף-פעולה נוצר מכמה חיישנים עצמאיים מידע שלא היה זמין מאף חיישן בודד — למשל אומדן עומק משתי מצלמות המוצבות זו לצד זו.
מסנן קלמן: האלגוריתם שעשה את זה לתחום
אחד הכלים הוותיקים בתחום הוא מסנן קלמן — אלגוריתם שמקבל סדרת מדידות לאורך זמן, ובכללן רעש סטטיסטי ואי-דיוקים אחרים, ומפיק מהן הערכות של גדלים לא-ידועים הנוטות להיות מדויקות יותר מהערכות המבוססות על מדידה בודדת. הוא קרוי על שמו של רודולף א. קלמן; השיטה תוארה ופותחה בחלקה בשלושה מאמרים טכניים בין 1958 ל-1961, ומאמרו של קלמן עצמו הוא מ-1960, ורעיונותיו שולבו במחשב-הניווט של תוכנית אפולו. לצידו משמשים רשתות בייסיאניות, תורת דמפסטר-שייפר, רשתות עצביות קונבולוציוניות ותהליכים גאוסיים.
איפה זה עובד: מניווט לוויני ועד מוניות-רובוט
היישום הוותיק הוא ניווט. בשילוב של איכון לוויני (GPS) עם מערכת ניווט אינרציאלית כל אחד מכסה את חולשת השני: הלוויין מדויק אך עלול להיחסם, והמערכת האינרציאלית זמינה תמיד אך נסחפת. בנהיגה אוטונומית משמש ההיתוך כדי לצרף את המידע העודף מחיישנים משלימים ולקבל ייצוג מדויק ואמין יותר של הסביבה. במערכת הדור החמישי של Waymo, למשל, פועלים לידאר בטווח של יותר מ-300 מטרים ומצלמות שמזהות הולכי-רגל ותמרורי-עצור במרחק של יותר מ-500 מטרים, וכיסוי החיישנים חופף בכוונה.
מה עדיין קשה: להתאים בין החיישנים ולסנכרן אותם
ההיתוך אינו פעולה טכנית פשוטה. סקירה מ-2022 שבחנה יותר מ-50 מאמרים על שילוב לידאר ומצלמה מונה שלושה קשיים חוזרים: רעש בנתונים הגולמיים, ניצול חסר של המידע שכבר נאסף, וחוסר-התאמה בין חיישנים מסוגים שונים. אפשר להמחיש את הקושי האחרון בפשטות: שני חיישנים מודדים את אותו רגע ממקום מעט אחר ובתזמון מעט אחר, וכדי לדעת ששניהם מדברים על אותו עצם צריך לתרגם את שניהם למערכת-צירים אחת ולשעון אחד.
לא רק חיבור מדידות: שלבי מודל JDL
כדי לתאר את מה שקורה אחרי החיבור עצמו מקובל מודל-שלבים בשם JDL: רמה 0 — יישורם של הנתונים; רמה 1 — הערכת ישויות, כלומר מעקב אחר עצמים וזיהוים; רמה 2 — הערכת מצב; רמה 3 — הערכת השלכות; רמה 4 — שיפור התהליך, ובכללו ניהול החיישנים; ורמה 5 — שיפור מצד המשתמש. החלוקה ממחישה שההיתוך אינו נגמר בשאלה מה נמצא שם, אלא ממשיך אל השאלה מה המצב ומה צפוי לקרות בעקבותיו.