AI על-המכשיר (Edge AI)

AI על-המכשיר (Edge AI) הוא הרצת מודל AI ישירות על הטלפון, המחשב, או מכשיר אחר של המשתמש — בלי לשלוח מידע לשרת חיצוני בענן כלל. המונח נגזר מ"מחשוב-קצה" (edge computing), גישה שהחלה להתפתח כבר בשנות ה-90 עם רשתות-הפצת-תוכן שהגישו תוכן-אתרים ווידאו משרתים קרובים-פיזית למשתמש, במקום ממרכז-נתונים מרוחק אחד; בתחילת שנות ה-2000 היא התרחבה לשירותים נוספים כמו איתור-סניפים ועגלות-קניה בזמן-אמת, עד שהתגבשה לתחום עצמאי לפני שהתחום הספציפי של AI-על-המכשיר צמח מתוכה.

היתרונות המרכזיים: פרטיות גבוהה יותר (המידע לעולם לא עוזב את המכשיר), זמן תגובה מהיר יותר (אין השהיית-רשת), ויכולת עבודה גם ללא חיבור אינטרנט כלל. שימושים נפוצים כוללים זיהוי-פנים, זיהוי-דיבור מקומי (כשרק הטקסט המתומלל, לא האודיו עצמו, נשלח הלאה כדי לחסוך רוחב-פס) ומערכות-נהיגה-אוטונומית שחייבות להגיב במהירות-מכרעת, בלי יכולת להמתין ולו לשבריר-שנייה לתשובה משרת מרוחק.

המגבלה המרכזית: מכשירים אישיים, גם החזקים ביותר, פשוט לא מסוגלים להריץ מודלים ענקיים כמו מודלי השפה הגדולים המובילים — ולכן AI על-המכשיר מוגבל בדרך כלל למודלים קטנים ופשוטים יותר יחסית, שעברו כיווץ (quantization: הקטנת דיוק-המספרים הפנימיים של המודל כדי לחסוך זיכרון וחישוב) לצורך כך.

זווית ישראלית: חברת Hailo, שהוקמה בתל אביב בפברואר 2017, מתמחה בדיוק בשבבים ייעודיים ל-Edge AI. השבב הראשון שלה, Hailo-8, הושק במאי 2019 ומיועד בעיקר למשימות ראייה-ממוחשבת במצלמות ורכבים; שבב-ההמשך Hailo-15, ממרץ 2023, זכה בפרס בתערוכת CES (Consumer Electronics Show) 2024. החברה הגיעה למעמד "חד-קרן" (שווי מיליארד דולר) בסיבוב גיוס Series C באוקטובר 2021, בהיקף של 136 מיליון דולר, ונוסף לכך סיבוב-הרחבה נוסף באפריל 2024 בהיקף 120 מיליון דולר — עדות לכך שתחום ה-Edge AI, שנחשב פעם נישתי לעומת ה-AI מבוסס-הענן, הפך לזירה עסקית משמעותית בפני עצמה.