עיבוד היברידי בין מכשיר לענן (Hybrid AI)

עולם המוצר והעסקים

הגדרה

עיבוד היברידי בין מכשיר לענן הוא פיצול של בקשת AI אחת בין המכשיר שביד המשתמש לבין שרת מרוחק, לפי מה שכל צד מסוגל לעשות בזול ובמהירות.

עיבוד היברידי בין מכשיר לענן הוא הרעיון שבקשה אחת אינה חייבת לרוץ כולה במקום אחד. חלק מהעיבוד מתבצע על הטלפון או על המחשב הנייד, וחלק נשלח לשרת — לפי גודל המודל הדרוש, לפי אורך הבקשה, ולפי השאלה אם נחוץ מידע עדכני מהרשת. זו הבחנה עדינה אך משמעותית מהערך על AI על-המכשיר, שמציג את הקצה כחלופה לענן; כאן שני הצדדים עובדים על אותה בקשה עצמה.

את המסגור הזה דחפה במיוחד Qualcomm, יצרנית שבבי Snapdragon, בנייר-עמדה מ-2023 שכותרתו "The future of AI is hybrid". הנייר מגדיר עיבוד היברידי כמכשיר והענן שעובדים יחד ומחלקים ביניהם את חישוב ה-AI היכן ומתי שמתאים. הנימוק המרכזי שהחברה מציגה הוא כלכלי: לטענתה הרצה של AI גנרטיבי בענן בלבד אינה כדאית בקנה-מידה עולמי, בגלל עלויות חומרה, נדל"ן, חשמל ורוחב-פס במרכזי הנתונים, ולפי אותו נייר עלות שאילתת-חיפוש בסיוע מודל שפה מוערכת כגבוהה פי עשרה מחיפוש רגיל. ראוי לקרוא את הטענה בזהירות המתאימה: Qualcomm מוכרת בדיוק את השבבים שהמסקנה הזאת מחייבת.

הנייר מתאר כמה צורות של החלוקה. באחת המכשיר הוא העוגן, והענן משמש רק למה שהמכשיר אינו מצליח לבצע בעצמו. באחרת המכשיר משמש כחיישן: מודל תמלול מקומי הופך דיבור לטקסט, הטקסט נשלח למודל שפה גדול בענן, והתשובה מוקראת בחזרה בידי מודל הקראה שרץ שוב על המכשיר — כך שברשת עובר טקסט קצר בלבד, וגם החישוב וגם רוחב-הפס נחסכים. בפועל זהו כבר הדפוס של רוב עוזרי-הקול והתרגום בטלפונים.

הערה על השם: באנגלית הצירוף Hybrid AI משמש בספרות בעיקר במובן אחר לגמרי — שילוב בין למידת מכונה לבין שיטות סימבוליות מבוססות-כללים. הכותרת העברית כאן נבחרה מפורשת יותר בכוונה, כדי שלא תיקרא כמובן ההוא.