זמן תגובה (Latency)

זמן תגובה (Latency) הוא הזמן שעובר בין שליחת בקשה למודל AI לבין קבלת תחילת התשובה — מדד קריטי במיוחד בכל יישום שדורש אינטראקציה בזמן-אמת. באופן כללי, זמן תגובה הוא פרק-הזמן שעובר בין גורם לתוצאה במערכת כלשהי, והוא מוגבל מהיסוד על ידי מהירות-האור ומהירות-ההתפשטות הפיזית של אותות — כלומר, יש לו רצפה פיזיקלית שלא ניתן לעקוף אותה בשום שיפור-תוכנה.

הגורמים לזמן תגובה ברשת כוללים כמה שכבות: זמן-שידור לאורך קווי-התקשורת, זמן-ניתוב בשערי-רשת, זמן-המתנה בתור כשחבילות-מידע ממתינות לשידור (ולעיתים "התנפחות-תור", bufferbloat, שמצטברת ומגדילה השהיות), וזמן-עיבוד בשערים עצמם. במונחים פיזיים, אור נע בסיב-אופטי בקצב של כ-5 מיקרושניות לכל קילומטר בגלל מקדם-השבירה של הכבל — כלומר מרחק גיאוגרפי מהשרת הוא גורם ממשי, לא תיאורטי, בזמן התגובה שמורגש בפועל. תקשורת-לוויין גיאוסטציונרית ממחישה את הקיצון: כרבע-שנייה למסלול-אחד, כך שתקשורת דו-כיוונית מתקרבת לחצי-שנייה.

בצ'אט טקסטואלי רגיל, זמן תגובה של שנייה או שתיים כמעט ולא מורגש. אבל בשיחה קולית חיה עם AI, אפילו השהיה קצרה מורגשת מיד כ"לא טבעית" — שיחה אנושית אמיתית כמעט ולא כוללת השהיות ארוכות בין דוברים, ולכן מוצרים כאלה שואפים בדרך כלל לזמן-תגובה של פחות מכמה מאות אלפיות-שנייה כדי לשמור על תחושת-שיחה-חיה. בתחומים אחרים הרגישות לזמן-תגובה קיצונית אף יותר: בגיימינג-מקוון זמן-תגובה איטי גורר חיסרון תחרותי ממשי, ובמסחר-פיננסי אלגוריתמי שיפור של אלפיות-שנייה בלבד במהירות-הרשת מתורגם ליתרון כלכלי מדיד. חשוב גם לדעת: מדידת זמן-תגובה בכלי כמו ping אינה תמיד מדויקת, כי פרוטוקול ה-ICMP (Internet Control Message Protocol) שעליו היא מבוססת נועד לאבחון ולא לייצג תעבורה אמיתית, ונתבים רבים מיישמים עליו מדיניות שונה מזו שהם מיישמים על תעבורת-AI ממשית.

גורמים שמשפיעים על זמן תגובה כוללים גם גודל המודל ועומס נוכחי על השירות — סיבה מרכזית לכך שספקי AI ממקמים שרתים במיקומים גיאוגרפיים מפוזרים, קרוב ככל האפשר למשתמשי-הקצה.