תפוקה מוקצית (Provisioned Throughput)

עולם המוצר והעסקים

הגדרה

תפוקה מוקצית היא רכישה מראש של קיבולת-עיבוד קבועה אצל ספק מודל, בתשלום לפי שעה ובלי תלות בכמות הטוקנים שנוצלה בפועל.

תפוקה מוקצית היא רכישה מראש של קיבולת-עיבוד קבועה אצל ספק מודל, בתשלום לפי שעה ובלי תלות בכמות הטוקנים שנוצלה בפועל. בפריסה סטנדרטית קיבולת ההסקה משותפת בין לקוחות והתפוקה עשויה להשתנות עם הביקוש; בפריסה מוקצית מוחזקת ללקוח כמות עיבוד קבועה לשימושו הבלעדי, בין אם נשלחות בקשות ובין אם לא. זו התשובה המקובלת לשני קשיים שמודל התשלום-לפי-שימוש משאיר פתוחים — הוצאה חודשית שקשה לחזות, ולצידה זמן תגובה שמשתנה עם עומס.

יחידת-המדידה אצל Microsoft Foundry נקראת PTU, ראשי-תיבות של Provisioned Throughput Unit. המכסה אינה קשורה למודל מסוים — אותה מכסת-יחידות משמשת לפריסת מודלים שונים — אבל מספר הטוקנים לדקה שיחידה אחת מספקת תלוי במודל: מודל כבד דורש יותר יחידות כדי לספק אותה תפוקה, ולכל מודל יש מינימום יחידות משלו. החיוב הוא תעריף שעתי לפי מספר היחידות שנפרסו, ללא תלות בטוקנים שנצרכו, והמונה מתחיל כשהפריסה נוצרת ונעצר כשהיא נמחקת.

שתי מלכודות מתועדות. הראשונה: מכסה אינה קיבולת. המכסה היא תקרה מנהלית ללא עלות, והקיבולת היא מה שבאמת זמין באזור באותו רגע — היא משתנה במהלך היום, ופריסה שנמחקת משחררת אותה בחזרה בלי הבטחה לקבל אותה שוב. השנייה: התחייבות ארוכה, שמוזילה את התעריף השעתי, אינה מבטיחה קיבולת בעצמה; התיעוד ממליץ ליצור פריסה ולוודא שיש קיבולת לפני רכישת ההתחייבות.

המנגנון אינו ייחודי לספק אחד. ב-Amazon Bedrock נמכרת התפוקה ב"יחידות מודל", בחיוב שעתי, עם בחירה בין ללא התחייבות, חודש או שישה חודשים — וככל שההתחייבות ארוכה יותר, המחיר השעתי מוזל יותר; מודל מותאם-אישית שם מחייב רכישת תפוקה מוקצית כדי להשתמש בו בכלל. וכשהתעבורה גולשת מעבר לקיבולת שנרכשה, הבקשות נכשלות בקוד 429 — אלא אם הוגדרה גלישה אוטומטית לפריסה סטנדרטית לצידה.