מה זו מכונת ספוט
מכונת ספוט (Spot Instance) היא קיבולת-מחשוב פנויה שספק-הענן אינו זקוק לה כרגע, והוא מציע אותה למכירה במחיר מוזל במקום להשאיר אותה חסרת-שימוש. אמזון מגדירה זאת כגישה לקיבולת-מחשוב עודפת ב-EC2 במחיר מוזל משמעותית לעומת מחיר-הרשימה הרגיל (On-Demand). שלושת ספקי-הענן הגדולים מציעים גרסה של המודל הזה, וההיגיון הכלכלי זהה אצל כולם: קיבולת שלא נמכרת שווה יותר במחיר-הנחה מאשר לא נמכרת בכלל.
ההנחה: עד 90% מהמחיר הרגיל
אמזון מפרסמת חיסכון של עד 90% במחיר מכונות-ספוט לעומת מחיר On-Demand הרגיל לאותו סוג-מכונה. זו הנחה גבוהה משמעותית מהנחת-ההתחייבות-מראש (Reserved Instances), שמגיעה עד כ-72% תמורת התחייבות לשנה או לשלוש שנים — כלומר מכונת-ספוט מוזילה יותר מכל מודל-תמחור אחר בענן, בלי שום התחייבות מצד הרוכש.
הסיכון: התראה של שתי דקות בלבד
המחיר הנמוך מגיע עם תנאי: כשספק-הענן זקוק לקיבולת בחזרה, הוא רשאי להפסיק את המכונה כמעט מיידית. אצל אמזון ההתראה היא בדיוק שתי דקות מרגע קבלת התראת-ההפסקה ועד סגירת המכונה בפועל — לא שעות ולא ימים. המשמעות היא שמכונת-ספוט מתאימה רק לעומס שיודע לשמור נקודות-ביקורת (checkpoints) ולהתאושש מהפסקה פתאומית, לא לעומס שחייב לרוץ ברצף בלי הפרעה.
שלוש דרכי-רכישה מקבילות
ענן ציבורי מציע בדרך-כלל שלוש דרכי-תמחור מקבילות: On-Demand — תשלום מלא בלי התחייבות ובלי סיכון-הפסקה; שמורה (Reserved) — הנחה קבועה של עד כ-72% תמורת התחייבות לשנה עד שלוש שנים; וספוט — ההנחה הגבוהה ביותר, עד 90%, בלי שום התחייבות אבל עם סיכון-הפסקה מיידי. שלוש האפשרויות משרתות סוגי-עומס שונים לגמרי: ודאות-זמינות, ודאות-מחיר, או מחיר-מינימלי בתמורה לחוסר-וודאות.
למה זה רלוונטי לאימון AI
עומסי-אימון של מודלי-AI מתאימים היטב למכונות-ספוט, מכיוון שרבים מהם ניתנים לחלוקה למשימות-משנה שאפשר להריץ מחדש אם הן נקטעות, ולא דורשים זמינות-רציפה של אותה מכונה לאורך כל תהליך-האימון. עלות-חומרת-GPU היא אחת ההוצאות הגדולות ביותר באימון מודלים בקנה-מידה, ולכן חברות רבות משלבות מכונות-ספוט לצד מכונות רגילות, כדי לצמצם עלות בלי לוותר על כל הקיבולת הדרושה.
מתי לא להשתמש בספוט
מכונת-ספוט אינה מתאימה לעומס שחייב זמינות-רציפה — הרצת-מודל בייצור שפונה ישירות ללקוחות, לדוגמה, כי הפסקה-פתאומית של שתי דקות תפגע בשירות בזמן-אמת. גם משימות שאי-אפשר לחלק לנקודות-ביקורת, כמו עיבוד-נתונים ארוך בלי שמירת-מצב-ביניים, מסתכנות באובדן-עבודה מלא בכל הפסקה. הכלל המעשי: ככל שהעומס סובלני יותר להפסקה ולחוסר-רצף, כך התאמתו למכונות-ספוט גבוהה יותר.