דגימת Top-k/Top-p

Top-k מגביל את הבחירה ל-k המילים הכי-סבירות (למשל 40) ומתעלם מהשאר. Top-p (המכונה גם "דגימת גרעין") לוקח את קבוצת המילים הקטנה ביותר שהסתברותן המצטברת חוצה סף מסוים (למשל 90%) — גמיש יותר מ-k קבוע.

שיטת ה-Top-p הוצגה במאמר מ-2019 שהראה כי בחירה עקבית של המילה הסבירה-ביותר בכל שלב ("דגימה חמדנית") מייצרת טקסט משעמם וחוזר-על-עצמו, ואילו דגימה אקראית-לגמרי מייצרת טקסט לא-קוהרנטי — Top-p נועד לאזן בין שני הקצוות הללו.

שתי השיטות נועדו למנוע מהמודל לבחור מילים נדירות-מדי ולא-קוהרנטיות, תוך שמירה על מגוון סביר — ולעיתים קרובות משולבות יחד עם טמפרטורה כדי לכוונן במדויק את "אישיות" הפלט.

בפועל, כלי-AI לשיחה משתמשים כמעט תמיד בשילוב: טמפרטורה נמוכה יחסית יחד עם Top-p גבוה (למשל 0.9) נותנים תוצאה עקבית-אך-לא-משעממת עבור משימות עובדתיות, בעוד טמפרטורה גבוהה יותר וTop-p מוגמש נועדים למשימות יצירתיות (כתיבת סיפור, סיעור-מוחות) שבהן מגוון ומקוריות חשובים יותר מדיוק חד-משמעי. הבחירה הזו לרוב מוסתרת מהמשתמש הרגיל מאחורי מתג "יצירתיות" פשוט, אך ממשקי-מפתחים (API) חושפים אותה כפרמטרים מתכווננים בנפרד — ברוב הכלים המסחריים כיום ברירת-המחדל היא שילוב של כמה שיטות דגימה יחד, לא רק אחת מהן.

במקרה הקיצוני ההפוך — טמפרטורה אפס, בלי דגימה כלל — הפלט הופך לדטרמיניסטי לחלוטין: אותו פרומפט בדיוק יניב תמיד בדיוק את אותה תשובה, כי המודל תמיד בוחר את המילה הכי-סבירה. גישה כזו שימושית למשימות שדורשות שחזוריות מדויקת (כמו בדיקות-תוכנה אוטומטיות), אך פחות מתאימה לשיחה טבעית שרוצים שתרגיש חיה ומגוונת בכל פעם מחדש — וזו הסיבה שרוב הצ'אטבוטים הצרכניים אינם מציעים ברירת-מחדל דטרמיניסטית, גם כשהיא זמינה טכנית דרך ה-API.