LoRA (התאמה-נמוכת-דרגה)

מודלים ושפה

כוונון-עדין מלא דורש עדכון (ואחסון עותק) של כל פרמטרי המודל — יקר מאוד למודלים ענקיים. LoRA מקפיאה את המודל המקורי לגמרי, ומוסיפה לו רק שכבות-קטנות-חדשות שמאומנות בנפרד.

כך אפשר להתאים מודל ענק למשימה ספציפית תוך אימון (ואחסון) רק אחוז זעיר מהפרמטרים המקוריים — מה שהופך כוונון-עדין למעשי גם בלי משאבי-חישוב של חברת-ענק.