למידת-העברה (Transfer Learning)

במקום לאמן מודל חדש לגמרי מאפס לכל משימה, לוקחים מודל שכבר למד ייצוגים כלליים-שימושיים ממשימה גדולה (למשל זיהוי-תמונות כללי), ומכווננים אותו במהירות למשימה ספציפית וצרה יותר.

הדוגמה הבולטת ביותר היום: מודלי-שפה כמו (GPT — Generative Pre-trained Transformer), וכן (BERT — מודל-שפה דו-כיווני של Google), מאומנים תחילה על משימה כללית-יחסית (חיזוי-המילה-הבאה בטקסט עצום), ורק אחר-כך מכווננים במהירות ובעלות נמוכה יחסית למשימות ספציפיות — סיווג-רגשות, מענה-על-שאלות, תרגום — במקום לאמן מודל נפרד מאפס לכל משימה כזו.

למידת-העברה חשובה במיוחד ברפואה, שבה נתונים מתויגים תמיד נדירים ויקרים: רשת-קונבולוציה שאומנה תחילה על מיליוני תמונות כלליות מ-ImageNet (חתולים, מכוניות, רהיטים) יכולה להיות מכווננת אחר-כך על כמה אלפי תמונות-רנטגן בלבד ולזהות סימני-מחלה בדיוק גבוה — למרות שמעולם לא ראתה תמונה רפואית בשלב-הלמידה המקורי שלה. הרשת "למדה" בפועל לזהות קווים, טקסטורות וצורות באופן כללי, ומיומנות כזו מתגלה שימושית גם בתחום רחוק לגמרי מהמקור.

זו הסיבה שרוב מודלי ה-AI המסחריים היום לא מאומנים מאפס — כוונון-עדין (Fine-tuning) של מודל-יסוד קיים הוא צורה נפוצה של למידת-העברה, וחוסך משאבי-חישוב עצומים לעומת אימון מלא. מגבלה חשובה: כשהמשימה החדשה שונה-מדי מהמשימה המקורית (למשל, מודל שלמד על טקסט אנגלי מנסים להעביר ישירות לשפה שכמעט אין לה נתונים דומים), התועלת מלמידת-ההעברה פוחתת דרמטית — התופעה נקראת "העברה שלילית" (Negative Transfer), כשהידע הקודם דווקא מפריע במקום לעזור. בגלל זה בחירת "מודל-הבסיס" הנכון להתחיל ממנו — לא רק "הגדול ביותר" או "החדש ביותר" — היא החלטה הנדסית משמעותית בפני עצמה, ולא רק פרט טכני שולי בתהליך.