מערך נתונים (Dataset)

מערך-נתונים יכול להיות טקסטים, תמונות, הקלטות-קול, או כל סוג מידע אחר — בדרך כלל עם "תווית" נכונה מצורפת (למשל: התמונה הזו היא "חתול"), כדי שהמודל ילמד את הקשר בין הקלט לתשובה הנכונה. לא כל מערך-נתונים מתויג — כפי שנראה בהמשך, למידה לא-מפוקחת עובדת דווקא על נתונים גולמיים בלי תיוג כלל.

מערך-נתונים אחד שינה את התחום כולו: ImageNet, שיצרה החוקרת פיי-פיי לי ב-2009, כלל בסופו של דבר למעלה מ-14 מיליון תמונות מתויגות-ביד בלמעלה מ-20,000 קטגוריות — קנה-מידה שלא היה קיים קודם, ואפשר לרשתות-נוירונים להוכיח שהן עובדות טוב יותר מכל שיטה קודמת.

דוגמה מקבילה מעולם התמונות-והטקסט: LAION, מערך-נתונים ציבורי שאסף ארגון-מחקר גרמני לא-מסחרי, כולל מיליארדי זוגות תמונה-כיתוב שנאספו מהאינטרנט הפתוח — הוא זה ששימש לאימון Stable Diffusion ומודלי טקסט-לתמונה נוספים, והפך למוקד-מחלוקת מרכזי בדיוני זכויות-יוצרים סביב AI יוצר, כי חלק מהתמונות שנאספו היו מוגנות-זכויות ללא הסכמת-היוצר המפורשת.

מודלי שפה גדולים מאומנים על מערכי-נתונים עצומים עוד יותר — טריליוני מילים שנאספו מהאינטרנט, ספרים ומקורות נוספים; לשם קנה-מידה, Common Crawl לבדו, אחד ממקורות-האינטרנט הפתוחים הנפוצים ביותר לאימון, מפרסם ארכיון מצטבר של סריקות בהיקף של פטה-בייטים (כל פטה-בייט שווה למיליון ג'יגה-בייט); סריקת ספטמבר 2026 לבדה כללה 2.17 מיליארד דפי-רשת. איכות המערך (ולא רק גודלו) קובעת במידה רבה את איכות המודל הסופי — עיקרון שנקרא בתחום "זבל בפנים, זבל בחוץ": מערך-נתונים גדול אך מלא בשגיאות, כפילויות או תוכן באיכות-נמוכה יפיק מודל גרוע יותר ממערך קטן יותר אך נקי ומייצג היטב.

כשמדברים על "מערך-הנתונים" של מודל מסחרי מודרני, לרוב לא מדובר במקור-נתונים גולמי אחד אלא בתערובת מדוקדקת של עשרות מקורות שונים — טקסט אינטרנטי, ספרים, קוד, שיחות — שכל אחד מהם מקבל "משקל" שונה בתמהיל הסופי, בהתאם לניסויים שמראים איזה תמהיל מייצר את התוצאה הטובה ביותר.