מודלים ושפה
כל מה שקשור למודלי-שפה גדולים (Large Language Models) — הטכנולוגיה שמאחורי ChatGPT וכלים דומים — ולאופן שבו הם מבינים ומייצרים טקסט. הקטגוריה מכסה את הארכיטקטורה שהפכה את המודלים האלה לאפשריים (טרנספורמר ומנגנון תשומת-הלב שלו), את התהליך שהופך טקסט גולמי לקלט שמודל יכול לעבד (טוקניזציה), ואת שלבי האימון שהופכים מודל "גולמי" לעוזר שימושי ובטוח יחסית (כוונון-מונחה, למידת-חיזוק מהעדפות אנושיות ושיטות דומות). כמו כן מכוסים כאן מונחים מעשיים לשימוש יומיומי במודלים — מה זו הנדסת-פרומפט, מה ההבדל בין מודל בסיס למודל מכוון, ואילו פרמטרים משפיעים על הפלט (כמו דגימת Top-k/Top-p). זו אחת הקטגוריות הגדולות והמתפתחות ביותר באתר, כי מודלי-השפה הם הטכנולוגיה שמניעה כיום את מרבית תשומת-הלב הציבורית סביב AI — וגם התחום שבו הטרמינולוגיה משתנה הכי מהר. המונחים כאן נכתבו כך שיישארו רלוונטיים גם למי שרק מתחיל להשתמש בכלים כמו ChatGPT וגם למי שרוצה להבין את המנגנון הטכני שמאחוריהם. שימו לב שהמונחים כאן מתעדכנים באופן שוטף — שיטות אימון וגדלי-מודל שנחשבו חדשניים לפני שנה כבר עשויות להיות סטנדרט מיושן, וזה חלק בלתי-נפרד מקצב ההתפתחות של התחום.
אורך הקשר (Context Length)
אורך הקשר הוא כמות הטקסט המקסימלית (במונחי טוקנים) שמודל שפה יכול "לזכור" ולהתייחס אליה בשיחה אחת — מעבר לגבול הזה, המידע הישן ביותר "נשכח".
אחזור-מוגבר-בייצור (RAG)
אחזור-מוגבר-בייצור (RAG) היא טכניקה שבה מודל AI מחפש קודם מידע ממקור חיצוני, ורק אז בונה ממנו תשובה — כדי לצמצם הזיות ולהישען על מקורות אמיתיים.
אמת-מידה (Benchmark)
אמת-מידה (Benchmark) היא מבחן סטנדרטי שמשווה בין מודלי AI שונים על אותה משימה, כדי לדרג ביצועים באופן אובייקטיבי.
בינה מלאכותית חוקתית (Constitutional AI)
בינה מלאכותית חוקתית היא שיטת אימון שבה המודל עצמו מבקר ומתקן את תשובותיו לפי סט עקרונות כתובים ("חוקה") — פחות תלויה בדירוג אנושי ידני מאשר RLHF רגיל.
בקשה / פרומפט (Prompt)
פרומפט (Prompt) הוא הטקסט שכותבים לכלי ה-AI כדי לבקש ממנו לעשות משהו — הממשק המרכזי שדרכו משתמשים מתקשרים עם מודל שפה.
דגימת Top-k/Top-p
Top-k ו-Top-p הן שיטות לצמצם את מאגר-המילים שמודל שפה בוחר מתוכו בכל שלב — במקום לשקול את כל אוצר המילים, רק את המועמדות הסבירות ביותר.
הזיה (Hallucination)
הזיה (Hallucination) היא כשמודל AI מציג מידע שגוי או מומצא בביטחון מלא, כאילו היה עובדה — תופעה מובנית באופן שבו מודלי שפה מייצרים טקסט.
הזרקת פרומפט (Prompt Injection)
הזרקת פרומפט היא ניסיון להערים על מודל AI לפעול לפי הוראות זדוניות שהוסתרו בתוך תוכן שהמודל מעבד — למשל בתוך דף-אינטרנט או מסמך, לא בהודעת המשתמש הישירה.
הטמעה וקטורית (Embedding)
הטמעה וקטורית (Embedding) היא ייצוג של מילה, משפט או תמונה כרשימת מספרים, כדי למדוד עד כמה שני פריטים דומים במשמעותם.
הנדסת פרומפטים (Prompt Engineering)
הנדסת פרומפטים (Prompt Engineering) היא המיומנות של ניסוח פרומפטים מדויקים כדי לקבל מהמודל את התוצאה הכי טובה.
זיקוק מודל (Model Distillation)
זיקוק מודל הוא אימון מודל קטן וזול-לתפעל ("תלמיד") לחקות את ההתנהגות של מודל גדול ויקר יותר ("מורה") — מייצר מודל מהיר וקומפקטי כמעט באותה איכות.
חיפוש סמנטי (Semantic Search)
חיפוש סמנטי הוא חיפוש לפי משמעות במקום לפי התאמת-מילים מדויקת — מוצא תוצאות רלוונטיות גם כשהניסוח שונה לגמרי מהמקור.
חלון הקשר (Context Window)
חלון הקשר (Context Window) הוא כמות הטקסט שמודל שפה "זוכר" ומביא בחשבון בו-זמנית בשיחה אחת.
טוקן (Token)
טוקן (Token) הוא יחידת הטקסט הבסיסית שמודל שפה "רואה" — לרוב חלק ממילה, לא מילה שלמה.
טוקניזציה (Tokenization)
טוקניזציה היא פירוק טקסט ליחידות קטנות (טוקנים) שמודל שפה מסוגל לעבד — מילים שלמות, חלקי-מילים, או תווים בודדים, תלוי בשיטה.
טמפרטורה (Temperature)
טמפרטורה היא פרמטר שקובע כמה "יצירתי" או "צפוי" יהיה הפלט של מודל שפה — טמפרטורה נמוכה נותנת תשובות עקביות וסבירות, גבוהה נותנת תשובות מגוונות ומפתיעות יותר.
טרנספורמר (Transformer)
טרנספורמר הוא ארכיטקטורת רשת נוירונים מ-2017 שמנגנון "תשומת הלב" שלה הוא הבסיס לכמעט כל מודל שפה גדול בעולם היום.
כוונון עדין (Fine-tuning)
כוונון עדין (Fine-tuning) הוא אימון נוסף וממוקד של מודל קיים על נתונים ספציפיים, כדי להתאים אותו למשימה או תחום.
כוונון-הוראות (Instruction Tuning)
כוונון-הוראות הוא שלב אימון נוסף שמלמד מודל-שפה לעקוב אחר הוראות ולענות בפורמט שיחה מועיל — ההבדל בין מודל שרק "משלים טקסט" למודל שמרגיש כמו עוזר.
כוונון-עדין חסכוני (PEFT)
PEFT הוא שם-כולל למשפחת שיטות שמכווננות מודל גדול תוך עדכון חלק קטן בלבד מהפרמטרים שלו — LoRA היא הדוגמה הפופולרית ביותר בקטגוריה הזו.
כימות מודל (Quantization)
כימות מודל הוא הקטנת הדיוק המספרי של פרמטרי-מודל (למשל מ-32 סיביות ל-4 סיביות) — מקטין דרמטית את גודל המודל ואת דרישות הזיכרון, במחיר איבוד-דיוק קטן.
כרטיס מודל (Model Card)
כרטיס מודל הוא מסמך רשמי שמפרסמים יוצרי מודל AI, ומתאר את יכולותיו, מגבלותיו, נתוני-האימון שלו ושימושים מומלצים/אסורים — שקיפות תיעודית, בדומה לתווית-מזון.
למידה-מדוגמה-בודדת (Zero/Few-shot)
למידה-מדוגמה-בודדת (Zero/Few-shot) היא יכולת מודל לבצע משימה חדשה שהוא כלל לא אומן עליה, מתוך תיאור או דוגמאות בודדות.
מבוכיות (Perplexity)
מבוכיות היא מדד סטטיסטי למידת ה"הפתעה" של מודל שפה מול טקסט נתון — מבוכיות נמוכה משמעה שהמודל צופה את הטקסט היטב, גבוהה משמעה שהוא מתקשה לחזות אותו.
מודל אוטורגרסיבי (Autoregressive Model)
מודל אוטורגרסיבי מייצר פלט טוקן אחר טוקן, כשכל טוקן חדש נחזה על סמך כל הטוקנים שכבר נוצרו — כך פועלים רוב מודלי השפה הגדולים ביצירת טקסט.
מודל יסוד (Foundation Model)
מודל יסוד הוא מודל גדול שאומן על כמויות עצומות של נתונים כלליים, ומשמש כבסיס-משותף שממנו מכווננים מודלים ייעודיים רבים למשימות ספציפיות — במקום לאמן כל מודל מאפס.
מודל שפה גדול (LLM)
מודל שפה גדול (LLM) הוא מודל AI שאומן על כמויות ענק של טקסט ולמד לחזות את המילה הבאה ברצף — הבסיס לכלים כמו ChatGPT, Claude ו-Gemini.
מנגנון קשב (Attention Mechanism)
מנגנון קשב הוא טכניקה שמאפשרת למודל להחליט לאילו חלקים בקלט "להקדיש תשומת לב" רבה יותר בכל רגע נתון — הרעיון המרכזי שמאחורי הטרנספורמר וכל מודלי השפה המודרניים.
מסד נתונים וקטורי (Vector Database)
מסד נתונים וקטורי הוא מסד-נתונים מיוחד לאחסון וחיפוש הטמעות-וקטוריות — מאפשר "חיפוש לפי משמעות" במקום רק לפי מילים מדויקות, ומרכיב-מפתח במנגנון RAG.
משקלים פתוחים (Open Weights)
משקלים פתוחים פירושו שיוצרי מודל AI מפרסמים לציבור את הפרמטרים המאומנים עצמם — מאפשר לכל אחד להוריד ולהריץ את המודל, בשונה מגישה למודל רק דרך API סגור.
עיגון עובדתי (Grounding)
עיגון עובדתי הוא חיבור תשובת-מודל למקור-מידע אמיתי וניתן-לאימות (כמו מסמך או תוצאת-חיפוש) — במקום להסתמך רק על מה שהמודל "זוכר" מאימון, שעלול להיות לא-מדויק או מיושן.
פלט מובנה (Structured Output)
פלט מובנה הוא הכרחת מודל שפה להחזיר תשובה בפורמט קפדני-מוגדר (כמו JSON) במקום טקסט חופשי — מאפשר לתוכנות אחרות לעבד את התשובה באופן אוטומטי ואמין.
פרומפט מערכת (System Prompt)
פרומפט מערכת (System Prompt) הוא הנחיות שמוגדרות מראש למודל, לפני שהמשתמש כותב מילה, וקובעות טון וגבולות קבועים.
פריצת מודל (Jailbreak)
פריצת מודל היא ניסיון לעקוף את מגבלות-הבטיחות שהוטמעו במודל AI, כדי לגרום לו לייצר תוכן שהוא אמור לסרב לייצר — לרוב באמצעות ניסוח מתוחכם או תרחישים מדומים.
קודן-מפענח (Encoder-Decoder)
קודן-מפענח הוא ארכיטקטורת-מודל דו-חלקית: הקודן "מבין" את הקלט לייצוג פנימי, והמפענח הופך את הייצוג הזה לפלט — נפוץ במיוחד במשימות תרגום וסיכום.
קידוד מיקום (Positional Encoding)
קידוד מיקום הוא טכניקה שמוסיפה למודל מידע על סדר המילים במשפט — נחוץ כי מנגנון הקשב, בניגוד לקריאה אנושית, לא "יודע" מיקום מטבעו.
קריאה לפונקציות (Function Calling)
קריאה לפונקציות היא יכולת של מודל שפה "לבקש" להפעיל פונקציית-תוכנה חיצונית (עם פרמטרים מדויקים) במקום רק לענות בטקסט — הבסיס הטכני מאחורי סוכני AI וקריאה-לכלים.
קשב-עצמי (Self-Attention)
קשב-עצמי הוא סוג של מנגנון-קשב שבו רצף (כמו משפט) "מסתכל על עצמו" — כל מילה בוחנת את יחסה לכל מילה אחרת באותו רצף, כדי לבנות ייצוג עשיר-הקשר.
רב-מודלי (Multimodal)
רב-מודלי (Multimodal) מתאר מודל AI שיכול לקבל ולייצר יותר מסוג תוכן אחד בו-זמנית — למשל גם טקסט, גם תמונות, גם קול.
תאריך-קיטוע-ידע (Knowledge Cutoff)
תאריך-קיטוע-ידע הוא התאריך שבו הסתיים איסוף נתוני-האימון של מודל שפה — כל אירוע שקרה אחריו, המודל פשוט לא "יודע" עליו מהאימון עצמו.
תמהיל מומחים (Mixture of Experts)
תמהיל מומחים הוא ארכיטקטורת-מודל שבה רק חלק קטן מרשת ענקית "מופעל" לכל קלט נתון — מאפשרת מודלים גדולים מאוד בלי לשלם את מלוא עלות-החישוב על כל טוקן.
BPE (קידוד-זוגות-בתים)
BPE הוא אלגוריתם הטוקניזציה הנפוץ ביותר במודלי שפה מודרניים — בונה מילון-טוקנים על ידי מיזוג הדרגתי של הזוגות הנפוצים ביותר של תווים או חלקי-מילים.
DPO (אופטימיזציית העדפה ישירה)
DPO היא שיטה מודרנית וחסכונית יותר מ-RLHF לכוונן מודל לפי העדפות אנושיות — משיגה תוצאה דומה בלי הצורך לאמן מודל-תגמול נפרד ותהליך למידת-חיזוק מורכב.
LoRA (התאמה-נמוכת-דרגה)
LoRA היא שיטה חסכונית לכוונון-עדין של מודל גדול — במקום לעדכן את כל מיליארדי הפרמטרים, מוסיפה רק "תוספת" קטנה ומאומנת, ומקפיאה את שאר המודל.
RLHF (למידת-חיזוק מהעדפות אנושיות)
RLHF הוא שלב אימון שמכוונן מודל שפה לפי דירוגי-העדפה של בני-אדם — במקום ללמד "תשובה נכונה" יחידה, מלמד את המודל אילו תשובות אנשים מעדיפים.