TF-IDF — ניקוד שנותן משקל גבוה למילה נדירה ונמוך למילה נפוצה

הבעיה: איך למדוד חשיבות של מילה בלי רק לספור אותה

כל מנוע חיפוש, וכל מערכת שצריכה להשוות בין מסמכי טקסט, זקוקים לדרך להמיר מילים למספרים. הדרך הנאיבית ביותר — לספור כמה פעמים כל מילה מופיעה במסמך — נכשלת במהירות: מילות קישור נפוצות כמו "של" או "את" בעברית, או "the" ו-"and" באנגלית, מופיעות בכל מסמך בתדירות גבוהה, ולכן ספירה גולמית לא עוזרת להבחין בין מסמך רלוונטי לשאילתה לבין מסמך לא רלוונטי. הבעיה שדרשה פתרון: איך נותנים משקל גבוה למילים שבאמת מייחדות מסמך מסוים, ומשקל נמוך למילים שמופיעות כמעט בכל מסמך באוסף, בלי שמישהו יצטרך לקבוע ידנית אילו מילים "חשובות"? גם הספירה הבסיסית עצמה, TF, אינה אחידה, ויש לה כמה גרסאות: ספירה גולמית, ספירה בינארית (מופיעה / לא מופיעה), או ספירה בסקאלה לוגריתמית שמרככת את ההבדל בין מילה שמופיעה פעם אחת למילה שמופיעה עשרות פעמים.

קארן ספארק-ג'ונס, 1972: הרעיון של תדירות מסמכים הופכית

הפתרון המקובל היום מתבסס על רעיון שפרסמה ב-1972 קארן ספארק-ג'ונס (Karen Spärck Jones), מדענית מחשב בריטית שלמדה בגירטון קולג' שבקיימברידג', ועבודת הדוקטורט שלה, מ-1964, עסקה בסיווג סמנטי ובמילים נרדפות. מסוף שנות ה-50 עבדה ספארק-ג'ונס ביחידת המחקר לבלשנות חישובית בקיימברידג', ולאחר מכן במעבדת המחשבים של האוניברסיטה. במאמרה "A Statistical Interpretation of Term Specificity and Its Application in Retrieval" בכתב העת Journal of Documentation היא הציגה את מה שמוכר היום כ"תדירות מסמכים הופכית" (Inverse Document Frequency, IDF). היא קראה לרעיון "ייחודיות" של מילה (Term Specificity): ייחודיות המילה גבוהה ככל שהיא מופיעה במספר קטן יותר של מסמכים באוסף. במילים אחרות, מילה שמופיעה בכל המסמכים כמעט לא נותנת מידע מבחין, ומילה שמופיעה רק בחלק קטן מהם היא סימן חזק לכך שהמסמך הזה שונה, ועוסק במשהו ספציפי.

הנוסחה: תדירות מופע כפול תדירות מסמכים הופכית

TF-IDF, כפי שהוא מוכר היום, הוא פשוט המכפלה של שני המרכיבים: TF (Term Frequency) — כמה פעמים המילה מופיעה במסמך הנבדק, ו-IDF — מדד לנדירות המילה באוסף כולו, שמחושב בדרך כלל כלוגריתם של היחס בין מספר המסמכים באוסף לבין מספר המסמכים שמכילים אותה. ככל שהמילה מופיעה בפחות מסמכים, ה-IDF שלה גבוה יותר. ציון גבוה מתקבל כשהמילה חוזרת הרבה במסמך הנבדק (TF גבוה), אבל נדירה יחסית באוסף כולו (IDF גבוה) — צירוף שמסמן מילה שגם רלוונטית למסמך הזה וגם מייחדת אותו. במקרה הקיצוני, שבו מילה מופיעה בכל מסמך באוסף, ה-IDF שלה הוא אפס, ולכן גם ציון ה-TF-IDF הכולל שלה — כך שהשיטה מסננת אוטומטית מילות קישור נפוצות, בלי צורך ברשימה ידנית של "מילים להתעלם מהן" (Stop Words), ובלי שאדם יצטרך להחליט ידנית אילו מילים חשובות לאיזה תחום.

איך זה הפך לכלי הדירוג המרכזי של מנועי חיפוש

גרסאות של משקל TF-IDF שימשו מנועי חיפוש כאבן יסוד לדירוג רלוונטיות של מסמכים לשאילתה: שיטת דירוג פשוטה מחשבת לכל מסמך את סכום ציוני ה-TF-IDF של מילות השאילתה, ומציבה בראש את המסמכים עם הסכום הגבוה ביותר; שיטות דירוג מתקדמות ומסובכות יותר הן, במובן מהותי, גרסאות המשך של אותו עיקרון בסיסי. ספארק-ג'ונס, שמתה מסרטן ב-2007, אמרה באותה שנה ש"כמעט כל מנוע חיפוש באינטרנט משתמש בעקרונות האלה", ובעת מותה היו למאמר מ-1972 יותר מ-4,500 ציטוטים ב-Google Scholar. ב-2007 היא הפכה לאישה הראשונה שזכתה במדליית לאבלייס (BCS Lovelace Medal) של האגודה הבריטית למחשוב, לאחר קריירה שכללה גם נשיאות האגודה לבלשנות חישובית (ACL) ב-1994 ופרס מפעל חיים מטעם אותה אגודה ב-2004. ב-2019 פרסם ה-New York Times הספד מאוחר עליה בסדרה "Overlooked No More", המוקדשת לדמויות שלא קיבלו הכרה מספקת בזמנן.

מילה במילה לעומת משמעות: המגבלה, ו-BM25 שבא בעקבותיה

המגבלה הבסיסית של TF-IDF היא שהוא מתבסס על התאמה מדויקת של מילים: שאילתה על "כאבי ראש חזקים" לא תמצא מסמך שכתוב בו "מיגרנה עוצמתית", אף שהמשמעות קרובה מאוד, כי אין אף מילה משותפת בין שני הניסוחים. שיטה מאוחרת ונפוצה, BM25, מתוארת במפורש כ"פונקציית אחזור מסוג TF-IDF" (TF-IDF-like retrieval function) — כלומר לא תחליף עקרוני, אלא עידון מתמטי של אותו רעיון בסיסי, שעדיין נשען על התאמת מילים מדויקת ולא על הבנת משמעות כללית. BM25 נשען על המודל ההסתברותי לאחזור מידע, שפיתחו בשנות ה-70 וה-80 סטיבן רוברטסון, ספארק-ג'ונס עצמה ואחרים, ושומר על אותה רוח: מילה נדירה שווה יותר ממילה נפוצה.

לא נעלם: שימוש משולב עם הטמעות במערכות RAG של היום

הטמעות וקטוריות (Embeddings) ומודלי שפה פתרו את מגבלת ההתאמה המדויקת — הן ממפות טקסטים למרחב שבו משמעות קרובה מתבטאת בקרבה גיאומטרית, גם בלי אף מילה משותפת. אבל TF-IDF ומשפחתו (כמו BM25) לא נעלמו: מערכות RAG (יצירה מועשרת באחזור) רבות משלבות היום "חיפוש היברידי" — חיפוש טקסט מסורתי לפי מילים, לצד חיפוש וקטורי לפי משמעות. כך הן תופסות גם מקרים שבהם חיפוש וקטורי לבדו עלול לפספס עובדות חיוניות לתשובה, למשל כשמילת מפתח מדויקת (שם מוצר, מספר דגם, ראשי תיבות) חשובה יותר מקרבה כללית במשמעות. העיקרון הבסיסי שספארק-ג'ונס פרסמה ב-1972 — שמילה נדירה נושאת יותר מידע ממילה נפוצה — ממשיך למלא תפקיד בתשתית החיפוש של מערכות AI מודרניות, לא רק בספרי היסטוריה, לצד הטמעות ומסדי נתונים וקטוריים ולא בהכרח במקומם.