Phi

מה זה Phi

Phi היא משפחה של מודלי שפה קטנים (Small Language Models) שמפתחת Microsoft מאז 2023. המודלים במשפחה קטנים בהרבה ממודלי החזית: מודלי Phi-4 הגדולים מונים 14 ו-15 מיליארד פרמטרים, והקטנים פחות מ-4 מיליארד. יוצא דופן הוא Phi-3.5-MoE, תמהיל של 16 מומחים בני 3.8 מיליארד פרמטרים, שמתוכם 6.6 מיליארד פעילים בכל צעד. המשקלים שלהם פתוחים, וזמינים דרך Azure ו-Hugging Face, ולפי ויקיפדיה הם משוחררים ברישיון MIT. בגלל הגודל הם מתאימים למצבים שבהם מודל ענק בענן אינו פתרון טוב: מכשיר בלי חיבור יציב לאינטרנט, נתונים שאסור להוציא מהארגון, או אפליקציה שצריכה תשובה מהירה וזולה. Microsoft עצמה הגדירה את התחומים האלה, בהכרזה על Phi-3, כ"סביבות מוגבלות במשאבים, כולל הסקה על המכשיר ובמצב לא מקוון", ו"תרחישים שבהם זמן התגובה קריטי". את המגמה הרחבה של מודלים קטנים, שבה משתתפות גם גוגל, Meta וחברות נוספות, מתאר הערך מגמת המודלים הקטנים. הערך הזה עוסק במשפחת Phi עצמה.

ספרי לימוד במקום כל האינטרנט

הרעיון שהגדיר את Phi הופיע במאמר הראשון שלה, ביוני 2023, שכותרתו "Textbooks Are All You Need", כלומר "ספרי לימוד הם כל מה שצריך". phi-1 היה מודל של 1.3 מיליארד פרמטרים לכתיבת קוד, שאומן ארבעה ימים על שמונה כרטיסי A100 בלבד. במקום לאמן אותו על כמה שיותר טקסט מהרשת, החוקרים בחרו 6 מיליארד טוקנים של נתונים "באיכות ספר לימוד" מהאינטרנט, והוסיפו מיליארד טוקנים של ספרי לימוד ותרגילים סינתטיים שכתב GPT-3.5. לפי המאמר, phi-1 פתר 50.6% מהבעיות במבחן הקוד HumanEval בניסיון הראשון. בדצמבר 2023 הגיע Phi-2, עם 2.7 מיליארד פרמטרים, שלפי Microsoft "משתווה למודלים גדולים ממנו עד פי 25, או עוקף אותם" במבחנים מורכבים. הגישה הזו, נתונים מסוננים ונתונים סינתטיים במקום כמות גולמית, חוזרת בכל דורות המשפחה. היא גם חלק ממגמה רחבה יותר, שמתוארת בערך מירוץ הנתונים הסינתטיים.

Phi-3: מודל קטן עם חלון ארוך

באפריל 2024 יצאה משפחת Phi-3, ובראשה Phi-3-mini, מודל של 3.8 מיליארד פרמטרים. Microsoft הציגה אותו בשתי גרסאות, עם חלון הקשר של 4 אלף ושל 128 אלף טוקנים, וכתבה שזה "המודל הראשון בקטגוריה שלו" שתומך בחלון של עד 128 אלף טוקנים בלי פגיעה משמעותית באיכות. לפי החברה, Phi-3-mini עובד טוב יותר ממודלים גדולים ממנו פי שניים, והגרסאות הגדולות יותר, Phi-3-small ו-Phi-3-medium, עוקפות מודלים גדולים בהרבה, כולל GPT-3.5 Turbo. אלה טענות של Microsoft. בעיתונות, לפי ויקיפדיה, Wired ו-Ars Technica העריכו ש-Phi-3-mini משתווה באיכותו ל-GPT-3.5. בהכרזה הובאה גם דוגמה מהשטח: חברת ITC ההודית שילבה את Phi-3 ב-Krishi Mitra, אפליקציה לחקלאים שמגיעה ליותר ממיליון חקלאים.

Phi-4 ומודלי החשיבה

בדצמבר 2024 יצא Phi-4, מודל של 14 מיליארד פרמטרים. הדוח הטכני שלו מתאר מתכון אימון ש"ממוקד בעיקרו באיכות הנתונים", ונתונים סינתטיים שולבו בו לאורך כל תהליך האימון. לפי כרטיס המודל, Phi-4 אומן על 9.8 טריליון טוקנים. לפי הדוח, הוא "עוקף באופן משמעותי את מודל המורה שלו" בשאלות בתחומי המדעים והמתמטיקה. לפי הדוח, המורה הוא GPT-4o, ו-Phi-4 עוקף אותו במבחנים GPQA ו-MATH. באפריל 2025 הוסיפה Microsoft שלושה מודלי חשיבה, שכותבים שרשרת מחשבה לפני התשובה. Phi-4-reasoning אומן על דוגמאות פתרון שנבחרו בקפידה מהמודל o3-mini של OpenAI. Phi-4-reasoning-plus עבר בנוסף גם למידת חיזוק. Phi-4-mini-reasoning הוא מודל של 3.8 מיליארד פרמטרים למתמטיקה, שאומן על נתונים סינתטיים שיצר DeepSeek-R1. לפי Microsoft, שני הגדולים עוקפים את o1-mini של OpenAI ברוב המבחנים, ואת DeepSeek-R1 המלא, בן 671 מיליארד פרמטרים, במבחן המתמטיקה AIME 2025. גם אלה מדידות של היצרן.

Phi-4-reasoning-vision: מודל שמחליט מתי לחשוב

אחד המודלים הבולטים שיצאו במשפחה ב-2026 הוא Phi-4-reasoning-vision-15B, שיצא ב-4 במרץ 2026 ברישיון MIT. זה מודל של 15 מיליארד פרמטרים שמבין גם תמונות. הוא נבנה על בסיס Phi-4-reasoning, ונוסף לו רכיב ראייה בשם SigLIP-2. החידוש העיקרי הוא ההחלטה מתי לחשוב. בשאלות של מתמטיקה ומדעים המודל מפעיל שרשרת מחשבה ארוכה, ובמשימות זיהוי, כמו לקרוא טקסט מתמונה או לתאר אותה, הוא עונה ישירות, בלי שלב חשיבה. לפי כרטיס המודל, הוא מיועד גם למשימות של סוכן שמפעיל מחשב: להבין מסך של תוכנה ולאתר בו כפתורים ושדות. לפי אותו כרטיס, המפתחים לא הסתמכו על כמויות עצומות של נתונים, אלא על מערכי נתונים פתוחים של תמונה וטקסט שסוננו ושופרו בקפידה, לצד נתונים איכותיים מתחומים ייעודיים.

Phi בתוך Windows, ומגבלות מוצהרות

גרסה מיוחדת של המשפחה, Phi Silica, מותקנת מראש במחשבי Copilot+ ורצה על ה-NPU, המעבד הייעודי לבינה מלאכותית שבמחשב. אפליקציות יכולות להשתמש בה כדי לסכם טקסט, לנסח אותו מחדש או להפוך אותו לטבלה, בלי לשלוח אותו לענן. לפי Microsoft, גם Phi-4-reasoning ו-Phi-4-mini-reasoning נבנו כך שינצלו את האופטימיזציות של Phi Silica וירוצו על ה-NPU של המחשבים האלה. אבל Phi Silica בדרך החוצה. לפי תיעוד המפתחים של Microsoft, שעודכן באוקטובר 2026, היא מוחלפת במודל חדש בשם Aion Instruct, שמתוכנן להגיע למחשבים של משתמשים בינואר 2027, ואז Phi Silica תוסר. למשפחה יש גם מגבלות מוצהרות. לפי כרטיסי המודל של Phi-4 ושל Phi-4-reasoning-vision, הם אומנו בעיקר על טקסט באנגלית, והביצועים שלהם בשפות אחרות, ובהן עברית, חלשים יותר. התמונה משתנה בין מודלים: כרטיס המודל של Phi-4-mini-instruct, למשל, מונה עברית בין 23 השפות הנתמכות. חלון ההקשר של שני המודלים האלה הוא כ-16 אלף טוקנים.