PyTorch — ספריית הקוד הפתוח שבה בונים ומאמנים מודלי למידה עמוקה

מה זה PyTorch, ולמה גם מי שלא מתכנת נתקל בשם

PyTorch היא ספריית קוד פתוח ללמידה עמוקה: ארגז כלים שמתכנתים וחוקרים משתמשים בו כדי לבנות רשתות נוירונים, לאמן אותן ולהריץ אותן. לפי ויקיפדיה, הספרייה פותחה במקור ב-Meta, ומאז 2022 היא מפותחת בתמיכת קרן לינוקס (Linux Foundation). היחידה הבסיסית שלה היא ה"טנזור" — מערך רב-ממדי של מספרים, בדומה לספריית NumPy המוכרת לאנשי נתונים — אלא שאת החישובים עליו אפשר להריץ גם על מעבד גרפי של NVIDIA, ובהמשך נוספה תמיכה גם במעבדים גרפיים של AMD ובמחשבי Apple. מעל הטנזורים יושבים שני רכיבים מרכזיים: מודול בשם nn, שמספק אבני בניין מוכנות לרשתות נוירונים, ומנגנון בשם Autograd, שמחשב אוטומטית את הנגזרות שהאימון צריך — כך שהמתכנת לא צריך לכתוב בעצמו את המתמטיקה של התפשטות לאחור. אלגוריתם האופטימיזציה, רכיב נפרד בספרייה, משתמש בנגזרות האלה כדי לעדכן את משקלי המודל. קורא שאינו מתכנת לא יפעיל את PyTorch בעצמו, אבל הוא פוגש את התוצרים שלה. לפי ויקיפדיה, בין המערכות והפרויקטים שנבנו על גביה נמצאים מערכת הטייס האוטומטי של Tesla וספריית Transformers של Hugging Face. ב-30 בינואר 2020 הודיעה OpenAI שהיא מאמצת את PyTorch כמסגרת העיקרית ללמידה עמוקה, והסבירה שהמעבר קיצר את זמן הבדיקה של רעיונות מחקר במודלים יוצרים "משבועות לימים".

מ-Torch של שפת Lua ל-PyTorch של פייתון

השם מעיד על המקור: ספרייה קודמת בשם Torch. לפי ויקיפדיה, Torch המקורית נכתבה ושוחררה ב-2001 במכון המחקר השווייצרי Idiap, כספרייה בשפת C++‎. בסביבות 2010 כתבו אותה מחדש רונן קולובר, קלמנט פרבה וקוריי קבוקצ'ואוגלו, והגרסה החדשה, Torch7, הופעלה דרך שפת התכנות Lua. לפי סומית' צ'ינטלה, מהמפתחים המרכזיים של הפרויקט, העבודה על PyTorch התחילה בתחילת 2016 בקבוצה מקוונת של תורמים ל-Torch7. צ'ינטלה הזמין את אדם פשקה לעשות התמחות במעבדת המחקר של פייסבוק (FAIR) ולבנות את הדור הבא, וסם גרוס הצטרף במשרה מלאה. ההשראה הגיעה בעיקר משתי ספריות קודמות, torch-autograd ו-Chainer היפנית, אבל לדבריו "כתבנו את הקוד של העיצוב החדש של PyTorch מאפס". ב-1 בספטמבר 2016 פורסמה ב-GitHub גרסת alpha-1, ובהודעה נכתב שעבר "שבוע מאז alpha-0". הפיתוח של Torch7 נפסק ב-2018, והפרויקט נבלע בתוך PyTorch; באותה שנה, בסוף מרץ 2018, מוזגה לתוכה גם Caffe2, ספרייה אחרת של פייסבוק.

הרעיון המרכזי: הקוד עצמו הוא המודל

מה הפך את PyTorch לפופולרית? המאמר האקדמי שמתאר אותה, שפרסמו פשקה ושותפיו ב-2019, פותח במשפט: "מסגרות ללמידה עמוקה התמקדו לרוב בנוחות שימוש או במהירות, אבל לא בשתיהן". לפי המאמר, PyTorch מראה ששתי המטרות יכולות לדור יחד: היא מציעה סגנון תכנות "אימפרטיבי ופייתוני", שבו הקוד הוא המודל, מה שמקל על איתור שגיאות. בפועל, מתכנת כותב שורות פייתון רגילות, והספרייה עוקבת אחרי כל פעולה בזמן שהיא מתבצעת. לפי ויקיפדיה, Autograd בונה תוך כדי ההרצה מפה של כל הפעולות שהמודל ביצע, וכשמחשבים את השגיאה, הוא הולך על המפה הזו לאחור ומחשב את הנגזרות. ב-15 במרץ 2023 יצאה PyTorch 2.0, שהוסיפה את torch.compile — מהדר שהופך את המודל לקוד מהיר יותר. לפי הודעת השחרור, torch.compile נוסף כתכונה אופציונלית, כך שאפשר להמשיך להריץ מודלים בדרך הקיימת — אם כי לגרסה יש דרישות משלה לסביבת התוכנה, וחלק מהגרסאות הישנות של פייתון ושל CUDA כבר לא נתמכות בה. מידת ההאצה תלויה במודל ובחומרה. בהודעה צוין שהגרסה כללה יותר מ-4,541 שינויי קוד מ-428 תורמים מאז הגרסה הקודמת — סימן לגודל הקהילה שעובדת על הספרייה.

מ-Meta לקרן עצמאית

ב-12 בספטמבר 2022 הודיעה קרן לינוקס ש-PyTorch עוברת מ-Meta לקרן חדשה, PyTorch Foundation, שתפעל תחת חסותה. החברות המייסדות של הקרן היו AMD, ‏AWS, ‏Google Cloud, ‏Meta, ‏Microsoft Azure ו-NVIDIA — יצרניות שבבים וספקיות ענן גם יחד. מארק צוקרברג אמר באותה הודעה ש-PyTorch הפכה לאחת מפלטפורמות ה-AI המובילות, עם "יותר מ-150,000 פרויקטים ב-GitHub שנבנו על המסגרת". לפי ההודעה, פרויקטים כמו PyTorch, שעשויים להפוך לתשתית לטכנולוגיה קריטית, "נהנים מבית ניטרלי". מאז הקרן התרחבה: לפי הודעה של קרן לינוקס מאפריל 2026, היא מארחת לצד PyTorch גם את DeepSpeed, ‏Helion, ‏Ray ו-vLLM, וב-8 באפריל 2026 הצטרף אליהן Safetensors, פורמט הקבצים ש-Hugging Face פיתחה. ב-1 בדצמבר 2025 הודיעה Hugging Face שבגרסה 5 של ספריית Transformers היא מפסיקה לתמוך ב-TensorFlow וב-Flax, ומתמקדת ב-PyTorch "כמנוע היחיד".

קובץ מודל הוא לא רק מספרים: אזהרת האבטחה

יש פרט אחד ב-PyTorch שחשוב גם למי שרק מוריד מודלים מהרשת. לפי ויקיפדיה, PyTorch שומרת מודלים בפורמט משלה, בדרך כלל עם הסיומות pt או pth. לפי התיעוד הרשמי, זה ארכיון שמכיל את נתוני הטנזורים לצד מידע שנשמר בשיטת pickle של פייתון. הבעיה היא ש-pickle יכול להכיל גם קוד. התיעוד הרשמי של הפונקציה שטוענת קבצים כאלה מזהיר שהיא משתמשת במנגנון של pickle, ולכן "לעולם אל תטענו נתונים ממקור לא מהימן". בגרסה 2.6, שיצאה ב-29 בינואר 2025, שינו המפתחים את ברירת המחדל של פונקציית הטעינה, וכינו זאת "צעד חשוב לשיפור האבטחה". אחד הפתרונות הנפוצים הוא פורמט Safetensors, שלפי קרן לינוקס הפך לאחד מפורמטי הקבצים הנפוצים ביותר להפצת מודלים בקוד פתוח. בהודעה על הצטרפותו לקרן נכתב שבפורמטים מבוססי pickle הייתה אפשרות "להריץ קוד שרירותי ולא מהימן בתוך קבצי מודל כשהם משותפים", ושהפורמט החדש, שאינו משתמש במנגנון של pickle, מונע הרצת קוד כזו. המסקנה המעשית: כשמורידים מודל, עדיף קובץ safetensors — ועדיין כדאי לבחור מקור מהימן ולהשתמש בתוכנה מעודכנת.

איפה PyTorch עומדת היום

לפי ויקיפדיה, נכון ל-2025 PyTorch היא אחת מספריות הלמידה העמוקה הפופולריות ביותר, לצד TensorFlow ו-Keras. היא פועלת על לינוקס, macOS ו-Windows, מופצת ברישיון BSD, והגרסה האחרונה שלה, נכון לתחילת אוקטובר 2026, היא 2.14.1, שיצאה ב-30 בספטמבר 2026. בבדיקה ב-4 באוקטובר 2026 הציג מאגר הקוד שלה ב-GitHub כ-104 אלף כוכבים. כדאי להבין גם מה PyTorch לא עושה. היא ספריית תכנות לבנייה ולאימון של מודלים, שיכולה גם להריץ מודלים מוכנים — אבל לא אפליקציה למשתמש הביתי. ממשק נוח להרצה מקומית מספקים כלים אחרים, כמו llama.cpp, Ollama ו-LM Studio. לפי ויקיפדיה, קובצי GGUF ש-llama.cpp מריצה נוצרים בדרך כלל מהמרה של מודלים שפותחו בספרייה כמו PyTorch. כך יוצא שגם מי שמריץ מודל פתוח על הלפטופ שלו, בלי לכתוב שורת קוד, נשען בעקיפין על עבודה שנעשתה ב-PyTorch.