הנדסת נתונים (Data Engineering)
הגדרה
הנדסת נתונים היא התחום שבונה ומתחזק את הצנרת שמעבירה נתונים מהמקורות המבולגנים שלהם למקום מסודר ונגיש — התשתית שעליה נשענים אנליסטים, מדעני נתונים ומערכות AI כשהם צריכים נתונים כדי לעבוד.
💡 דוגמה
אתר מסחר שרוצה לדעת אילו מוצרים צריך להשלים במלאי חייב למשוך נתוני מכירות מעשרות מערכות נפרדות (קופות, מלאי, אתר), לנקות אותם ולאחד אותם למקום אחד — ואת המערכת שעושה את זה בונה ומתחזק מהנדס נתונים.
מה עושה מהנדס נתונים
לפי ויקיפדיה, הנדסת נתונים היא גישה הנדסית לבנייה של מערכות נתונים שמאפשרות איסוף ושימוש במידע — מידע שמשמש בדרך כלל לניתוח ולמדע נתונים, ולעיתים קרובות ללמידת מכונה. מהנדס נתונים, לפי אותו מקור, "בונה צנרות ETL בקנה מידה גדול לניהול זרימת הנתונים בתוך הארגון": הוא שולף נתונים ממקורות מבולגנים ובפורמטים שונים, מנקה ומעצב אותם, וטוען אותם למקום שאפשר לעבוד איתו. העבודה שלו מתמקדת בהכנת המידע לשימוש בפועל: פורמט, עמידות, קנה מידה ואבטחה. לכן רוב מהנדסי הנתונים מגיעים מרקע של הנדסת תוכנה, מכירים שפות כמו Java, Python, Scala ו-Rust, ובקיאים במסדי נתונים, בארכיטקטורת מערכות ובמחשוב ענן. זה מבדיל אותם ממדען נתונים, שמתמקד בניתוח המידע עצמו, בסטטיסטיקה ובלמידת מכונה, ולא בבנייה ובתחזוקה של המערכת שמביאה את המידע לידיו.
צנרות נתונים: ETL ואחיו ELT
התהליך הקלאסי שמהנדס נתונים בונה נקרא ETL — ראשי תיבות של Extract, Transform, Load (חילוץ, המרה, טעינה). בשלב החילוץ נשלף מידע ממערכות מקור — מסדי נתונים, קבצי XML או JSON, ואפילו תוכן שנאסף מהרשת — ונבדק תוך כדי כך. בשלב ההמרה מנקים את המידע, מתרגמים ערכים מקודדים, מחשבים שדות נגזרים, מאחדים ומסננים כפילויות. בשלב הטעינה המידע הנקי נכתב למקום היעד. ב-2004 פרסמו ראלף קימבל וג'ו קסרטה את הספר "The Data Warehouse ETL Toolkit" (הוצאת Wiley), שהפך לספר לימוד מרכזי בתחום. גרסה הפוכה, ELT (חילוץ, טעינה, המרה), טוענת את המידע הגולמי ליעד וממירה אותו רק שם — גישה שמחסני נתונים בענן, כמו Snowflake ו-Google BigQuery, מאפשרים בזכות כוח החישוב הגדול שהם מציעים. כלי ניהול תהליכים כמו Apache Airflow מתארים את רצף המשימות הזה כגרף מכוון חסר מעגלים (DAG), כך שאפשר להגדיר, להריץ ולנטר אותו אוטומטית.
מחסן נתונים מול אגם נתונים
מחסן נתונים (Data Warehouse) הוא מערכת לדיווח ולניתוח נתונים: הוא מאחד מידע מכמה מקורות ומאחסן אותו במבנה שנבנה מראש לצורך שאילתות וניתוח, לרוב לאחר שעבר ETL מלא. ביל אינמון התחיל להגדיר ולדון במונח "מחסן נתונים" בשנות ה-70; ב-1988 הציגו חוקרי IBM בארי דבלין ופול מרפי במאמר את המונח "business data warehouse"; וב-1996 פרסם ראלף קימבל את הספר "The Data Warehouse Toolkit". אגם נתונים (Data Lake), לעומת זאת, מאחסן מידע בפורמט הגולמי שלו ומעבד אותו רק בזמן השימוש בו. ג'יימס דיקסון, שהיה אז סמנכ"ל טכנולוגיות בחברת Pentaho, טבע את המונח לא יאוחר מ-2011, כדי להבדיל אותו מ"מרכולי נתונים" (data marts), מאגרים קטנים של נתונים נבחרים שלדעתו יוצרים איים מבודדים של מידע. ההבדל בין השניים הוא בשלב שבו המידע מקבל מבנה: במחסן נתונים המידע מסודר לפני שהוא נכנס, ובאגם נתונים הוא נשאר גולמי עד שמישהו צריך אותו — ולכן אגם מתאים במיוחד לנתונים לא מובנים שמשמשים ללמידת מכונה.
מאיפה בא התפקיד: מ"הנדסת מידע" לפייסבוק ולאיירבנב
השורשים המוקדמים של התחום מגיעים מ"מתודולוגיית הנדסת המידע" (Information Engineering Methodology), שנוצרה בשנות ה-70 וה-80 כדי לתאר תכנון של מסדי נתונים; האוסטרלי קלייב פינקלשטיין מוזכר לעיתים קרובות כ"אבי" הגישה, וג'יימס מרטין כתב איתו דוח משפיע של מכון Savant. בתחילת שנות ה-2000 המידע בארגונים נוהל בעיקר על ידי צוותי IT, וצוותים אחרים השתמשו בו בלי חפיפה רבה בין תחומי המומחיות. בתחילת שנות ה-2010, עם הגידול הדרמטי בכמויות המידע שהאינטרנט ייצר — מה שהוביל למונח "ביג דאטה" — חברות כמו פייסבוק ואיירבנב התחילו להשתמש בתואר "מהנדס נתונים" (Data Engineer), וענקיות כמו גוגל, פייסבוק, אמזון, אפל, מיקרוסופט ונטפליקס עברו מגישות ETL ואחסון מסורתיות לתחום חדש שמתמקד בענן, ובמקביל השימוש בנתונים התפשט גם למחלקות כמו מכירות ושיווק.
למה AI תלוי בהנדסת נתונים
איכותו של מודל AI תלויה באיכות הנתונים שהוא מקבל, וההנדסה שמביאה אליו את הנתונים האלה היא עבודת ההכנה שעליה נשענים מדע נתונים ולמידת מכונה. מערך הנתונים (Dataset) שמאמנים עליו מודל, ונתוני האימון שבתוכו, הם תוצר ביניים של צנרת שמהנדס נתונים בנה ומתחזק. בלי שלב ניקוי ואיחוד אמין, גם האלגוריתם הטוב ביותר מקבל קלט פגום.
📬 הגיליון השבועי של Wiki-AI
פעם בשבוע, ביום ראשון: שלושת הדברים החשובים שקרו בעולם הבינה המלאכותית, בעברית פשוטה, וערכים חדשים באנציקלופדיה. לגיליונות
| מחסן נתונים (Data Warehouse) | אגם נתונים (Data Lake) | Lakehouse | |
|---|---|---|---|
| מבנה הנתונים | מובנה ומסודר מראש (טבלאות) | גולמי — מקבל כל פורמט | גולמי בקליטה, עם שכבת מבנה מעליו |
| מתי מקבלים מבנה | לפני טעינה (ETL) | רק בזמן השימוש | בזמן השימוש, עם ערבויות עקביות (ACID) ובקרת איכות כמו במחסן |
| מתאים במיוחד ל | דיווח וניתוח עסקי קבוע | נתונים לא מובנים, למידת מכונה | שילוב של שני העולמות |
| דוגמאות | Snowflake, BigQuery | Amazon S3, Azure Data Lake | Databricks Lakehouse |
שאלות נפוצות ❓
מה ההבדל בין מהנדס נתונים למדען נתונים?
מהנדס נתונים בונה ומתחזק את הצנרת שמביאה נתונים ממקום מבולגן למקום נגיש; מדען נתונים מתמקד בניתוח המידע עצמו ובבניית מודלים סטטיסטיים או מודלי למידת מכונה מעליו.
מה זה ETL?
ראשי תיבות של Extract, Transform, Load — חילוץ נתונים ממקור, המרתם וניקויים, וטעינתם למקום היעד. גרסה הפוכה, ELT, טוענת את המידע הגולמי קודם וממירה אותו רק אחר כך.
מה ההבדל בין מחסן נתונים לאגם נתונים?
מחסן נתונים מאחסן מידע מובנה שעבר ניקוי מראש, ומתאים לדיווח וניתוח קבועים. אגם נתונים מאחסן מידע בפורמט הגולמי שלו ומעניק לו מבנה רק בזמן השימוש, ולכן מתאים גם לנתונים לא מובנים וללמידת מכונה.
למה AI צריך הנדסת נתונים?
מודל AI לומד מהנתונים שמוגשים לו, וההנדסה היא שלב ההכנה שמנקה, מאחד וטוען את הנתונים האלה למקום שממנו אפשר בכלל לאמן מודל — בלעדיה גם אלגוריתם מצוין מקבל קלט פגום.
מאיפה בא התואר "מהנדס נתונים"?
לפי ויקיפדיה, בתחילת שנות ה-2010, עם עליית "ביג דאטה", חברות כמו פייסבוק ואיירבנב התחילו להשתמש בתואר Data Engineer.