ביג דאטה (Big Data)

מתי מידע הופך ל"ביג דאטה"

לפי ויקיפדיה, ביג דאטה מתייחס בעיקרו למאגרי מידע "גדולים או מורכבים מכדי שתוכנת עיבוד נתונים מסורתית תוכל להתמודד איתם". הגדרה מ-2018 מוסיפה שזה המקרה שבו "נדרשים כלי מחשוב מקביל כדי להתמודד עם הנתונים". כיום המונח מתייחס לא פעם גם לשיטות ניתוח מתקדמות, כמו חיזוי מבוסס נתונים, שמפיקות ערך מהמידע, ולא רק לכמותו הגולמית. האקדמיה ללשון העברית ממליצה על הצורה "נתוני עתק", אבל בשיחה ובתעשייה בישראל נהוג להשתמש במונח הלועזי עצמו, "ביג דאטה".

שלושת ה-V: דאג ליני, 2001

ב-6 בפברואר 2001 פרסם דאג ליני, אנליסט בחברת META Group (שנרכשה לימים בידי Gartner), תזכיר מחקר בשם "3-D Data Management: Controlling Data Volume, Velocity and Variety". לפי התזכיר, עסקי המסחר האלקטרוני, שהיה אז בתנופה, התמודדו עם שלוש בעיות: נפח (Volume) — זרמי מידע נכנסים וכמות מצטברת; מהירות (Velocity) — הקצב שבו המידע זורם ומצטבר; וגיוון (Variety) — פורמטים ומבנים לא תואמים בין מקורות. ליני עצמו כתב בהמשך שהמסגרת הזו נפוצה כל כך עד שחברות וספקים אחרים אימצו אותה או וריאציות קרובות לה, ושנוספו לה לימים "V" נוספים — כמו אמינות (Veracity) וערך (Value) — אבל שהתוספות האלה לא נועדו להיות הגדרה. ויקיפדיה מציינת כיום את האמינות כמאפיין רביעי, ואת ה"שונות" (Variability) כמאפיין נוסף.

Hadoop: מ-Nutch לקוד פתוח

השם "Hadoop" לקוח מפיל הצעצוע של בנו של דאג קאטינג, אחד משני יוצרי הפרויקט (לצד מייק קפארלה), שעבד אז בחברת Yahoo!. לפי ויקיפדיה, הרעיון ל-Hadoop הגיע באוקטובר 2003 ממאמר שגוגל פרסמה על מערכת הקבצים שלה (Google File System), וב-2004 הרחיבו ג'פרי דין וסנג'אי גמאוואט את הרעיון במאמר על MapReduce — מודל לעיבוד מידע מבוזר ומקביל. הפרויקט החל כחלק מ-Apache Nutch, ובינואר 2006 התפצל לתת-פרויקט עצמאי בשם Hadoop; הגרסה הראשונה, 0.1.0, יצאה באפריל 2006. ביוני 2009 פתחה Yahoo! לקהילת הקוד הפתוח את קוד המקור של גרסת ה-Hadoop שלה. בפברואר 2008 השיקה Yahoo! את מה שתיארה כיישום הייצור הגדול בעולם שרץ על Hadoop, ודרובה בורתאקור כתב ב-2007 את מסמך התכנון הראשון של HDFS, מערכת הקבצים המבוזרת שבבסיס Hadoop.

אחרי Hadoop: Spark וענן

מודל MapReduce שעליו נבנה Hadoop היה חזק אבל מוגבל: התוצאה של כל שלב עיבוד נכתבה לדיסק לפני שהשלב הבא יכול היה להתחיל, וזה האט תהליכים שחוזרים על אותם נתונים כמה פעמים. Apache Spark, שפיתוחו החל באוניברסיטת ברקלי ב-2009 ושגרסתו 1.0 יצאה ב-2014, נבנה כדי להתמודד עם המגבלות האלה: הוא מאפשר לשמור את הנתונים שעובדים עליהם בזיכרון בין שלבי עיבוד, וכך לחסוך את הכתיבה והקריאה החוזרות מהדיסק. בשנים שלאחר מכן התפשטו גם מחסני נתונים בענן, כמו Snowflake ו-Google BigQuery, שמציעים כוח חישוב גמיש בקנה מידה גדול כשירות.

הקשר ל-AI: הדלק של הלמידה העמוקה

דוח של McKinsey Global Institute מ-2011 מנה את למידת המכונה כאחת השיטות המרכזיות לניתוח ביג דאטה. הקשר הזה הוא דו-כיווני: כמויות המידע העצומות שתחום הביג דאטה למד לאחסן ולעבד הן בדיוק מה שמאפשר לאמן מודלים עמוקים בקנה מידה שלא היה אפשרי קודם, אבל ויקיפדיה מציינת גם שהרצה של למידת מכונה על ביג דאטה עדיין קשה מבחינה טכנית — לא כל כלי שמנהל נתונים גדולים מתאים אוטומטית לאימון מודלים. הטכניקות וכלי התשתית שביג דאטה הביא — עיבוד מבוזר, אחסון גמיש, צנרות נתונים בקנה מידה גדול — הן בדיוק התשתית שהנדסת הנתונים של עידן ה-AI נבנית עליה. ויקיפדיה כוללת גם תרשים שמראה כיצד כמות נקודות המידע ששימשו לאימון מערכות AI בולטות גדלה באופן דרמטי בין 1950 ל-2025 — עדות נוספת לכך שהיקף המידע הפך לאחד מגורמי הייצור המרכזיים של התחום, ולא רק לנושא טכני שולי.