Big Data with Spark and Hadoop

Hadoop הינו שם קוד לפרויקט-על מבוסס קוד פתוח של קרן התוכנה אפאצ’י, שמטרתו לעבד כמויות גדולות של נתונים (Big Data) בסביבת הפיתוח. Hadoop מאפשר עבודה של אלפי יחידות עיבוד (Nodes) המטפלות בו זמנית במידע בהיקף של Petabytes. העבודה הינה על קבצים גדולים המפוזרים על פני אשכולות מחשבים, תוך שימוש במודל תכנות פשוט. זוהי תשתית המאפשרת לחבר בעזרת תוכנה עשרות, מאות ואלפי שרתים בסיסיים – לסביבה אחת פשוטה.

Spark זהו למעשה הדור הבא של עיבוד מידע, הרבה יותר יעיל מ-Map/Reduce, הוא יותר מהיר, יודע לנצל זכרון בצורה מיטבית, הרבה יותר קל ונוח לפתח בו, ניתן לעשות בו עיבודים של Machine Learning.

מפתחי אפליקציות ומדעני נתונים משלבים את Spark ביישומים שלהם כדי לבצע שאילתות, לנתח ולהמיר נתונים במהירות.

הצרכים הנפוצים ביותר שפותרים באמצעות Spark הם: ETL ו- SQL מול מקורות מידע מגוונים ו-Datasets גדולים, עיבוד נתונים הזורמים מחיישנים, IoT , מערכות פיננסיות גדולות, וכמובן Machine Learning.

מגוון רחב של יצרניות טכנולוגיות מיהרו לתמוך ב- Spark, מתוך הבנה שיש כאן הזדמנות להרחיב את המוצרים הקיימים שלהם בתחום Big Data באזורים שבהם Spark מספק ערך אמיתי, כגון שאילתה אינטראקטיבית ו- Machine Learning.

חברות ידועות כמו IBM ו- Huawei השקיעו סכומים משמעותיים בטכנולוגיה, ומספר של חברות סטארט-אפ שבונות מוצרים שתלויים ב-Spark הולך וגדל.