חשבתם לרגע למה כל כך הרבה מידע, אפליקציות ושלל פלטפורמות מוצעים לנו חינם ברחבי הרשת? יש לזה תשובה ברורה והיא ביג דאטה. למעשה, נתונים ומידע הפכו למוצר יקר ערך ובעל חשיבות גדולה בארגונים ובחברות שונות. בואו נראה מה זה ביג דאטה ואיך הוא משפיע על חיינו הגולשים ומהו הערך שמפיקים ארגונים מכל המידע הזה.
בהסבר פשוט ביג דאטה זה..
ביג דאטה הוא מאגר מידע גדול במיוחד, המידע המגוון, גודלו העצום וקצב השינויים שבו לא מאפשרים שמירה רגילה ומאורגנת כמו בסיס נתונים מסורתי, זה בדיוק מה שגרם לו להיות הדבר הגדול הבא, אז איך מנהלים כמויות עצומות של מידע? בשנים האחרונות מידע נחשב ליהלום השחור בעולם העסקי, ביג דאטה BIG DATA או בעברית "נתוני עתק" הוא מונח שמתייחס לדרך התמודדות עם ניהול ואחסון מידע רב שמגיע ממקורות רבים, בדרכים שונות ולא כל כך מסודרות. מה אתה עושה כשאתה צריך לשמור מידע? כמשתמש פרטי תוכל להשתמש בקובץ txt או Word, אם תרצה להשתמש בטבלאות תוכל בקלות לפתוח קובץ Excel, אם תרצה לקחת צעד קדימה ולשמור כמות גדולה של מידע בצורה מסודרת יותר תוכל להשתמש בבסיס נתונים מסורתי כגון Microsoft SQL, MobgoDB וכו'. בסיס הנתונים מאפשר לא רק איסוף ואחסון, אלא גם עיבוד, ניתוח ותצוגת נתונים בצורה יעילה ומקצועית.
מדוע צריך בסיס נתונים?
בעידן המודרני, המידע והנתונים הם חשובים לכל תחום בתעשייה, והם מגיעים אלינו ממקורות שונים. לפיכך, היכולת לנהל, לנהל ולהבין את הנתונים שמתקבלים הפכה לקריטית עבור הארגון, והתחום הפך לתחום מחקר ופיתוח חשוב עבור עסקים, חברות וממשלות. בסיס נתונים מסורתי יאפשר לנו לשמור ולארגן מידע רב, אחד כזה לדוגמא יכול להיות מרשם האוכלוסין של מדינת ישראל, לכל אדם יהיו מאפיינים כמו שם פרטי, שם משפחה, מין, תאריך לידה, מספר ת.ז, עיר ועוד.. בארגון של בסיס נתונים כזה מתקבל סדר מופתי, נוכל לקרוא, להוסיף, לערוך, למחוק ולמיין מידע בקלות ובמהירות, אם נרצה לדעת מהו השם הפופולארי בישראל לבנים נוכל בקלות "לדבר" עם בסיס הנתונים ולבקש ממנו להציג לנו את המידע בצורה מסודרת, אפשרויות המיון הן רחבות מאוד, בנוסף, ישנם אפשרויות ליצור מספר טבלאות ובסיסי נתונים "שמדברים" ביניהם, אם ניקח לדוגמא עסק למכירת צעצועים, טבלה אחת יכולה לייצג את המוצרים, טבלה אחרת את הלקוחות וטבלה שלישית את המכירות, כל אחת מהטבלאות יכולה "לדבר" ולהיות מקושרת לטבלה אחרת, לקוח שקנה מוצר עם ברקוד "1234" יכול להופיע בטבלת "מכירות" עם תאריך הקנייה, הברקוד ומספר הטלפון (או כל מזהה ייחודי אחר) של הלקוח, טבלת המכירות תהייה בעצם גורם מקשר בין 2 טבלאות שונות ונוכל בקלות לדעת מיהו הלקוח ע"י שימוש במזהה הייחודי (מספר הטלפון לדוגמא) לחיפוש בטבלת הלקוחות או מהו המוצר ע"י חיפוש הברקוד בטבלת המוצרים.
בדוגמאות אלו נשמע שיש סדר וארגון ולא חסר שום דבר אבל חשוב לזכור שלא תמיד הסדר הזה אפשרי, כאשר מדובר בכמויות עצומות של מידע ובנוסף את חלקו הגדול קשה מאוד לארגן בצורה הגיונית בבסיסי נתונים מסורתיים, יש צורך בפתרון אחר שיוכל לקבל את המידע, ויותר חשוב מזה – להסיק מסקנות שיעזרו לארגון לפעול בצורה נבונה יותר.
ת׳כלס, מה זה ביג דאטה?
Big Data ובעברית "נתוני עתק" הוא תחום העוסק בניהול כמויות עצומות של מידע המגיע ממגוון מקורות בו זמנית במהירות ובנפח גדול מה שמצריך ניתוח יעיל של המידע וזהו בעצם האתגר הגדול ביותר, מעבר לשליפה סטנדרטית של כמו בבסיס נתונים מסורתי יש צורך לנצל את המידע הרב שהתקבל על מנת לזהות "דפוסים" מסויימים במגוון רחב של תחומים, דוגמאות פרקטיות:
- בתי חולים יכולים להשתמש ב Big Data על מנת לחזות התפתחויות של מחלות מוקדם יותר, מה שמאפשר הצלת חיים, טיפול זול ומהיר יותר.
- רשתות חברתיות יכולות להשתמש בביג דאטה על מנת לבחור אילו פרסומות להציג למשתמשים.
- חברות וסטרטאפים יכולים להשתמש בביג דאטה על מנת לפתח בוט שמבצע מסחר אוטומטי בבורסה.
מהם המאפיינים העיקריים בביג דאטה?
- נפח (Volume): כמות של מידע מאפשרת הסקת מסקנות מדויקות יותר.
- ערך (Value): הערך קשור בצורה ישירה למהות ולמטרת העסק על מנת לזהות דפוסים שמובילים לפעילות אפקטיבית יותר.
- מגוון (Variety): מגוון של סוגי נתונים שונים כגון טקסטים, הודעות קוליות, תמונות ועוד..
- מהירות (Veloity): מהירות ההגעה של הנתונים היא קריטית במיוחד, לדוגמא ברשת חברתית אפשר למצוא מליארדי תמונות ופוסטים בכל יום.
- אמיתות (Veracity): איכות ואמינות המידע צריך להגיע ממקור אמין ככל האפשר.
באילו תחומים ומקצועות עושים שימוש בביג דאטה?
ביג דאטה משמש עבור נתונים גדולים ומרכיבים שמגיעים ממקורות שונים. להלן תחומים וענפים בהם משתמשים באיסוף וניתוח הנתונים וכן תפקידים ומקצועות ספציפיים בהם הביג דאטה הוא נתח משמעותי בתפקיד:
- חברות טכנולוגיות המציעות שירות של ניתוח נתונים לארגונים במיקור חוץ
- ממשלות, שלטון מקומי וקהילות שזקוקות לנתונים חברתיים וכלכליים כדי לקבל את ההחלטות נכונות במדיניות ציבורית באופן התואם לאופי הקהילה
- תעשיות ענק בתחומים של הנדסת מערכות, תחבורה ואנרגיה, שזקוקות לנתח נתונים ענק כדי לקבל החלטות שמפחיתות עלויות ומפחיתות השפעה סביבתית
- חברות בתחומים שונים כדוגמת חקלאות, כלכלה ורפואה שמקבלות החלטות אסטרטגיות באופן המבוסס על נתונים
- תחום ניהול מוצר – חברות מוצר משתמשות בביג דאטה על מנת לציור תובנות כדי לחזות את הביקוש מצד הלקוחות. באמצעות איסוף וניתוח נתונים חברות אלה בונות מודלים המאפשרים להן להכין חיזוי למוצרים ושירותים חדשים.
- חוויית לקוח – נתוני ביג דאטה משמשים לצורך שיפור חוויית הלקוח, במיוחד בענפים בהם התחרות ללקוחות חדשים ולשימור לקוחות קיימים היא גבוהה מאוד, ותמיד יש צורך להשתנות בהתאם להעדפות של הלקוחות.
- תחזוקה ומניעת תקלות – ניתוח של נתונים חריגים יכול לחזות מראש בעיות פוטנציאליות שעלולות להתרחש. לדוגמה, שנת הייצור של המכשיר החשמלי, הדגם והמודל של המכונה, השנה האחרונה בה כל מנוע עבר בדיקה וכדומה.
- קבלת החלטות עסקיות ויעילות תפעולית – נתוני ביג דאטה משמשים לשיפור קבלת החלטות עסקיות שונות, ניתוח והערכה של רמות ייצור, ניתוח והבנת משוב מלקוחות ועוד.
מי יכול להשתמש בביג דאטה?
באופן כללי כדי להשתמש בביג דאטה יש צורך לקבל מידע רב, ככל שנקבל מידע רב יותר נוכל לזהות דפוסים ולהסיק מסקנות בעזרת למידת מכונה שמאפשרת למחשב "ללמוד את המידע" בצורה טובה יותר, מטבע הדברים לתאגידי ענק יש גישה למידע רב יותר מה שמגדיל את כוחם בצורה משמעותית, יחד עם זאת חשוב לזכור שלא צריך להיות תאגיד ענק כדי להתחיל לעבוד עם ביג דאטה, המון מידע קיים היום ברשת, חלק ממנו בצורת API (גישה למידע של שירות חיצוני כלשהו), אתרי אינטרנט רגילים, משתמשים שמשתפים קבצי מידע ועוד..
אתר פופולארי לדוגמא נקרא Kaggle שמאפשר לשתף ולהוריד מערכי נתונים במגוון רחב של תחומים כמו ספורט, סרטים, אופנה, כלכלה, פסיכולוגיה ועוד המון נושאים שונים שקשורים ל Big Data ולמידת מכונה.
מערכות נפוצות לניהול מאגרי Big Data
- Apache Hadoop – מערכת פופולרית המבוססת על קוד פתוח, ומאפשרת לעבד כמות גדולה מאוד של מידע, בעיקר של קבצים כדוגמת אקסל. המערכת משתמשת במחשוב מבוזר על מנת למנוע אובדן של נתונים מצד אחד, ולאפשר עיבוד מהיר ויעיל שלהם מצד שני.
- Apache Cassandra – תוכנה חופשית שנועדה לעבד נתונים בהיקף של טרה-בית, המגיעים מפלטפורמות שונות של מקורות מידע. המערכת בנוסף מאפשרת כתיבה וקריאה מהירה של נתונים ופיזור ושילוב שלהם במקומות שונים ברשת.
- MongoDB – בסיס נתונים העובד עם טבלאות מקושרות, וניתן לתכנת אותו בשלוש שפות תכנות. בבסיס הנתונים הזה ניעזר בעיקר לצורך חיפושי שדה, ביטויים רגולריים, שאילתות המציגות מדגם אקראי ושאילות טווח.
- Couchbase – פלטפורמת מחשוב ענן ומסדי נתונים שמאפשרת לבצע מיליוני פעולות בשנייה. הפלטפורמה עובדת בתצורת NoSQL.
- Apache Spark – מערכת עיבוד מבוזרת המספקת פלטפורמה לניתוח נתונים מבוזרים. המערכת משתמשת בטכנולוגיות של מיפוי-הפצה-איחוד כדי לאפשר עיבוד נתונים מהיר וסינוכרוני.
- Apache Storm – מערכת לעיבוד של נתונים גדולים, באופן סינכרוני ובזמן אמת.
למה כדאי להיכנס לתחום Big Data ?
- שכר – השכר של אנשי ביג דאטה הוא מהגבוהים בתחום, וככל שמתקדמים למשרות ניהוליות השכר פורץ תקרות זכוכית. בנוסף, ניתן לעבוד כאנשי ביג דאטה גם באופן עצמאי כפרילנסרים ולתת שירות לארגונים קטנים ובינוניים.
- ביקוש – הביקוש לאנשי דאטה הוא עצום. חברות רבות מענפים רבים במשק מחפשות אנשי מקצוע שישלטו במידע, ינהלו אותו ויפיקו ממנו תועלת בהתאם למטרות הארגון. ניתן למצוא אנשי ביג דאטה בעסקים קטנים ובינוניים ועד לחברות ענק ממשלתיות.
- סיפוק – מקצוע ניתוח נתונים נחשב למקצוע מספק ומאתגר, בין היתר בגלל ההשפעה של המידע ואופן ניתוחו על ההחלטות המתקבלות בארגון. בנוסף, עבודה עם מאגרי נתונים גדולים דורשת חשיבה יצירתית ויכולת לפתור בעיות מורכבות בזמנים קצרים, מה שמשפר מאוד את היכולות האישיות.
- הזדמנויות עסקיות – בתחום הביג דאטה יש שפע של הזדמנויות עסקיות. הידע בתחום מאפשר להתקדם בתחומים מקבילים כמו תכנון עסקי, ייעוץ ארגוני, פיתוח תוכנה, ועוד.
סיכום
ישנם מגוון רחב של דרכים לאחסן מידע אבל כשמדובר בכמויות עצומות של נתונים עם קצב עדכון מהיר במיוחד וקושי בארגון וסדר הגיוני אז ביג דאטה הוא ללא ספק המלך הבלתי מעורער של תחום זה על מנת לנהל, לארגן ולהשתמש במידע בצורה הטובה ביותר, חברות רבות משתמשות ב Big Data על מנת להפוך את הארגון שלהם ליעיל וחכם יותר, בדרך זו ישנה אפשרות לקבל תובנות מורכבות ולבצע החלטות מהירות על בסיס המידע הקיים.
