אחד הדברים הכיפיים בטק, מעבר לעובדה שתמיד יש שניצל במרחק לחיצה, זה גישה לדאטה עצום. אני מדבר כמובן על חברות טק גדולות, ותיקות או צומחות, שצברו מספיק דאטה, וגם התקינו כלים לתשאל את הדאטה הזה. המסך הזה, הריק, שממתין לשאילתת SQL שלך יכול להיות פתח להמון תובנות. הוא ממש מחכה שתגאל אותו מהסוד שהוא מחזיק, מה-insight שיציל את החברה, שיאושש או יפריך איזה a/b test.

אותי זה מרגש, אולי כי אני נזכר איך נראה העולם הישן. עולם ה-Data Warehouses - מפלצות ענקיות של Terradata או Oracle או MS-SQL Server, ששילמת עבורם עשרות, מאות אלפי דולרים. גם על הרישיון, וגם על החומרה. חומרה שקנית שתספיק לך ל-Black Friday אבל שילמת עליה 24/7 גם באמצע אוגוסט שכולם זוללים סופלקי ביוון.

ואז, בצד השני של העיר, נולד פתרון אחר. הפיל הצהוב, Hadoop. לא ממש נולד. גוגל הפיצה את המתכון ב-2004 ושני מתכנתים, דאג קאטינג ומייק קאפרלה בישלו אותו. ההבטחה: להריץ שאילתות סופר כבדות על מחשבים זולים. בפועל: השאילתות לא היו SQL, אלא קוד, Java. ניהול מאות מחשבים זולים הפך לבעיית Devop יקרה ותהליך קבלת התשובה (שנקרא MapReduce) - היה לוקח שעות.

בין 2008 ל-2012 האדופ עבר מטמורפוזה. הוא אומץ ע"י מתחרי גוגל (יאהו ופייסבוק), נוספה לו תמיכה ב-SQL עם Apache Hive ואמזון החלה להציע תשתית כשירות. Hadoop הפך מ"בלתי אפשרי" ל"קשה אבל אפשרי".

בשוק נוצר ואקום מושלם. מצד אחד ה-Data Warehouses הישנים, קלים לשימוש, רק שאילצו את המנכ"ל למכור תוספתן. מצד שני, Hadoop שרץ על חומרה זולה אבל בלתי שמיש לצרכי הארגון. השוק היה מת למוצר שישלב את שני העולמות, ולתוך הוואקום קפצה ראשונה סנופלייק.

בניגוד ל-Hadoop שיצא מוקדם והיה בלאגן שנים, את סנופלייק ייסדו ב-2012 ושיחררו ב-2014. בנואה דאז'וייל, טיירי קרואן (הצרפתים) ומרצ'ין ז'וקובסקי הפולני היו כל כך מרוכזים בלכתוב משהו מאפס, שהם החליטו לשים כמנכ"ל את אחד המשקיעים הראשונים - מייק ספייסר.

באוקטובר 2014, הם הציגו רעיון כה פשוט, שזה מכאיב. Separation of storage and compute. מה זה אומר? שאתה מאחסן את כל הדאטה שלך ב-Storage זול, כמו S3 של אמזון, ורק כשאתה רוצה לשאול שאלה, אתה "מעיר" מחשב. סנופלייק קוראים לזה Virtual Warehouse, והמחשב הזה, שהוא קלאסטר של שרתים קם לחיים, מצחצח שיניים, מסתרק, שואב את הדאטה שהוא צריך מה-Storage, עושה את החישוב, וכמו כל עובד מצטיין, מחזיר לך תשובה וחוזר לישון. ואתה? משלם רק על השניות שהמחשב היה דלוק.

זהו. זו המהפכה. אחת לכמה זמן הארגון מחליט איזה גודל Warehouses להרשות. צוות BI מלטף את הדאטה הזה מדי יום, אז הוא מקבל גישה למיחשוב ענק. באותו זמן, צוות ההנדסה משתמש באחד קטן יותר, לאותם נתונים ממש, והם לא מפריעים אחד לשני. זה פתר את בעיית העלות, בעיית ה-Concurrency (עיבוד מקבילי) ובעיקר גרם, לכל עובד, להרגיש כמו פתית שלג חכם ומיוחד.

סנופלייק דשדשה יחסית עד 2019, ואז הגיע פרנק סלוטמן. מנכ"ל ומנפיק סדרתי שבא להילחם. ב-All Hands הראשון הוא גם אמר: "הביזנס שלנו הוא משחק סכום אפס. מלחמה. לכל הפחות - אפים ידממו." ההצלחה המטאורית של סנופלייק מאז היא לא רק טכנולוגית. היא שילוב קטלני של ארכיטקטורה אלגנטית ו-execution צבאי של המנכ"ל שלה. סלוטמן הפך את סנופלייק למכונת מלחמה שמוכרת לאדובי, קפיטל וואן ו-Delta Airlines.

כמעט במקביל, קבוצה של לא פחות מ-7 מייסדים עושה פיץ' לבן הורוביץ - מצגת שהוא תיאר "כאחת הגרועות שראה אי פעם". למזלם, הם אלה שהמציאו את Apache Spark - התשובה ל-MapReduce המשתעל של Hadoop. גם פה, מהפכה שהיא כל כך פשוטה בתיאוריה - "מה אם במקום לקרוא ולכתוב מהדיסק כל הזמן, נעשה הכל בזיכרון?" התוצאה הייתה שאילתות מהירות פי 100. פתאום ביג דאטה הפך ממשהו תיאורטי שכולם מדברים עליו למשהו שאשכרה אפשר לעשות איתו, כולל Machine Learning בזמן אמת.

אבל Spark, כמו הפיל הצהוב, היה מפלצת לתפעול. להרים קלאסטר, לנהל אותו, לעדכן ספריות… סיוט. המייסדים של דאטהבריקס המציאו את המנוע, ואז קלטו שאף אחד לא יודע לבנות סביבו מכונית. הם הקימו את Databricks כדי למכור Spark-as-a-service.

אבל אמרנו, ארכיטקטורה זה לא מספיק, צריך גם סיפור, ומושג, אז המציאו את ה-Delta Lake. שכבה חכמה שיושבת על כל הדאטה הגולמי, ומוסיפה להם יכולות של דאטהבייס רציני: ACID, Time Travel ו-Governance. בעברית - הם אפשרו להרבה אנשים, לקבל הרשאות שונות, לבצע שינויים במקביל, וגם undo לשינויים האלה, מבלי לדרוך על בהונות.

לתקופה קצרה, החלוקה בין החברות הייתה ברורה. הם היו best buds. דאטהבריקס הייתה שולחת לקוחות לסנופלייק ואומרת "ל-BI ו-SQL, לכו אליהם", וסנופלייק הייתה אומרת "ל-Machine Learning ו-Python, לכו ל-Databricks".

אבל אז... כל דשא התחיל להיראות ירוק ושווה הרבה יותר.

סנופלייק קלטו שהעתיד הוא AI, ואין מצב שיישארו רק "בסיס נתונים מהיר ל-SQL". הם השיקו את Snowpark ואמרו: "מפתחי Python יקרים, תישארו בכפכפים, אל תזיזו את הדאטה שלכם, בואו ותריצו את הקוד שלכם, את ה-Pandas, את ה-Scikit-learn אצלנו."

כן. גם במהירות האור, להזיז בוחטה של נתונים לדאטה סנטר אחר זה איטי, ויקר. עם Snowpark אתה מנצל את הדאטה ש-Snowflake כבר מכירה. מאחורי הקלעים, Snowpark הוא בגדול מתורגמן מ-DataFrames ל-SQL.

סנופלייק רכשה גם את Streamlight, כדי לאפשר בניית אפליקציות מעל הדאטה ומעל התשובות. טוב לא ממש אפליקציות, יותר דאשבורדים, גרפים וקצת אינטראקציה. פתרון חיוור יחסית ל-Tableau .

דאטהבריקס קלטו שהכסף הגדול עדיין יושב ב-BI ושמנכ"לים מאוד אוהבים דאשבורדים. הביצועים שלהם ב-SQL לא היו משהו, אז הם השיקו את Photon, מנוע תישאול חדש, כתוב מחדש ב-C++ שהאיץ להם את ה-SQL לרמות של סנופלייק. אבל, דאטהבריקס בשלב הזה שווה מיליארדים, וספינה של מיליארדים קשה לסובב. בעוד שסנופלייק היא מוצר שפשוט עובד, דאטהבריקס היא פלטפורמה, גמישה בטירוף, אבל מכריחה אותך לעבוד, להגדיר, להתקין. ההשקה של דאטהבריקס SQL גרמה לסנופלייק להיראות טוב יותר.

מעניין. את סנופלייק וגם את דאטהבריקס אפשר "להזמין" דרך ה-Marketplace של AWS, אז'ור או גוגל. למה שמישהו יעשה את זה במקום לקנות מהם ישירות?

הסיבה הראשונה משעממת. קונסולידציה. ה-CFO שלך רוצה חשבונית אחת בסוף החודש. לא אחת מ-AWS, ועוד אחת מסנופלייק, או מ-Datadog. גם ה-Legal מעדיף את זה ככה - עסקאות ב-Marketplace הם עם צדדים שמוכרים לספק הענן, חיים בחוזה שהוא סיפק ויש להם לא מעט הגנות.

הסיבה השניה, היא כנראה הסוד האמיתי של התעשייה. שריפת קרדיטים. ארגונים גדולים חותמים על התחייבות, Enterprise Discount Program או EDP. הם מתחייבים, נגיד, להוציא 50 מיליון דולר בענן של גוגל בשלוש השנים הקרובות, ומקבלים מהם הנחה גדולה.

אבל מה קורה כשמגיעים לשנה השלישית, ופתאום ה-CTO קולט שהוא הולך לבזבז "רק" 40 מיליון? הוא עומד לאבד עשרה מיליון בקרדיטים שהתחייב אליהם. זה נראה נורא מול הבורד.

ואז בא איש המכירות של גוגל ואומר לו "חביבי, אל תדאג, בוא תוריד פאניקה, תקנה את הרישיון ל-Snowflake או Databricks דרכנו. עשרת מיליון הדולר יספרו לך כחלק מההתחייבות שלך אלינו".

ה-Marketplace הוא לא חנות. הוא לא רק שוק. הוא "בית סליקה" פיננסי. הוא מאפשר לגוגל להבטיח שהיא "נועלת" את ההתחייבות של הלקוח (ה-EDP). הלקוח מרוצה (לא 'איבד' כסף), ה-ISV (סנופלייק/דאטהבריקס) מרוצה (חתם עסקה מהר), וגוגל מרוצה (נעלנו את הלקוח, חיזקנו את האקוסיסטם, ועכשיו סנופלייק תלויה בנו עוד יותר).

כמה עמלה לוקחות ספקיות הענן על התענוג הזה? בין 3 ל-1.5%. אבל רגע, הם לא רק לוקחים עמלה. הם מרוויחים גם מה-Compute וה-Storage שסנופלייק ודאטהבריקס מריצים על התשתיות שלהם. גאוני. אגב בכל אחד מהעננים האלה, יש גם מתחרה מקומי:

ב-AWS, זו Amazon Redshift. היום, טכנולוגיה מיושנת.

ב-GCP, זה Google BigQuery. פתרון serverless אמיתי אבל מתאים למי שרץ על גוגל, ואין שם מספיק Enterprises.

ב-Azure, זה לא מוצר אחד, אלא אריג, Microsoft Fabric. שעושה מה שמיקרוסופט עושה הכי טוב: "Embrace, Extend, Extinguish". הם הסתכלו על הבלגן ואמרו: 'למה הלקוחות שלנו צריכים לקנות גם דאטהבריקס (ל-Spark), סנופלייק (ל-SQL), ו-Power BI? בוא נארוז הכל לאגם אחד, OneLake לכל הדאטה וכל סוגי העיבוד. האם זה מוצר אמיתי? אני לא יודע, לא השתמשתי. אני לא נוגע ב-Azure גם אם תשלם לי בנדיבות, אבל במיקרוסופט, כמו בגוגל ואמזון - זו כבר לא תחרות על פיצ'ר, אלא תחרות על באנדל. איפה הדאטה שלי נמצא, איפה המיחשוב, כמה מהר אני צריך אותו והאם יש לי אנשים שיודעים להביא לי אותו.

אוקיי. אז דיברנו על SQL, דיברנו על BI, דיברנו על כסף. אבל אלו חימום. הקרב האמיתי, הקרב על העתיד, הוא על מי יהיה "מוח ה-AI" של הארגון. ב-GenAI צריך המון דאטה שהוא לא מובנה (PDFים, הקלטות וידאו, תמונות). כש-GenAI התפוצץ, בדאטהבריקס פתחו שמפניות. הם האמינו שהם, ולא במקרה, הפלטפורמה המושלמת ל-Workload הכי חדש והכי חם בעולם. הם הצטיידו ב-MosiacML ב1.3 מיליארד דולר, השיקו את DBRX ו-Agent Bricks עם מסר ברור: "בואו תבנו אצלנו מודלים". מהדאטה, דרך האימון ועד ל-Serving - דאטהבריקס מציעה למדענים, שוב, את אבני הבניין.

בסנופלייק, לעומת זאת, נכנסו לפאניקה. הבורד שלהם זימן את פרנק סלוטמן, אולי המנכ"ל הכי מצליח בתולדות התוכנה ואמר לו: "תודה רבה, אתה איש של SQL ו-Execution, אנחנו צריכים איש AI". סרידר רמסוואמי, בכיר מגוגל, לקח את המושכות. האסטרטגיה שלו, כמו של קודמו: "אל תבנו כלום, פשוט תשתמשו". סנופלייק השיקה את Cortex AI - שמאפשר לשאול שאלות באנגלית פשוטה או SQL פשוטה והם כבר יריצו מודל AI מאחורי הקלעים. סנופלייק כמו סנופלייק, רוצים להיות שימושיים ל-90% מהארגונים שלא רוצים לאמן מודל בעצמם.

הקרב התלהט ועבר להתקפה על סגור מול פתוח. דאטהבריקס צעקה מתחת לכל עץ רענן שדאטה בסנופלייק נעול, ואכן הפורמט שלה FDN - סגור. בלתי אפשרי לתשאל אותו או להעביר אותו מבלי לעבור דרך סנופלייק. דאטהבריקס מאידך, פתוחה - Delta Lake הוא Open Source!

זה היה קו התקפה מבריק, כי הוא נכון. רמסוואמי התראיין ואמר: "להרוויח כסף מאחסון היתה טעות אסטרטגית של סנופלייק". השוק הולך ל"פתוח". סנופלייק מאז הלכה בכל הכח על Apache Iceberg, פורמט פתוח שמתחרה ב-Delta Lake והוציאה את Polaris Catalog, גם הוא בקוד פתוח שמנגיש טבלאות Iceberg לכל כלי תשאול.

הקרב עכשיו הוא כבר לא "פתוח נגד סגור". הוא על "איזה קטלוג פתוח ינצח": Unity של דאטהבריקס, או Polaris של סנופלייק. רוצים לשמוע קטע? דאטהבריקס הודיעה ש-Unity שלה יתמוך גם ב-Iceberg. אני מציע שהם פשוט יקחו חדר, ויתמזגו.

אז איך כל המלחמה הזו נוגעת בנו כאן, בסיליקון וואדי? שתי החברות מחזיקות פה גם R&D וגם משרדי מכירות. שתיהן מוכרות חזק לסטארטפים מקומיים. סנופלייק בתל-אביב, דאטהבריקס בהרצליה.

נו, ומי ינצח בכל הבלגן? לדעתי - סנופלייק. חברות שרוצות לבנות מודלי AI משלהן ילכו לדאטהבריקס - יש לה את הכלים, הגמישות והמורכבות בשביל זה. 90% מהארגונים האחרים? שכל מה שהם רוצים זה שהצ'טבוט של התמיכה יעבוד, או שהאנליסט יוכל לתשאל טבלת מכירות, ילכו לסנופלייק. הפשטות של Cortex AI תנצח פשוט כי לאף אחד אין ראש לפתח מודל משלו - אלא אם אתה אובר או נטפליקס.

ה-NRR של Snowflake הוא 125%. לקוחות משלמים לה עוד 25% בכל שנה. לא בגלל פיצ'רים חדשים אלא כי הדאטה שלהם, והשימוש שלהם גדל.

אל תתבלבלו. כל שאילתה שאתם מריצים בסנופלייק, כל מודל שאתם מאמנים בדאטהבריקס... מישהו משלם על ה-CPU ועל ה-Storage. והמישהו הזה הוא אתם. בסוף היום, הכסף הזה הולך לאנדי ג'סי, לסאטיה נאדלה וסונדאר פיצ'אי.

שתי החברות האלה הן פשוט שכבת תוכנה, מאוד חכמה, שיושבת On-Top ומוכרת לנו בחזרה את התשתיות של ענקיות הענן. הם משלמים שכר דירה לאמזון, ומוכרים לנו את הדירה במחיר פרימיום. המודל הכי טוב בהייטק.

הבחירה ביניהם היא פילוסופית. אתה רוצה סנופלייק? את האייפון, מלוטש, סגור ופשוט עובד, או שאתה רוצה דאטהבריקס - את האנדרויד - פתוח, גמיש אבל עם קצת חומוס בקצוות?

הבחירה בידכם.

עד הפעם הבאה, תהיו טובים, ותמשיכו להיות סקרנים. יאללה ביי.