אחד המשפטים המבאסים, בעיקר לדומיין experts, לקבל, הוא זה של החוקר ריץ׳ סוטון. במאמר מ-2019 הוא טבע את ה-Bitter Lesson, השיעור המר שעיקרו: לאורך זמן, שיטות שמנצלות יותר חישוב ויותר דאטה ינצחו שיטות חכמות, אנושיות, שנבנו ביד.
המשפט הזה הוכח לאורך ההיסטוריה, בניסיון של DARPA לזהות דיבור, במחשבי השחמט של פעם, במשחק Go וגם בזיהוי תמונה. כל ניסיון לקודד למחשב חוקים אנושיים, להסביר את מבנה המשחק, חוקי השפה, או לזהות אלמנטים שבן אדם מחפש בעצמו - הפסיד.
אנחנו אוהבים לחשוב שמהברקה של מפתח גאון, תימצא דרך אלגנטית לעקוף מפלצת של חישוב. זה אולי עובד לפעמים, אבל לרוב - לא. במיוחד לאחרונה שהמפלצת הזו מגיעה עם מאות אלפי GPUs ומרכיבה מודל שפה גדול.
מודל שפה גדול הוא לא קסם. הוא מפעל סטטיסטי שלוקח הררי טקסט, תמונות, וידאו, קוד, ומנסה ללמוד תבניות. הוא לומד מה מגיע אחרי מה. מה קשור למה. איך משפטים נראים. איך קוד נשבר. איך בני אדם משקרים לעצמם בלינקדאין, וכדי לעשות את זה, הוא צריך שני דברים: דאטה ומיחשוב.
דאטה יש לכולם. ספרים מאמזון. קוד מגיטהאב, תמונות מאינסטגרם, וידאו מהטלוויזיה ויוטיוב. האנושות בעצמה מייצרת כמויות אדירות של טקסט בכל שניה. אבל מיחשוב? זה כבר סיפור אחר.
סיפור על בטון, חשמל, מים, גז, קירור, שנאים, משאיות ואישורים, הרבה מאוד אישורים. וגם מעבדים. מי מצליח להשיג את אותם מעבדים. לחבר אותם אחד לשני, להאכיל אותם חשמל, לקרר אותם לפני שהם נמסים, ומי יכול לעשות את מהר יותר מהמתחרים.
מתישהו אחרי שקנה את X (אז טוויטר) אילון מאסק החליט שהדבר הבא הוא לא רק לבנות מודל שפה, אלא להשתלט על כוח המיחשוב שממנו מודלי שפה עשויים. להחלטה הזו קוראים Colossus, ומה שנבנה שם, בממפיס, הוא אחד הסיפורים המטורפים של תשתיות AI.
122 ימים בדיוק לקח מהיום שנחתם החוזה לרכישת מפעל Electrolux הישן ועד לאימון הראשון. זה פחות מהזמן שיקח לך להזמין מונה חכם מחברת חשמל. מאסק, או מר חשמל בשבילכם, יודע את זה. הוא לא התכוון לחכות לרשת החשמל בטנסי. הוא פשוט הזמין עשרות טורבינות גז ניידות והפעיל אותן. טורבינות מזהמות, שיושבות על משאית כמו טיל פ׳תאח איראני. מאסק קיבל על 15 מהן אישור, אבל עיתונאי שיגר רחפן והבחין ש-35 מופעלות, וגורמות לזיהום אוויר גדול משדה התעופה הסמוך.
והשכונות שמסביב, הן לא בדיוק הרצליה פיתוח. מדובר בקהילות שחורות, מוחלשות. וכשאין מספיק חשמל, מישהו, עם אסטמה חריפה, משלם את המחיר.
הזיהום הזה נמשך, עד שהושלם חיבור של 145 מגה-וואט ל-Grid, אבל גם זה לא הספיק. שאתה צורך חשמל של עיר, אז גם אתה חווה הפסקות חשמל של תושב, וקפיצות מתח שיכולות להרוס ציוד ואימון של מאות מיליוני דולרים. מאסק מתקין 168 סוללות megapack של טסלה כדי לגשר על הפער הזה, ומתמקד בבעיה הבאה - מים לקירור.
בממפיס, לא הסכימו שאף דאטה סנטר יגע באקוויפר המים שלהם. אחד המאגרים הטהורים ביותר בארה״ב שיושב סמוך לביצה המזוהמת ביותר. מאסק חותם על פרוייקט משותף למיחזור מים אפורים, מיזם שנדחק לאחרונה כדי לבנות את קולוסוס 2. האישורים מתמסמסים, ישיבות מתבטלות וקולוסוס 1 גוזר את הסרט למקבץ הגדול ביותר בעולם - 220,000 GPUs.
אבל זה רק ממפיס. בטקסס מאסק מרחיב דאטה סנטרים שמאמנים היום מודלים של נהיגה אוטונומית, FSD, כולל Unsupervised RoboTaxi וגם יאמנו את הדור הראשון של אופטימוס. מיליוני דקות של וידאו - כל נסיעה, כל כביש, וכל פעולה של ה-Humanoid Robot מגיעות לכאן לניתוח ושיפור המודלים, שנחשבו לא מכבר לשאפתניים ביותר של האנושות.
אבל יש משהו שאפתני יותר. הדאטה סנטר MacroHard במיסיסיפי, שהוא הלצה על Microsoft, רוצה לשנות את פני התוכנה. מיזם שמשלב בין מודל השפה של xAi, המוח, להבנה ועיבוד של ממשקים של Tesla, הידיים, וכוח המיחשוב האריגי של קולוסוס, הלב.
מוח, ידיים ולב - גוף שלם שיוכל להפעיל כל ממשק, בכל מערכת הפעלה, ולפתור כל בעיה חישובית. בשלב הראשון גוף שיאטמט כל תהליך עסקי בארגון, בשלב שני גוף שיבנה תוכנה מותאמת אישית לכל דורש, מאפס. MacroHard, אם יצליח, בעצם יעלים מהמפה את רוב חברות ה-FDE (Front Deployed Engineers). הוא יעשה כל מה שהן מבטיחות במהירות גבוהה ומחיר ללא תחרות.
לבינתיים, כוח המיחשוב הזה מושכר לחברות כמו Anysphere (אמא של קרסר) ו-Anthropic (אבא של קלוד), שמשלמת לה מעל מיליארד דולר בחודש.
זה קצת מוזר, הדאטה סנטר הזה נבנה כדי לאמן את Grok. להשכיר אותו לאנתרופיק זה כישלון? אולי להיפך.
המודלים של היום הם סופר אכזריים - גוגל, מטא, OpenAI ואנתרופיק - היום הם למעלה, מחר הם למטה, מחרתיים הם מתחרים עם מודל סיני בעשירית מחיר.
אבל מיחשוב? מיחשוב הוא מחסור, ואם אתה מחזיק בו אתה מחזיק כוח אמיתי. אנתרופיק ו-OpenAI במירוץ להנפקה. הן לא במצב לעצור, ובעולם שבו כל שאילתה היא חשמל, כל תשובה היא חום, מאסק מספק היום את החום הזה, גם במחיר של ברקס למודלים שלו. הוא לא חושב על המודל הבא, אלא על אוטונומיה שתשלב 2 חברות ענק שלו, טסלה ו-SpaceXAi. הראשונה - יודעת בטריות, אלקטרוניקה, שבבים ומפעלים. השניה - יודעת דאטה, מוצר, שרשרת הפצה וגם שילוח לחלל - הדאטה סנטרים הבאים, מפרק 37, צפויים להיות באפס כבידה.
אנחנו בעצם עדים לצוואר בקבוק חדש, מצ׳יפים לחשמל. בשנתיים האחרונות כולם שאלו מי משיג H100. בקרוב ישאלו מי משיג 500 מגה-וואט בלי להפיל חצי מדינה. מי משיג מים לקירור. מי מקבל היתר. מי מצליח לשכנע קהילה מקומית שהוא לא מזהם אותה בגז. אתה לא חייב להיות חברה שבונה דאטה סנטר, יהיו המון חברות לשיפור יעילות. אם compute יקר כל כך, כל מי שמוריד עלות inference חוסך הון. מי שעושה קוואנטיזציה, distillation, caching, routing, מצמצם קונטקסט הוא מלך.
קולוסוס הוא לא רק דאטה סנטר. הוא הצהרה, של מאסק. אתם רבים על מודלים? אני קונה קרקעות. אתם מתווכחים על alignment? אני מחבר עוד 300 מגה-וואט. אתם משיקים features? אני בונה מפעל למים אפורים.
בעולם הישן, חברות תוכנה נולדו במוסך. בעולם החדש, חברות תוכנה חייבות חברות AI כדי לשרוד, וחברות AI צריכות תחנת כוח.
חזרנו, בעצם, למאה ה-20. לחשמל, ומים, למפעלים ועשן. השאלה הבאה היא לא מי עבר את Opus 5 בבנצ׳מרקים, היא מי קיבל חיבור של ג׳יגה-וואט, וזו לא בעיית תוכנה, זו בעיה של מדינה.
תודה לארז, שהכיר לי את הסיפור של קולוסוס, ממפיס, הבלוז והרוק אנד רול.
עד הפעם הבאה, תהיו טובים, ותמשיכו להיות סקרנים. יאללה ביי.