1
00:00:00,029 --> 00:00:01,629
אחד המשפטים המבאסים,

2
00:00:01,639 --> 00:00:08,159
בעיקר לדומיין experts, לקבל, הוא זה של החוקר ריץ׳ סוטון. במאמר מ-2019 הוא טבע את

3
00:00:08,159 --> 00:00:13,560
ה-Bitter Lesson, השיעור המר שעיקרו: לאורך זמן, שיטות שמנצלות

4
00:00:13,560 --> 00:00:17,139
יותר חישוב ויותר דאטה ינצחו שיטות חכמות,

5
00:00:17,399 --> 00:00:19,239
אנושיות, שנבנו ביד.

6
00:00:20,049 --> 00:00:24,170
המשפט הזה הוכח לאורך ההיסטוריה, בניסיון של DARPA לזהות דיבור,

7
00:00:24,170 --> 00:00:28,229
במחשבי השחמט של פעם, במשחק Go וגם בזיהוי תמונה.

8
00:00:28,690 --> 00:00:30,250
כל ניסיון לקודד למחשב

9
00:00:30,649 --> 00:00:31,459
חוקים אנושיים,

10
00:00:31,530 --> 00:00:32,810
להסביר את מבנה המשחק,

11
00:00:32,930 --> 00:00:36,689
חוקי השפה, או לזהות אלמנטים שבן אדם מחפש בעצמו -

12
00:00:37,349 --> 00:00:37,889
הפסיד.

13
00:00:38,299 --> 00:00:44,509
אנחנו אוהבים לחשוב שמהברקה של מפתח גאון, תימצא דרך אלגנטית לעקוף

14
00:00:44,509 --> 00:00:49,000
מפלצת של חישוב. זה אולי עובד לפעמים, אבל לרוב - לא.

15
00:00:49,069 --> 00:00:56,349
במיוחד לאחרונה שהמפלצת הזו מגיעה עם מאות אלפי GPUs ומרכיבה מודל שפה גדול.

16
00:00:56,950 --> 00:01:01,110
מודל שפה גדול הוא לא קסם. הוא מפעל סטטיסטי שלוקח הררי טקסט,

17
00:01:01,189 --> 00:01:04,620
תמונות, וידאו, קוד, ומנסה ללמוד תבניות.

18
00:01:04,629 --> 00:01:06,440
הוא לומד מה מגיע אחרי מה.

19
00:01:06,709 --> 00:01:07,580
מה קשור למה.

20
00:01:07,830 --> 00:01:08,790
איך משפטים נראים.

21
00:01:08,830 --> 00:01:09,510
איך קוד נשבר.

22
00:01:09,550 --> 00:01:14,989
איך בני אדם משקרים לעצמם בלינקדאין, וכדי לעשות את זה, הוא צריך שני דברים:

23
00:01:15,660 --> 00:01:17,150
דאטה ומיחשוב.

24
00:01:17,379 --> 00:01:18,419
דאטה יש לכולם.

25
00:01:18,830 --> 00:01:19,930
ספרים מאמזון.

26
00:01:19,940 --> 00:01:20,739
קוד מגיטהאב,

27
00:01:20,779 --> 00:01:21,739
תמונות מאינסטגרם,

28
00:01:22,059 --> 00:01:27,779
וידאו מהטלוויזיה ויוטיוב. האנושות בעצמה מייצרת כמויות אדירות של טקסט בכל שניה.

29
00:01:28,220 --> 00:01:31,620
אבל מיחשוב? זה כבר סיפור אחר.

30
00:01:32,099 --> 00:01:33,379
סיפור על בטון,

31
00:01:33,459 --> 00:01:33,940
חשמל,

32
00:01:34,019 --> 00:01:34,370
מים,

33
00:01:34,379 --> 00:01:34,739
גז,

34
00:01:35,180 --> 00:01:35,779
קירור,

35
00:01:35,940 --> 00:01:36,459
שנאים,

36
00:01:36,540 --> 00:01:41,080
משאיות ואישורים, הרבה מאוד אישורים. וגם מעבדים.

37
00:01:41,410 --> 00:01:43,440
מי מצליח להשיג את אותם מעבדים.

38
00:01:43,959 --> 00:01:45,199
לחבר אותם אחד לשני,

39
00:01:45,239 --> 00:01:46,440
להאכיל אותם חשמל,

40
00:01:46,800 --> 00:01:52,400
לקרר אותם לפני שהם נמסים, ומי יכול לעשות את מהר יותר מהמתחרים.

41
00:01:53,650 --> 00:01:58,330
מתישהו אחרי שקנה את X (אז טוויטר) אילון מאסק החליט שהדבר

42
00:01:58,330 --> 00:02:02,410
הבא הוא לא רק לבנות מודל שפה, אלא להשתלט על כוח

43
00:02:02,410 --> 00:02:08,490
המיחשוב שממנו מודלי שפה עשויים. להחלטה הזו קוראים Colossus, ומה שנבנה

44
00:02:08,490 --> 00:02:12,970
שם, בממפיס, הוא אחד הסיפורים המטורפים של תשתיות AI.

45
00:02:14,729 --> 00:02:18,449
122 ימים בדיוק לקח מהיום שנחתם החוזה לרכישת

46
00:02:18,449 --> 00:02:22,419
מפעל Electrolux הישן ועד לאימון הראשון. זה פחות

47
00:02:22,419 --> 00:02:29,000
מהזמן שיקח לך להזמין מונה חכם מחברת חשמל. מאסק, או מר חשמל בשבילכם, יודע את זה.

48
00:02:29,979 --> 00:02:35,380
הוא לא התכוון לחכות לרשת החשמל בטנסי. הוא פשוט הזמין עשרות טורבינות

49
00:02:35,380 --> 00:02:42,539
גז ניידות והפעיל אותן. טורבינות מזהמות, שיושבות על משאית כמו טיל פ׳תאח איראני.

50
00:02:43,250 --> 00:02:45,869
מאסק קיבל על 15 מהן אישור,

51
00:02:46,029 --> 00:02:50,070
אבל עיתונאי שיגר רחפן והבחין ש-35 מופעלות,

52
00:02:50,070 --> 00:02:53,630
וגורמות לזיהום אוויר גדול משדה התעופה הסמוך.

53
00:02:54,509 --> 00:02:57,699
והשכונות שמסביב, הן לא בדיוק הרצליה פיתוח.

54
00:02:58,059 --> 00:02:59,779
מדובר בקהילות שחורות,

55
00:02:59,899 --> 00:03:02,729
מוחלשות. וכשאין מספיק חשמל,

56
00:03:03,059 --> 00:03:06,539
מישהו, עם אסטמה חריפה, משלם את המחיר.

57
00:03:07,479 --> 00:03:11,520
הזיהום הזה נמשך, עד שהושלם חיבור של 145 מגה-וואט ל-Grid,

58
00:03:12,520 --> 00:03:17,360
אבל גם זה לא הספיק. שאתה צורך חשמל של עיר, אז גם אתה חווה

59
00:03:17,360 --> 00:03:24,080
הפסקות חשמל של תושב, וקפיצות מתח שיכולות להרוס ציוד ואימון של מאות מיליוני דולרים.

60
00:03:25,119 --> 00:03:32,720
מאסק מתקין 168 סוללות megapack של טסלה כדי לגשר על הפער הזה, ומתמקד בבעיה הבאה -

61
00:03:33,199 --> 00:03:34,479
מים לקירור.

62
00:03:35,369 --> 00:03:39,600
בממפיס, לא הסכימו שאף דאטה סנטר יגע באקוויפר המים שלהם.

63
00:03:39,649 --> 00:03:45,270
אחד המאגרים הטהורים ביותר בארה״ב שיושב סמוך לביצה המזוהמת ביותר.

64
00:03:45,809 --> 00:03:48,820
מאסק חותם על פרוייקט משותף למיחזור מים אפורים,

65
00:03:49,330 --> 00:03:53,139
מיזם שנדחק לאחרונה כדי לבנות את קולוסוס 2.

66
00:03:54,330 --> 00:03:55,490
האישורים מתמסמסים,

67
00:03:55,570 --> 00:04:01,550
ישיבות מתבטלות וקולוסוס 1 גוזר את הסרט למקבץ הגדול ביותר בעולם -

68
00:04:02,360 --> 00:04:04,070
220,000 GPUs.

69
00:04:04,839 --> 00:04:10,279
אבל זה רק ממפיס. בטקסס מאסק מרחיב דאטה סנטרים שמאמנים היום מודלים של נהיגה

70
00:04:10,279 --> 00:04:17,070
אוטונומית, FSD, כולל Unsupervised RoboTaxi וגם יאמנו את הדור הראשון של אופטימוס.

71
00:04:17,559 --> 00:04:19,209
מיליוני דקות של וידאו -

72
00:04:19,238 --> 00:04:24,000
כל נסיעה, כל כביש, וכל פעולה של ה-Humanoid Robot מגיעות לכאן

73
00:04:24,000 --> 00:04:30,200
לניתוח ושיפור המודלים, שנחשבו לא מכבר לשאפתניים ביותר של האנושות.

74
00:04:31,359 --> 00:04:32,920
אבל יש משהו שאפתני יותר.

75
00:04:33,160 --> 00:04:39,839
הדאטה סנטר MacroHard במיסיסיפי, שהוא הלצה על Microsoft, רוצה לשנות את פני התוכנה.

76
00:04:40,399 --> 00:04:47,540
מיזם שמשלב בין מודל השפה של xAi, המוח, להבנה ועיבוד של ממשקים של Tesla,

77
00:04:48,070 --> 00:04:51,390
הידיים, וכוח המיחשוב האריגי של קולוסוס,

78
00:04:51,600 --> 00:04:52,160
הלב.

79
00:04:53,040 --> 00:04:53,429
מוח,

80
00:04:53,440 --> 00:04:54,230
ידיים ולב -

81
00:04:54,239 --> 00:05:00,279
גוף שלם שיוכל להפעיל כל ממשק, בכל מערכת הפעלה, ולפתור כל בעיה חישובית.

82
00:05:01,059 --> 00:05:01,890
בשלב הראשון

83
00:05:01,899 --> 00:05:04,540
גוף שיאטמט כל תהליך עסקי בארגון,

84
00:05:04,940 --> 00:05:05,890
בשלב שני

85
00:05:05,899 --> 00:05:10,260
גוף שיבנה תוכנה מותאמת אישית לכל דורש, מאפס.

86
00:05:11,779 --> 00:05:14,920
MacroHard, אם יצליח, בעצם יעלים מהמפה את רוב חברות

87
00:05:15,850 --> 00:05:17,410
ה-FDE (Front Deployed Engineers).

88
00:05:17,700 --> 00:05:22,899
הוא יעשה כל מה שהן מבטיחות במהירות גבוהה ומחיר ללא תחרות.

89
00:05:23,890 --> 00:05:27,579
לבינתיים, כוח המיחשוב הזה מושכר לחברות כמו Anysphere

90
00:05:27,769 --> 00:05:30,399
(אמא של קרסר) ו-Anthropic

91
00:05:30,410 --> 00:05:36,209
(אבא של קלוד), שמשלמת לה מעל מיליארד דולר בחודש. זה קצת מוזר, הדאטה

92
00:05:36,209 --> 00:05:41,170
סנטר הזה נבנה כדי לאמן את Grok. להשכיר אותו לאנתרופיק זה כישלון?

93
00:05:42,380 --> 00:05:46,100
אולי להיפך. המודלים של היום הם סופר אכזריים - גוגל, מטא,

94
00:05:46,100 --> 00:05:50,010
OpenAI ואנתרופיק - היום הם למעלה, מחר הם למטה,

95
00:05:50,019 --> 00:05:55,619
מחרתיים הם מתחרים עם מודל סיני בעשירית מחיר. אבל מיחשוב? מיחשוב

96
00:05:55,619 --> 00:06:00,019
הוא מחסור, ואם אתה מחזיק בו אתה מחזיק כוח אמיתי.

97
00:06:00,730 --> 00:06:06,519
אנתרופיק ו-OpenAI במירוץ להנפקה. הן לא במצב לעצור, ובעולם

98
00:06:06,519 --> 00:06:10,049
שבו כל שאילתה היא חשמל, כל תשובה היא חום,

99
00:06:10,609 --> 00:06:15,970
מאסק מספק היום את החום הזה, גם במחיר של ברקס למודלים שלו.

100
00:06:16,649 --> 00:06:21,269
הוא לא חושב על המודל הבא, אלא על אוטונומיה שתשלב 2 חברות ענק שלו,

101
00:06:24,019 --> 00:06:26,140
טסלה ו-SpaceXAi. הראשונה - יודעת בטריות,

102
00:06:26,220 --> 00:06:26,970
אלקטרוניקה,

103
00:06:26,980 --> 00:06:28,320
שבבים ומפעלים.

104
00:06:28,730 --> 00:06:30,260
השניה - יודעת דאטה,

105
00:06:30,299 --> 00:06:30,820
מוצר,

106
00:06:30,899 --> 00:06:34,459
שרשרת הפצה וגם שילוח לחלל -

107
00:06:35,299 --> 00:06:40,220
הדאטה סנטרים הבאים, מפרק 37, צפויים להיות באפס כבידה.

108
00:06:41,239 --> 00:06:47,720
אנחנו בעצם עדים לצוואר בקבוק חדש, מצ׳יפים לחשמל. בשנתיים האחרונות כולם שאלו מי

109
00:06:47,720 --> 00:06:53,079
משיג H100. בקרוב ישאלו מי משיג 500 מגה-וואט בלי להפיל חצי מדינה.

110
00:06:53,760 --> 00:06:55,079
מי משיג מים לקירור.

111
00:06:55,440 --> 00:06:56,559
מי מקבל היתר.

112
00:06:56,839 --> 00:07:00,000
מי מצליח לשכנע קהילה מקומית שהוא לא מזהם אותה בגז.

113
00:07:00,769 --> 00:07:03,410
אתה לא חייב להיות חברה שבונה דאטה סנטר, יהיו

114
00:07:03,410 --> 00:07:07,320
המון חברות לשיפור יעילות. אם compute יקר כל כך,

115
00:07:07,540 --> 00:07:11,880
כל מי שמוריד עלות inference חוסך הון.

116
00:07:12,130 --> 00:07:13,760
מי שעושה קוואנטיזציה,

117
00:07:13,769 --> 00:07:14,290
distillation,

118
00:07:14,329 --> 00:07:14,769
caching,

119
00:07:15,049 --> 00:07:17,149
routing, מצמצם קונטקסט הוא מלך.

120
00:07:19,209 --> 00:07:21,519
קולוסוס הוא לא רק דאטה סנטר.

121
00:07:21,529 --> 00:07:23,250
הוא הצהרה, של מאסק.

122
00:07:23,290 --> 00:07:24,529
אתם רבים על מודלים?

123
00:07:24,769 --> 00:07:26,130
אני קונה קרקעות.

124
00:07:26,170 --> 00:07:30,239
אתם מתווכחים על alignment? אני מחבר עוד 300 מגה-וואט.

125
00:07:30,649 --> 00:07:32,000
אתם משיקים features?

126
00:07:32,410 --> 00:07:35,190
אני בונה מפעל למים אפורים.

127
00:07:36,329 --> 00:07:40,049
בעולם הישן, חברות תוכנה נולדו במוסך.

128
00:07:40,290 --> 00:07:48,130
בעולם החדש, חברות תוכנה חייבות חברות AI כדי לשרוד, וחברות AI צריכות תחנת כוח.

129
00:07:49,079 --> 00:07:52,489
חזרנו, בעצם, למאה ה-20. לחשמל, ומים,

130
00:07:52,559 --> 00:07:53,920
למפעלים ועשן.

131
00:07:54,600 --> 00:07:58,200
השאלה הבאה היא לא מי עבר את Opus 5 בבנצ׳מרקים,

132
00:07:58,640 --> 00:08:00,760
היא מי קיבל חיבור של ג׳יגה-וואט,

133
00:08:01,399 --> 00:08:03,279
וזו לא בעיית תוכנה,

134
00:08:03,720 --> 00:08:05,519
זו בעיה של מדינה.

135
00:08:06,720 --> 00:08:10,519
תודה לארז, שהכיר לי את הסיפור של קולוסוס, ממפיס,

136
00:08:10,640 --> 00:08:12,279
הבלוז והרוק אנד רול.

137
00:08:12,839 --> 00:08:15,839
עד הפעם הבאה, תהיו טובים, ותמשיכו להיות סקרנים.

138
00:08:16,239 --> 00:08:16,679
יאללה ביי.