1
00:00:00,800 --> 00:00:03,049
דמיינו שאתם רוצים לבנות גורד שחקים,

2
00:00:03,180 --> 00:00:07,659
אבל במקום לשכור חברת בנייה אחת ענקית, אתם פשוט פותחים קריאה באינטרנט.

3
00:00:08,260 --> 00:00:09,779
כל אחד יכול לבוא, עם פטיש,

4
00:00:09,859 --> 00:00:10,380
עם מברג,

5
00:00:10,460 --> 00:00:12,529
עם טרקטור קטן מהגינה, ולעזור.

6
00:00:13,100 --> 00:00:14,489
כל אחד עובד בזמן שלו,

7
00:00:14,579 --> 00:00:18,569
בקצב שלו, ואתם איכשהו צריכים לוודא שהבניין לא מתמוטט.

8
00:00:19,479 --> 00:00:20,649
נשמע כמו כאוס,

9
00:00:20,690 --> 00:00:20,959
נכון?

10
00:00:21,159 --> 00:00:21,360
ובכן,

11
00:00:21,569 --> 00:00:23,639
חברה בשם PrimeIntellect

12
00:00:24,010 --> 00:00:25,409
עשתה ממש את זה,

13
00:00:25,969 --> 00:00:27,520
אבל עם מודל AI של

14
00:00:27,690 --> 00:00:29,909
שלושים ושניים מיליארד פרמטרים.

15
00:00:30,729 --> 00:00:33,529
הפרויקט שלהם, INTELLECT-2, הוא ניסוי רדיקלי.

16
00:00:33,650 --> 00:00:34,919
זו הפעם הראשונה

17
00:00:35,409 --> 00:00:39,599
שמודל בסדר גודל כזה מאומן עם Reinforcement Learning

18
00:00:39,930 --> 00:00:40,360
על

19
00:00:40,569 --> 00:00:44,729
"רשת גלובלית, מבוזרת, וללא הרשאות של תורמי מיחשוב".

20
00:00:45,250 --> 00:00:46,279
במילים פשוטות:

21
00:00:46,830 --> 00:00:49,090
הם אימנו מודל ענק

22
00:00:49,389 --> 00:00:51,659
על נחיל של מחשבים ביתיים.

23
00:00:52,970 --> 00:00:58,150
אפשר להבין למה. במודל הנוכחי, אימון AI קורה בדאטה סנטרים מפלצתיים

24
00:00:58,529 --> 00:01:00,080
וסובל מבעיות קשות:

25
00:01:00,810 --> 00:01:04,269
עלות ונדירות של עשרות אלפי מעבדי GPU,

26
00:01:04,370 --> 00:01:06,120
צריכת אנרגיה אדירה,

27
00:01:06,410 --> 00:01:08,769
וריכוזיות של קומץ תאגידי ענק.

28
00:01:09,529 --> 00:01:12,500
ביזור יכול לרתום כוח מיחשוב עצום

29
00:01:12,650 --> 00:01:14,349
שיושב חסר מעש

30
00:01:14,769 --> 00:01:17,400
במחשבים אישיים של מיליונים ברחבי העולם.

31
00:01:18,500 --> 00:01:22,330
אז איך מנהלים "נחיל דינמי, הטרוגני של עובדים לא אמינים"?

32
00:01:22,860 --> 00:01:24,879
באמצעות שלושה עמודי תווך:

33
00:01:25,419 --> 00:01:28,790
הראשון הוא PRIME-RL, למידת חיזוק אסינכרונית.

34
00:01:29,199 --> 00:01:33,300
במקום שכולם יעבדו בסינכרון מושלם כמו סימפונט רעננה,

35
00:01:33,940 --> 00:01:35,620
הם הפכו את זה לפסטיבל ג'אז.

36
00:01:36,220 --> 00:01:38,279
כל "נגן" (תורם מיחשוב)

37
00:01:38,540 --> 00:01:41,739
מייצר נתונים באופן עצמאי ושולח אותם למרכז,

38
00:01:42,690 --> 00:01:46,690
והמנצח של התזמורת משלב את הכל כדי לעדכן את המודל.

39
00:01:47,480 --> 00:01:50,550
הניתוק הזה בין יצירת הנתונים לאימון עצמו

40
00:01:51,000 --> 00:01:55,470
מבטל את צוואר הבקבוק של התקשורת ומאפשר לכולם לעבוד

41
00:01:55,760 --> 00:01:56,720
בקצב שלהם.

42
00:01:57,400 --> 00:01:58,839
השני הוא SHARDCAST,

43
00:01:59,040 --> 00:02:00,099
הפצה יעילה.

44
00:02:00,360 --> 00:02:03,809
איך מפזרים מודל של עשרות ג'יגה-בייטים לאלפי מחשבים?

45
00:02:04,599 --> 00:02:06,069
כמו ש-Bitornet עושה -

46
00:02:06,559 --> 00:02:11,000
פיצול קבצים לחתיכות קטנות והפצה שלהם ברשת P2P.

47
00:02:11,639 --> 00:02:15,179
כל אחד מוריד חתיכות מהשכן, ולא משרת מרכזי.

48
00:02:16,199 --> 00:02:17,360
השלישי הוא TOPLOC,

49
00:02:17,570 --> 00:02:18,160
אימות אמין.

50
00:02:18,240 --> 00:02:20,479
איך נדע שהתורם לא מרמה?

51
00:02:21,169 --> 00:02:23,369
באמצעות נוטריון דיגיטלי.

52
00:02:23,740 --> 00:02:26,729
הוא בודק התאמה של החישובים באמצעות גיבוב מהיר

53
00:02:27,100 --> 00:02:28,860
ומשווה את התוצאה הצפוייה.

54
00:02:29,500 --> 00:02:34,899
זה עובד גם עם סוגי GPU שונים, שמפיקים חישובים שהם לא בהכרח דטרמינסטיים.

55
00:02:35,779 --> 00:02:39,059
כל אלה עובדים מצויין ב-Reinforcement Learning - מודל בו

56
00:02:39,070 --> 00:02:44,070
סוכנים חוקרים סביבה ומלמדים את עצמם על בסיס הצלחה וכישלון איטרטיבי.

57
00:02:44,809 --> 00:02:47,600
בעוד הפיזור קורה באלפי מחשבים חלשים,

58
00:02:48,250 --> 00:02:51,720
האימון עצמו עדיין מרוכז בכמה צמתים חזקים.

59
00:02:52,649 --> 00:02:54,419
אז אחרי כל ההסברים,

60
00:02:54,460 --> 00:02:55,369
בואו נדבר תכלס,

61
00:02:55,380 --> 00:02:56,210
האם זה עבד?

62
00:02:56,220 --> 00:02:56,929
התשובה

63
00:02:57,830 --> 00:02:58,160
היא... כן,

64
00:02:58,779 --> 00:02:59,240
אבל.

65
00:02:59,940 --> 00:03:05,690
INTELLECT-2 הראה שיפורים על פני מודל הבסיס שלו במשימות מתמטיקה

66
00:03:06,100 --> 00:03:08,440
וקידוד ספציפיות שעליהן אומן,

67
00:03:09,259 --> 00:03:12,690
אבל השיפורים במבחנים כלליים יותר היו "צנועים".

68
00:03:13,539 --> 00:03:14,429
וזה בסדר.

69
00:03:14,460 --> 00:03:16,380
כי המוצר האמיתי פה הוא לא המודל,

70
00:03:16,419 --> 00:03:17,580
אלא המתודולוגיה.

71
00:03:18,100 --> 00:03:20,369
זו הוכחת היתכנות מוצלחת.

72
00:03:21,070 --> 00:03:24,220
PrimeIntellect שחררו את כל התשתית בקוד פתוח –

73
00:03:24,679 --> 00:03:25,039
המודל,

74
00:03:25,160 --> 00:03:25,410
הקוד,

75
00:03:25,479 --> 00:03:26,470
יומני האימון –

76
00:03:26,839 --> 00:03:29,199
כדי לעודד מחקר נוסף בתחום.

77
00:03:30,000 --> 00:03:33,839
האם זה ניסוי נישתי, או תחילתה של תנועה אמיתית?

78
00:03:34,279 --> 00:03:39,429
האם נחיל של תורמים מהקהילה יכול באמת להתחרות בדאטה סנטר ייעודי של גוגל?

79
00:03:40,369 --> 00:03:44,809
הקרב על עתיד ה-AI הוא לא רק על מי יבנה את המודל הכי חכם,

80
00:03:45,449 --> 00:03:46,970
הוא גם על איך הוא ייבנה.

81
00:03:47,410 --> 00:03:50,419
האם הוא ייווצר במבצרי הסיליקון הסגורים

82
00:03:50,770 --> 00:03:52,289
של ענקיות הטק,

83
00:03:52,570 --> 00:03:54,360
או שהוא יצמח מלמטה,

84
00:03:54,610 --> 00:03:57,360
מתוך שיתוף פעולה גלובלי ופתוח?

85
00:03:58,270 --> 00:04:01,360
INTELLECT-2 הוא אולי לא התשובה הסופית,

86
00:04:01,960 --> 00:04:03,369
אבל הוא מראה לנו,

87
00:04:03,800 --> 00:04:04,589
שלראשונה,

88
00:04:05,240 --> 00:04:07,470
יש יותר מדרך אחת

89
00:04:07,800 --> 00:04:08,649
להגיע לשם.

90
00:04:09,970 --> 00:04:10,979
עד הפעם הבאה,

91
00:04:11,149 --> 00:04:13,559
תהיו טובים, ותמשיכו להיות סקרנים.

92
00:04:14,289 --> 00:04:14,690
יאללה ביי.