הפודקאסט של מיכאל

דמיינו שאתם רוצים לבנות גורד שחקים, אבל במקום לשכור חברת בנייה אחת ענקית, אתם פשוט פותחים קריאה באינטרנט. כל אחד יכול לבוא, עם פטיש, עם מברג, עם טרקטור קטן מהגינה, ולעזור. כל אחד עובד בזמן שלו, בקצב שלו, ואתם איכשהו צריכים לוודא שהבניין לא מתמוטט. נשמע כמו כאוס, נכון? ובכן, חברה בשם PrimeIntellect עשתה ממש את זה, אבל עם מודל AI של שלושים ושניים מיליארד פרמטרים.

הפרויקט שלהם, INTELLECT-2, הוא ניסוי רדיקלי. זו הפעם הראשונה שמודל בסדר גודל כזה מאומן עם Reinforcement Learning על "רשת גלובלית, מבוזרת, וללא הרשאות של תורמי מיחשוב". במילים פשוטות: הם אימנו מודל ענק על נחיל של מחשבים ביתיים.

אפשר להבין למה. במודל הנוכחי, אימון AI קורה בדאטה סנטרים מפלצתיים, וסובל מבעיות קשות: עלות ונדירות של עשרות אלפי מעבדי GPU, צריכת אנרגיה אדירה, וריכוזיות של קומץ תאגידי ענק. ביזור יכול לרתום כוח מיחשוב עצום שיושב חסר מעש במחשבים אישיים של מיליונים ברחבי העולם.

אז איך מנהלים "נחיל דינמי, הטרוגני של עובדים לא אמינים"? באמצעות שלושה עמודי תווך:

הראשון הוא PRIME-RL, למידת חיזוק אסינכרונית. במקום שכולם יעבדו בסינכרון מושלם כמו סימפונט רעננה, הם הפכו את זה לפסטיבל ג'אז. כל "נגן" (תורם מחשוב) מייצר נתונים באופן עצמאי ושולח אותם למרכז, והמנצח של התזמורת משלב את הכל כדי לעדכן את המודל. הניתוק הזה בין יצירת הנתונים לאימון עצמו מבטל את צוואר הבקבוק של התקשורת ומאפשר לכולם לעבוד בקצב שלהם.

השני הוא SHARDCAST, הפצה יעילה. איך מפזרים מודל של עשרות ג'יגה-בייטים לאלפי מחשבים? כמו ש-Bittorrent עושה - פיצול קבצים לחתיכות קטנות והפצה שלהם ברשת P2P. כל אחד מוריד חתיכות מהשכן, ולא משרת מרכזי.

השלישי הוא TOPLOC, אימות אמין. איך נדע שהתורם לא מרמה? באמצעות נוטריון דיגיטלי. הוא בודק התאמה של החישובים באמצעות גיבוב מהיר ומשווה את התוצאה הצפוייה. זה עובד גם עם סוגי GPU שונים, שמפיקים חישובים שהם לא בהכרח דטרמינסטיים.

כל אלה עובדים מצויין ב-Reinforcement Learning - מודל בו סוכנים חוקרים סביבה ומלמדים את עצמם על בסיס הצלחה וכישלון איטרטיבי. בעוד הפיזור קורה באלפי מחשבים חלשים, האימון עצמו עדיין מרוכז בכמה צמתים חזקים.

אז אחרי כל ההסברים, בואו נדבר תכלס. האם זה עבד? התשובה היא... כן, אבל. INTELLECT-2 הראה שיפורים על פני מודל הבסיס שלו במשימות מתמטיקה וקידוד ספציפיות שעליהן אומן. אבל, השיפורים במבחנים כלליים יותר היו "צנועים". וזה בסדר. כי המוצר האמיתי פה הוא לא המודל, אלא המתודולוגיה. זו הוכחת היתכנות מוצלחת. PrimeIntellect שחררו את כל התשתית בקוד פתוח – המודל, הקוד, יומני האימון – כדי לעודד מחקר נוסף בתחום. האם זה ניסוי נישתי, או תחילתה של תנועה אמיתית? האם נחיל של תורמים מהקהילה יכול באמת להתחרות בדאטה סנטר ייעודי של גוגל? הקרב על עתיד ה-AI הוא לא רק על מי יבנה את המודל הכי חכם. הוא גם על איך הוא ייבנה. האם הוא ייווצר במבצרי הסיליקון הסגורים של ענקיות הטק, או שהוא יצמח מלמטה, מתוך שיתוף פעולה גלובלי ופתוח? INTELLECT-2 הוא אולי לא התשובה הסופית, אבל הוא מראה לנו שלראשונה, יש יותר מדרך אחת להגיע לשם.

עד הפעם הבאה, תהיו טובים, ותמשיכו להיות סקרנים. יאללה ביי.