הפודקאסט של מיכאל

ברוכים הבאים לפרק השני בפודקאסט שלי. היום נדבר על ChatGPT וההכרזות שלהם לעסקים.

אני אוהב את ההכרזות של OpenAI כי המוצרים בהם אשכרה זמינים. הדמואים רגועים יותר, וגם פה, 4 צעירים יושבים על ספה ומסבירים איך נראה ChatGPT לארגונים.

לפני שבועיים כתבתי על הדו"ח של מרי מיקר ואיך חברות ה-AI הגדולות מנסות להיכנס בצורה רוחבית לארגונים.

ה-ChatGPT לעסקים של OpenAI עושה בדיוק את זה. רוצה להיות ה-אפליקציה שבה עובדים מנווטים שאלות על החברה, על העולם וגם על עצמם.

אני לא יודע כמה המוצר הזה מתרומם כי הוא דורש שינוי חשיבה ושינוי התנהגות. אבל בוא נבדוק מה הוא נותן קודם, ואם שווה להתרגל בשבילו לממשק חדש.

ארגון הוא כאוס מסודר. מאות או אלפי עובדים שמייצרים תוכן בטקסט, שיחות וקבצים, המון קבצים. OpenAI לא מנסה להיות בית חדש לקבצים שלך. היא 20 שנה מאוחר במשחק הזה שחציו שייך למיקרוסופט וחציו לגוגל. היא מתחברת לקבצים במערכות האלה באמצעות קונקטורים. ויש קונקטורים גם למערכות ארגוניות אחרות, כמו לוח שנה ו-CRM כמו HubSpot.

אבל זו נקודה כואבת ל-OpenAI. המתחרות שלה (Q for Business, Glean של אמזון ו-Onyx) מתחברות כבר למאות מערכות. OpenAI גם מפרידה בין מערכות שזמינות בחיפוש מיידי (ויש מעט כאלו) למערכות שזמינות ב-deep research.

הרבה מושגים, תנו לי לעשות סדר.

כדי להתאים דאטה ל-LLM צריך להעביר אותו בתהליך אינדוקס שנקרא embedding, הוא מפרק את המידע לפסקאות של ידע שאותם אפשר למקם כווקטורים במרחב רב מימדי. תחשבו שפיסקה מתוך מסמך שמדבר על לקוח כלשהו (למשל רמי לוי) צריכה להיות בסמוך למצגת על עוף בשקל, ועשרות מיילים וזימונים במייל - כולם קשורים לרמי לוי. תהליך האינדוקס הזה אמנם חד פעמי, אבל ארוך. ובמיליוני פריטים הוא גם יקר מאוד.

אחרי שממקמים את כל הפריטים במרחב אפשר לבקש - "סכם לי אינטראקציות מהשנה האחרונה עם כל לקוחות הסופרמרקט של החברה" - והפסקאות הרלוונטיות ימשכו אל תוך החיפוש (בתהליך שנקרא Rag). זה מה שייתן לשיחה את ה-Context (ההקשר). זה מרגיש כמו קסם כי זה מה שזה - לראשונה אפשר להוסיף לשיחה טבעית מידע שהמודל לא התאמן עליו. אפשר גם לראות מקורות לכל חלק בתשובה, כולל לינק עמוק לפריטי המידע.

אז OpenAI מפרידה בין גישה כזו, שאפשר לשאול עליה כל שאלה ומיד, וזה דומה לצ'אט הרגיל של ChatGPT, ובין שאלות Deep Research, איטיות, ארוכות שהולכת למקורות (ולא לאינדקס שלהם).

מצד אחד, הגירסה הזו כושלת במשימה הבסיסית - להנגיש את כל הידע הארגוני מיד ובמקום אחד, מצד שני - היא היחידה מכל המוצרים שאני מכיר שמאפשרת deep research עמוק שמוציא תובנות.

"זו פעם ראשונה שמתכנתים, שלא רגילים לתשאל או לעבוד עם מערכות שאינן קוד, מקבלים גישה למידע ארגוני" - נאמר שם. מה שלא נאמר, שאינדוקס מידע ארגוני צריך להיעשות בזהירות ורגישות - כי הוא מכיל דברים שאני כעובד לא אמור לראות, כמו קבצים פרטיים או משכורות של המנהל שלי.

הדמו הראה עוד כמה דברים. קודם כל באג - אחת המתכנתות ביקשה מסמך שהיא יודעת שהוא קיים, והמודל לא מצא אותו - מעבר לבעיית אמינות של משתמש מול המודל, זו בעיית איחזור יותר משהיא בעיית מודל, והיא צפויה לגדול ככל שמוסיפים עוד ועוד מסמכים.

שנית - הראו איך עוברים מניתוח מידע טקסטואלי לגרף. הבעיה שהדגימו את זה גם בגרף וגם בקוד. "תראה לי את מספר המשתמשים הפעילים" - אני באמת רוצה לראות את הקוד שיצר את זה? למה? הבנתי שהגרף, יחד עם סיכומים נוספים שהיא הדגימה היה אמור להפוך למצגת, ב-look & feel הארגוני שלי, אבל לא ראיתי את זה קורה. התוצאה הסופית היא דו"ח טקסטואלי, ארוך וקצת משעמם.

עכשיו מישהי מציגה שירות תיקצור ותימלול שעובד ברקע ומסכם פגישות. זה קצת מוזר כי אף אחד לא מקליט שיחות ככה. חברות מנהלות אותן בגוגל מיט, זום או teams רחמנא ליצלן. למה שאלחץ על כפתור הקלטה במחשב שלי? מה אני, סוכן חשאי?

נראה ש-OpenAI צריכה לאנדקס עוד הרבה מקורות כדי שתוכנית ה-Business שלה תראה ביזנס. לבינתיים, היא מאפשרת לחברות ליצור MCP משלהן שאפשר לתכנת אותו כדי להביא דאטה חיצוני. זה רעיון מעולה (חברות אחרות מציעות crawler או api אישי בדיוק לזה), אבל רוב הארגונים רוצים שיעשו להם את העבודה. בלי קונקטורים, אין דאטה. בלי דאטה, אין טעם לצ'אט. בלי צ'אט, אני ירים את הראש מהמקלדת ואשאל את הקולגה שלי מה שאני צריך.

תודה למשה שם-טוב, גם הוא מ-Forter, שמדבר איתי כל היום על AI.

עד הפעם הבאה, תהיו טובים, ותמשיכו להיות סקרנים. יאללה ביי.