הפודקאסט של מיכאל

קרה לכם פעם ששאלתם את הבוס שאלה של כן/לא, וקיבלתם בתגובה הרצאה של חצי שעה? זה מתיש, נכון? וגם יקר, במיוחד אם הבוס הזה הוא מודל AI שגובה תשלום לפי מילה. גוגל בעצמה מודה שמודלי חשיבה יכולים להיות יקרים פי 6 מעיבוד רגיל, איטיים, ולפעמים תקועים ב-Loop אינסופי שהופך מודלים ללא-שמישים עבור הרבה יישומים בעולם האמיתי. הפתרון החדש והאלגנטי לבעיה הזו הוא מודלים היברידיים ו"תקציב המחשבה" שמאפשר לנו סוף סוף לשלוט בעוצמת החשיבה של ה-AI.

וזה לא רק קונספט, זה פיצ'ר שאפשר לשלוט בו דרך ה-API. גוגל הציגה את ה-Thinking Budget במודלי Gemini 2.5 Flash ו-Pro. הם פשוט נתנו למפתחים סליידר. אתה יכול להגדיר במפורש כמה טוקנים אתה מרשה למודל "לבזבז" על חשיבה פנימית לפני שהוא עונה. טולסי דושי, מנהלת מוצר ב-Gemini: "למון פרומפטים פשוטים, המודל חושב הרבה יותר ממה שהוא צריך". השליטה הזו מאפשרת למפתחים למצוא את האיזון הנכון בין איכות, עלות וזמן תגובה.

חברת Anthropic, עם Claude 3.7 Sonnet, לקחה גישה קצת שונה עם Extended Thinking, או "חשיבה מורחבת". כשאתה מפעיל את המצב הזה, התשובה מה-API כוללת לא רק את הפתרון הסופי, אלא גם את כל המונולוג הפנימי של המודל, עטוף בתגיות thinking מיוחדות. דובר מטעמם אמר: "הגישה שלנו מבוססת על האופן שבו המוח האנושי עובד. לבני אדם אין שני מוחות נפרדים לחשיבה מהירה מול חשיבה עמוקה... בעוד שאינטראקציות מסוימות דורשות תגובות מהירות, אחרות, כמו ניתוח פיננסי מורכב, דורשות חשיבה עמוקה וארוכה יותר". זה גם צעד ענק לכיוון שקיפות, שמאפשר לאמת את תהליך החשיבה של המודל.

הדילמה החדשה של המפתח היא כבר לא רק "באיזה מודל להשתמש?", אלא "איך להשתמש בו?", ואולי גם זה ייחסך מאיתנו עם הצגה של "מנצח החשיבה" (Reasoning Orchestrator). במקום שהאפליקציה תקבע תקציב מחשבה קבוע, יקומו מערכות-על שיידעו להקצות את התקציב באופן דינמי לכל שאילתה. המערכת תנתח את השאלה, תעריך את המורכבות שלה, ורק אז תחליט אם להפעיל את המוח המהיר והזול, או להעביר את הבקשה למסלול האיטי והיקר. האמת שזה feature שמאוד מזכיר את מודל ה-auto של Cursor שגם בוחר במודל המתאים, וגם את Claude code שישקיע יותר מחשבה אם תבקש ממנו to plan או to think really hard.

המדד להצלחה של מודל AI כבר לא יכול להיות רק ציון במבחן. זה משולש של דיוק, זמן תגובה ועלות. הטרנד הזה מסמל גם התבגרות בתעשייה. מההייפ של "גדול יותר זה תמיד טוב יותר" לבינה מלאכותית היברידית, פרקטית, בת-קיימא, ובעיקר - נשלטת. מודלים חושבים, שגם מציגים את ה-Thinking שלהם הם פחות מסתוריים, פחות קופסה שחורה ויותר קופסת זכוכית, שבה יש לנו נראות ושליטה על מה שקורה בפנים.

היכולת לחשוב היא מה שהופכת מודלי שפה לחזקים. היכולת לשלוט היא מה שתהפוך אותם לשימושיים.

עד הפעם הבאה, תהיו טובים, ותמשיכו להיות סקרנים. יאללה ביי.