פרדוקס ההיסק של גרטנר: למה סוכני AI עלולים לעלות יותר דווקא כשהטוקנים מוזלים

מחירי הטוקנים של מודלי AI יורדים — אבל זה לא אומר שסוכני AI אוטונומיים הופכים לזולים יותר להפעלה. גרטנר מכנה את התופעה הזו "פרדוקס ההיסק": עלות ההיסק לתהליך עבודה של סוכן צפויה לעלות ביותר מפי חמישה עד סוף 2028, אף שמחירי הטוקנים צפויים לרדת ב-95% עד 2030. הסיבה היא שסוכנים מבצעים הרבה יותר חישוב ועבודה כדי להשלים משימה לעומת צ'אטבוט רגיל.

מהו פרדוקס ההיסק?

בצ'אטבוט פשוט, המשתמש שולח בקשה ומקבל תשובה. סוכן AI, לעומת זאת, עשוי לפרק יעד לשלבים, לתכנן את דרך הפעולה, לבחור כלים, לשלוף מידע, לפרש תוצאות, לבדוק את עבודתו, לתקן טעויות ולהחליט מה לעשות הלאה.

לכן המדד החשוב אינו רק מחירו של טוקן בודד. גם אם המחיר ליחידה יורד, מספר הטוקנים ומספר הקריאות למודל הנדרשים כדי להפיק תוצאה עסקית שימושית עלולים לגדול מהר יותר מהחיסכון. ירידת המחירים אף מעודדת ארגונים להשתמש במודלי הסקה מתקדמים יותר ולבנות תהליכים ארוכים ואוטונומיים יותר.

התחזית עוסקת בעלות ההיסק לתהליך עבודה שלם — לא רק במחירון הטוקנים. עלות ההיסק כוללת את החישוב הנדרש להפקת התוצאה הסופית, ובכלל זה פעילות חוזרת של המודל לאורך התהליך.

למה סוכנים צורכים יותר מצ'אטבוטים?

מערכות סוכניות מוסיפות שכבות עבודה בכמה נקודות:

• תכנון והסקה: המערכת מפרקת מטרה לשלבים, בוחנת חלופות ולעיתים חוזרת לתוכנית ומעדכנת אותה.
• שימוש בכלים: חיפושים, מסדי נתונים, ממשקי API, תוכנות וכלים חיצוניים יוצרים קלטים ופלטים נוספים.
• אימות: הסוכן עשוי לבקר, לבדוק או לאמת תוצאות ביניים ואת התוצאה הסופית.
• תהליכי למידה: שליפת זיכרונות, משוב, הערכה והתאמה מוסיפים פעילות נוספת של המודל.
• תיאום בין כמה סוכנים: האצלת משימות יוצרת הודעות, העברת הקשר, כפילויות ובדיקות של גורם מפקח.
• התאוששות מתקלות: כשל בקריאת כלי או תוצאה ברמת ביטחון נמוכה עלולים להפעיל ניסיון חוזר ותכנון מחדש.

ככל שההקשר מצטבר, קריאות מאוחרות יותר עשויות לכלול גם חלקים גדולים יותר מהמידע הקודם. מודלי הסקה מתקדמים מסוגלים לצרוך יותר טוקנים ומשאבי חישוב כשהם עוברים על כמה החלטות ברצף. לפי הדיווחים על ניתוח גרטנר, סוכנים עשויים לדרוש פי 5 עד פי 30 יותר טוקנים מצ'אטבוט עבור משימות מקבילות, אם כי הכמות המדויקת תלויה בתהליך ובתצורת המודל.

ההשפעה מצטברת: תהליך עשוי להשתמש בו-זמנית ביותר קריאות, בהקשרים ארוכים יותר ובמודלים יקרים יותר. לכן הבעיה אינה רק תעריף הטוקנים, אלא המכפלה של מחיר הטוקן, נפח הטוקנים, בחירת המודל ומבנה התהליך.

מה מלמד מודל ה-Tokenomics של גרטנר?

מודל ה-Tokenomics של גרטנר מתייחס לעבודה של AI כסולם של תרחישים בעלי דרגות מורכבות שונות, ולא כאל "בקשה" אחידה אחת. הדיווחים הפומביים מתארים את הסדר הכללי כך:

1. ביצוע סוכני בסיסי יקר יותר מאינטראקציה בסיסית עם צ'אטבוט.
2. תכנון מוסיף הסקה ותזמור.
3. למידה ושיפור איטרטיבי מוסיפים זיכרון, משוב, הערכה והתאמה.
4. הסקה מתקדמת היא קטגוריית העלות הגבוהה ביותר, משום שהיא דורשת חישוב מתוחכם ומתמשך יותר.

החומרים הפומביים תומכים בכיוון של מדרגת העלויות הזו ובסף המרכזי: ניתוב משימה למודל הסקה סוכני יכול להגדיל את עלות ההיסק לפחות פי חמישה לעומת צ'אטבוט בסיסי, והעלות עשויה לעלות עוד ככל שהמשימה מורכבת יותר. עם זאת, הדיווחים הזמינים אינם מספקים מכפילים מספריים אמינים, קטגוריה אחר קטגוריה, עבור תהליכי ביצוע בסיסיים, תכנון, למידה והסקה מתקדמת. לכן אין להציג נתונים כאלה כאילו הם מדדי ביצוע פומביים ומאומתים של גרטנר.

האם זה סותר את הירידה בעלויות של מודלי הקצה?

לא. הפרדוקס אינו אומר שהחומרה, ארכיטקטורת המודלים או כלכלת הטוקנים מפסיקות להשתפר. הוא אומר ששיפור היעילות עשוי לעודד ביקוש למערכות חזקות ומורכבות יותר.

כאשר מודלים מתקדמים נעשים זולים יותר להפעלה, ארגונים יכולים להצדיק שימושים שבעבר היו יקרים מדי. הם גם עשויים להעניק לסוכנים יותר אוטונומיה, יותר כלים, הקשרים ארוכים יותר ויותר הזדמנויות להסיק ולבדוק. כל אלה מגדילים את כמות ההיסק הנדרשת להשלמת כל משימה. לפי המסגור של גרטנר, היכולת והיקף השימוש עלולים לצמוח מהר יותר מירידת העלות ליחידה.

ההבחנה הזו חשובה במיוחד בתכנון מוצרי AI: מחיר נמוך יותר לטוקן עשוי לשפר את הכלכלה של עומס עבודה קבוע, אך אינו מבטיח עלות נמוכה יותר לתוצאה עסקית כאשר עומס העבודה עצמו משתנה.

איך ארגונים יכולים לשלוט בעלויות?

1. ליישם מדרג מודלים

יש להתאים את יכולת המודל לרמת הקושי של המשימה. משימות דטרמיניסטיות, שליפה, סיווג ומשימות בעלות סיכון נמוך אפשר לנתב למודלים קטנים או זולים יותר. מודלי הסקה מתקדמים צריכים להישמר לשלבים שבהם בדיקות מראות שהיכולת הנוספת שלהם משפרת את התוצאה במידה שמצדיקה את העלות. המלצות גרטנר שדווחו כוללות מדרוג הסקה, הגבלת טוקנים וניטור.

2. להציב גבולות למורכבות התהליך

כדאי לשלוט במשתנים שעלולים לגרום לסוכן לחרוג מהתקציב:

• מספר מרבי של תורות וטוקנים;
• מגבלות על ניסיונות חוזרים ותכנון מחדש;
• מכסות לקריאות לכלים;
• תקרות לגודל ההקשר;
• הגבלה על מספר הסוכנים שנוצרים במקביל; וכן
• תנאי עצירה להתנהגות בעלת ביטחון נמוך או להתנהגות חוזרנית.

שמירת תוצאות יציבות במטמון, קיצור או סיכום של היסטוריית השיחה, שימוש בפלטים מובנים מכלים והעברת מקרים חריגים לאדם יכולים לצמצם קריאות מיותרות — בלי לבטל את האוטונומיה במקומות שבהם היא יוצרת ערך.

3. למדוד עלות לתוצאה שהושלמה

עלות לטוקן ועלות להפעלת סוכן הן מדדים חלקיים בלבד. צוותים צריכים לעקוב גם אחר העלות של תוצאה עסקית שהושלמה — למשל טיפול במקרה, אישור תביעה, יצירת ליד איכותי או השלמת משימת הנדסה — לצד איכות, זמן תגובה, שיעור כשל והתערבות אנושית.

פיילוט אמין צריך להגדיר תהליך בסיס ורף איכות יעד לפני שבודקים אם הסוכן יוצר מספיק ערך כדי להצדיק הרחבה. אם הסוכן חוסך טוקנים אך אינו מספק תוצאה טובה או מהירה יותר, ייתכן שהחיסכון לכאורה אינו משמעותי.

4. להפוך תמחור לפי שימוש למבוקר

חיוב לפי שימוש עלול לחשוף ארגונים לעלויות בלתי צפויות כאשר תהליכים נעשים רקורסיביים, ארוכים או אוטונומיים מאוד. תקרות תקציב, מכסות לכל תהליך, ניטור עלויות בזמן אמת, התראות ומנגנוני חיוב פנימיים או הצגת עלויות למחלקות הופכים את הצריכה לשקופה עוד לפני הרחבה לייצור.

5. לבחון מחדש את המודלים באופן קבוע

כלכלת המודלים אינה קבועה. תהליך שנבנה סביב מודל קצה יקר עשוי לעבור בהמשך למודל זול יותר בעל יכולת מספקת, למודל שעבר זיקוק או התאמה, או לאוטומציה דטרמיניסטית. חשוב לבחון מחדש את השילוב בין המודל לתהליך, ולא להתייחס לארכיטקטורה הנוכחית כאל פתרון קבוע.

6. להרחיב אוטונומיה רק לאחר הוכחת ערך

גרטנר צופה שיותר מ-40% מיוזמות ה-AI הסוכני יבוטלו עד סוף 2027 בגלל עלויות גוברות, ערך עסקי לא ברור או בקרות סיכון לא מספקות. זו אזהרה מפני הרחבת האוטונומיה לפני שהכלכלה והממשל שלה מובנים — לא טענה שכל פריסת סוכנים תיכשל.

יישום שעבר אופטימיזציה יכול עדיין להניב החזר השקעה כאשר הוא מאיץ או מחליף תהליך בעל ערך שחוזר על עצמו. המבחן הוא פשוט: האם הערך הנוסף של הסקה, תיאום ואוטונומיה עולה על תוספת עלות ההיסק והתפעול?

השורה התחתונה

ההנחה הבטוחה ביותר היא שמחירי הטוקנים והעלות הכוללת של סוכנים עשויים לנוע בכיוונים מנוגדים. טוקנים הם רק מרכיב אחד בתקציב. יש למפות את התהליך המלא, להשתמש בתצורה הזולה והפחות מתקדמת שעומדת ביעד האיכות, להציב מגבלות תפעוליות ולהרחיב את האוטונומיה רק לאחר שהנתונים מהייצור מראים שהיא משפרת תוצאה עסקית מוגדרת.