איך אובר שמרה על הוצאות AI יציבות למרות זינוק של פי 9.4 בשימוש בסוכנים

אובר חרגה בתחילת השנה מתקציב ה-AI שלה ל-2026, אך לא הגיבה באמצעות הגבלת השימוש בכלים. במקום זאת, החברה התייחסה ל-AI כאל בעיית אופטימיזציה של עלויות הנדסיות: התאמת כל משימה למודל המתאים, הגבלת הקשר עודף, שימוש חוזר בפרומפטים שנשמרו במטמון והצגת העלות למהנדסים בזמן אמת. 1

הגישה הזו סייעה לאובר לשמור על הוצאה כוללת יציבה במידה רבה מאז אפריל, אף שמספר הבקשות השבועיות לסוכני AI גדל פי 9.4 מאז פברואר. באותו מודל AI, החברה דיווחה כי העלות ל-1,000 בקשות ירדה בכמעט 34% משיא אפריל, ואילו עלות סשן ירדה ב-52% משיא יוני. 1

השימוש ב-AI המשיך להתרחב

הירידה בעלויות לא נבעה מצמצום האימוץ. להפך: סוכני AI היו אחראים ליותר מ-70% מהגשות שינויי הקוד, המהנדסים הפעילו יותר מ-30,000 משימות סוכן מדי יום, ומספר העובדים שהשתמשו בכלי AI גדל ביותר מפי ארבעה. 1

השילוב בין שימוש גבוה בהרבה להוצאה יציבה יחסית מצביע על ירידה בעלות היחידה. אין פירוש הדבר שתהליכי העבודה הפכו לחינמיים; אובר פשוט שינתה את האופן שבו נצרכו טוקנים וקיבולת מודלים.

1. ניתוב משימות למודל שמתאים להן

אובר מנתבת כל משימה למודל שמסוגל לבצע אותה בעלות המתאימה ביותר, במקום להשתמש כברירת מחדל במודל החזק או היקר ביותר. משימות פשוטות יותר יכולות לעבור למודלים זולים יותר, בעוד שמשימות מורכבות מקבלות קיבולת מודל גבוהה יותר. החברה גם בוחנת חלופות, ובהן מודלים עם משקולות פתוחות, עבור מקרי שימוש מסוימים. 1

כך בחירת המודל הופכת להחלטה הנגזרת מסוג המשימה — ולא להגדרה אחידה לכל הארגון. בקנה מידה גדול, אפילו חיסכון קטן בבקשות שגרתיות יכול להשפיע באופן משמעותי על העלות הממוצעת למשימה.

2. הגבלת ההקשר של סוכנים ממושכים

אובר מגבילה סשנים אינטראקטיביים ל-400,000 טוקנים, גם כאשר המודל תומך בחלון הקשר של עד מיליון טוקנים. 1

המגבלה מטפלת באחד מסיכוני העלות המרכזיים של סוכני קוד: סשן יכול לצבור קבצים, תוצאות של כלי עבודה, הוראות והיסטוריית אינטראקציות חוזרות. ללא גבול ברור, סשנים ניסיוניים או כאלה שאינם מנוהלים היטב עלולים לעבד כמויות הולכות וגדלות של הקשר.

תקרת טוקנים אינה מבטלת את השימוש בסוכנים. היא יוצרת גבול צפוי לסשנים עתירי-הקשר ומספקת לצוותי ההנדסה נקודת בקרה לניהול הצריכה.

3. הארכת חיי המטמון של פרומפטים

אובר האריכה את משך השמירה במטמון של פרומפטים מחמש דקות לשעה. השינוי נועד להתאים לדפוסי העבודה של המהנדסים, שבהם סשן AI עשוי להישאר ללא פעילות יותר מחמש דקות לפני שהעבודה מתחדשת. 1

שימוש חוזר במטמון לאורך זמן רב יותר עשוי למנוע עיבוד חוזר של אותו הקשר. בתהליכי פיתוח מבוססי סוכנים, שבהם אותו מאגר קוד או אותן הוראות עשויים להיטען שוב ושוב, הדבר מפחית עיבוד מיותר של טוקנים בלי לשנות את המשימה עצמה.

4. הצגת העלות למהנדסים בזמן העבודה

אובר מציגה למהנדסים את העלות המצטברת של סשן AI בזמן אמת, בתוך הטרמינל שלהם. 1

כך השימוש הופך ללולאת משוב הנדסית מיידית. במקום לגלות רק בדוח כספי מאוחר שתהליך מסוים היה יקר, המהנדס יכול לראות את העלות בזמן הניסוי ולהתאים את הסשן, את המודל או את כמות ההקשר.

המהלך מכניס את מודעות העלות לתוך סביבת העבודה עצמה — המקום שבו מתקבלות ההחלטות לגבי פרומפטים, ניסיונות חוזרים, הקשר ובחירת מודל.

מה אפשר ללמוד מהתוצאה של אובר?

הניסיון של אובר ממחיש עיקרון רחב יותר: שליטה בהוצאות AI בארגון אינה רק עניין של תקציב. זו גם בעיה של תכנון מערכות.

הבקרות המרכזיות בדוגמה הזו הן:

• ניתוב מודלים לפי עומס העבודה: שימוש במודלים זולים יותר כאשר היכולות שלהם מספיקות.
• ניהול הקשר: קביעת גבולות לסשנים שעלולים לצבור היסטוריה עתירת טוקנים.
• שמירת פרומפטים במטמון: שימוש חוזר בהקשר קיים במקום עיבודו מחדש.
• מדידת עלות ליחידה: הצגת העלות השולית של תהליך AI לאנשים שמפעילים אותו.
• בחינת חלופות: בדיקת מודלים נוספים, כולל מודלים עם משקולות פתוחות, במקום להסתמך על מודל יחיד לכל משימה. 1

הבקרות האלה חשובות במיוחד בסוכני AI, משום שהעבודה שלהם איטרטיבית. בקשה אחת של משתמש יכולה להוביל לסבבים רבים של תכנון, הפעלת כלים, בדיקת תוצאות ותיקונים. לכן צריכת הטוקנים בתהליך כזה פחות צפויה מאשר באינטראקציה חד-פעמית עם צ'אטבוט.

את התוצאות של אובר כדאי לקרוא, אם כך, כדוגמה ליעילות תפעולית — ולא כהוכחה ששימוש מהיר וגדל ב-AI אינו כרוך בסיכון כספי. החברה שמרה על הוצאות יציבות במידה רבה רק לאחר ששינתה את כלכלת הבקשה והסשן. עבור ארגונים אחרים, המסר פשוט: יש להרחיב את האימוץ ואת ניהול העלויות במקביל, ולשלב מדידה בתוך כלי העבודה כבר מההתחלה.