Як Uber стримала витрати на ШІ, коли використання агентів зросло у 9,4 раза

Після того як витрати Uber на ШІ перевищили бюджет на 2026 рік, компанія не стала просто різко обмежувати доступ до інструментів. Натомість вона підійшла до проблеми як до завдання з оптимізації інженерних витрат: кожне навантаження почали спрямовувати до відповідної моделі, надмірний контекст — обмежувати, повторювані промпти — кешувати, а інженерам — показувати вартість їхніх сесій у реальному часі. 1

Такий підхід допоміг зберегти загальні витрати на ШІ приблизно стабільними з квітня, хоча кількість щотижневих запитів до ШІ-агентів зросла у 9,4 раза від лютого. За використання тієї самої моделі Uber повідомила, що вартість 1 000 запитів знизилася майже на 34% від квітневого піка, а вартість однієї сесії — на 52% від червневого максимуму. 1

Використання ШІ в Uber продовжило зростати

Економія виникла не через скорочення використання. Навпаки, впровадження інструментів розширилося: на ШІ-агентів припадало понад 70% подань змін до коду, інженери виконували більш як 30 000 агентних завдань щодня, а кількість працівників, які користуються ШІ-інструментами, зросла більш ніж учетверо. 1

Поєднання значно вищого навантаження зі стабільними загальними витратами вказує на зниження вартості одиниці роботи. Це не означає, що агентні завдання стали безкоштовними. Uber змінила спосіб використання токенів і обчислювальної потужності моделей.

1. Модель обирають під завдання

Uber спрямовує запит до моделі, яка може виконати конкретне завдання з найкращим співвідношенням можливостей і ціни, а не використовує найдорожчу чи найпотужнішу модель за замовчуванням. Простіші операції можна передавати дешевшим моделям, тоді як складніші отримують більшу потужність. Компанія також оцінює альтернативи, зокрема моделі з відкритими вагами, для окремих сценаріїв. 1

Отже, вибір моделі став рішенням, прив’язаним до типу навантаження, а не універсальним налаштуванням для всіх випадків. У великій організації навіть невелика економія на регулярних запитах помітно впливає на середню вартість одного завдання.

2. Довгі сесії агентів отримали ліміт

Uber обмежує інтерактивні сесії 400 000 токенами, навіть якщо модель підтримує контекст обсягом до одного мільйона токенів. 1

Це зменшує один із ключових ризиків агентного програмування: під час роботи сесія накопичує файли, результати викликів інструментів, інструкції та історію повторних взаємодій. Без обмеження дослідницька або погано контрольована сесія може поступово обробляти дедалі більший обсяг контексту.

Ліміт токенів не скасовує використання агентів. Він створює передбачувану верхню межу для найбільш ресурсоємних сесій і дає інженерним командам практичний інструмент контролю.

3. Термін дії кешу промптів збільшили

Uber подовжила час зберігання кешу промптів із п’яти хвилин до однієї години. Це краще відповідає реальному робочому ритму інженерів: сесія може простоювати довше за п’ять хвилин, перш ніж робота продовжиться. 1

Триваліше повторне використання кешу дає змогу не обробляти той самий контекст щоразу заново. У робочих процесах із ШІ-агентами, де протягом однієї сесії можуть повторно використовуватися той самий репозиторій або інструкції, це скорочує зайву обробку токенів без зміни самого завдання.

4. Інженерам показують поточну вартість

Uber дає інженерам змогу бачити в терміналі вартість ШІ-сесії в реальному часі. 1

Так витрати перетворюються на миттєвий зворотний зв’язок. Замість того щоб дізнатися про дорогий робочий процес із майбутнього фінансового звіту, інженер може побачити витрати під час експерименту й за потреби змінити сесію, модель або обсяг контексту.

Такий підхід переносить контроль вартості безпосередньо в робочий інструмент — туди, де фактично ухвалюються рішення щодо промптів, повторних спроб, контексту та вибору моделі.

Що досвід Uber означає для корпоративного ШІ

Приклад Uber демонструє ширший принцип: контроль витрат на корпоративний ШІ — це не лише питання бюджету. Це також завдання системного проєктування.

Найважливіші практичні механізми в цьому випадку такі:

• Маршрутизація за типом навантаження: дешевші моделі використовуються там, де їхніх можливостей достатньо.
• Керування контекстом: для сесій, здатних накопичувати великі обсяги історії та токенів, встановлюються обмеження.
• Кешування промптів: повторюваний контекст використовується повторно, а не обробляється з нуля.
• Телеметрія вартості: граничні витрати робочого процесу видно людям, які безпосередньо ним керують.
• Конкуренція між моделями: компанія оцінює альтернативи, зокрема моделі з відкритими вагами, замість прив’язки до одного варіанта для всіх завдань. 1

Це особливо важливо для ШІ-агентів, оскільки їхня робота має ітеративний характер. Один запит користувача може запустити кілька етапів планування, викликів інструментів, перевірки та виправлень. Через це загальне споживання токенів стає менш передбачуваним, ніж у разовій взаємодії з чат-ботом.

Результати Uber варто сприймати як приклад операційної ефективності, а не як доказ відсутності фінансових ризиків у разі стрімкого зростання використання ШІ. Компанії вдалося стабілізувати витрати після того, як вона змінила економіку кожного запиту та сесії. Для інших підприємств висновок простий: масштабування ШІ та контроль витрат потрібно розвивати паралельно, вбудовуючи вимірювання безпосередньо в робочі інструменти. 1