Jak Uber utrzymał wydatki na AI na stałym poziomie, mimo 9,4-krotnego wzrostu użycia agentów

Uber początkowo przekroczył budżet na AI zaplanowany na 2026 rok, ale nie zareagował na to prostym ograniczeniem dostępu do narzędzi. Zamiast tego potraktował wykorzystanie AI jako problem optymalizacji kosztów inżynieryjnych: dopasował model do rodzaju zadania, ograniczył nadmiernie rozbudowany kontekst, wydłużył czas przechowywania pamięci podręcznej promptów i pokazał inżynierom, ile kosztują ich sesje. 1

Takie podejście pozwoliło utrzymać całkowite wydatki na AI na względnie stałym poziomie od kwietnia, podczas gdy tygodniowa liczba żądań obsługiwanych przez agentów AI wzrosła od lutego 9,4-krotnie. Przy wykorzystaniu tego samego modelu Uber odnotował niemal 34-procentowy spadek kosztu 1000 żądań względem kwietniowego szczytu. Koszt pojedynczej sesji zmniejszył się natomiast o 52% w porównaniu z czerwcowym maksimum. 1

Wykorzystanie AI rosło, a koszty nie podążały za nim

Obniżenie kosztów nastąpiło w czasie ekspansji, a nie ograniczania użycia. Agenci AI odpowiadali za ponad 70% zgłoszeń zmian w kodzie, inżynierowie wykonywali dziennie ponad 30 000 zadań z udziałem agentów, a liczba pracowników korzystających z narzędzi AI wzrosła ponad czterokrotnie. 1

Połączenie znacznie większego wykorzystania z zasadniczo stabilnymi wydatkami wskazuje na spadek kosztu jednostkowego. Nie oznacza to, że praca agentów stała się bezpłatna. Uber zmienił po prostu sposób, w jaki zużywane są tokeny i moc obliczeniowa modeli.

1. Dobór modelu do konkretnego zadania

Uber kieruje zadania do modelu, który może je wykonać przy najlepszym stosunku możliwości do ceny, zamiast domyślnie używać najbardziej zaawansowanego i najdroższego rozwiązania. Prostsze zadania trafiają do tańszych modeli, natomiast bardziej wymagające otrzymują większą moc modelu. Firma analizuje również alternatywy, w tym modele z otwartymi wagami, pod kątem określonych zastosowań. 1

W efekcie wybór modelu staje się decyzją zależną od obciążenia, a nie uniwersalnym ustawieniem dla całej organizacji. Przy dużej skali nawet niewielkie oszczędności na rutynowych żądaniach mogą wyraźnie obniżyć średni koszt zadania.

2. Ograniczenie długości sesji agenta

Uber ogranicza interaktywne sesje do 400 000 tokenów, nawet jeśli dany model obsługuje kontekst o długości do miliona tokenów. 1

Limit odpowiada na jedno z głównych zagrożeń kosztowych związanych z agentami programistycznymi. W trakcie sesji mogą gromadzić się pliki, wyniki działania narzędzi, instrukcje i historia kolejnych interakcji. Bez wyraźnej granicy eksperymentalna albo źle kontrolowana sesja może przetwarzać coraz większą ilość kontekstu.

Limit tokenów nie eliminuje pracy agentów. Ustanawia przewidywalną górną granicę dla najbardziej wymagających sesji i daje zespołom inżynieryjnym konkretny punkt kontroli nad wykorzystaniem zasobów.

3. Dłuższe przechowywanie promptów w pamięci podręcznej

Uber wydłużył czas przechowywania promptu w pamięci podręcznej z pięciu minut do jednej godziny. Zmiana lepiej odpowiada sposobowi pracy inżynierów, którzy mogą pozostawić sesję bezczynnie na dłużej niż pięć minut, zanim do niej wrócą. 1

Dłuższe korzystanie z pamięci podręcznej ogranicza konieczność wielokrotnego przetwarzania tego samego kontekstu. W pracy agentów programistycznych ten sam katalog projektu lub zestaw instrukcji może być wykorzystywany ponownie w trakcie jednej sesji, więc rozwiązanie zmniejsza zbędne zużycie tokenów bez zmiany samego zadania.

4. Bieżący podgląd kosztów dla inżynierów

Uber pokazuje inżynierom w terminalach bieżący koszt sesji AI. 1

Dzięki temu wykorzystanie narzędzi staje się natychmiastową pętlą informacji zwrotnej. Zamiast dowiadywać się o drogim sposobie pracy dopiero z późniejszego raportu finansowego, inżynier może zobaczyć koszt podczas eksperymentu i w razie potrzeby zmienić sesję, model albo zakres kontekstu.

Koszt zostaje więc włączony bezpośrednio do procesu tworzenia oprogramowania — tam, gdzie faktycznie zapadają decyzje dotyczące promptów, ponowień, kontekstu i wyboru modelu.

Co przypadek Ubera mówi o AI w firmach

Doświadczenie Ubera pokazuje szerszą zasadę: kontrolowanie wydatków na AI w przedsiębiorstwie nie jest wyłącznie zadaniem budżetowym. To również problem projektowania systemu.

Najważniejsze mechanizmy kontroli zastosowane w tym przypadku to:

• Dobór modelu do obciążenia: korzystanie z tańszych modeli tam, gdzie ich możliwości są wystarczające.
• Zarządzanie kontekstem: ustalanie limitów dla sesji, w których może gromadzić się duża ilość danych.
• Pamięć podręczna promptów: ponowne wykorzystywanie powtarzającego się kontekstu zamiast przetwarzania go od początku.
• Monitorowanie kosztu jednostkowego: udostępnienie kosztu pracy AI osobom, które bezpośrednio wykonują zadania.
• Konkurencja między modelami: testowanie alternatyw, w tym modeli z otwartymi wagami, zamiast polegania na jednym rozwiązaniu dla wszystkich zastosowań. 1

Te mechanizmy są szczególnie istotne w przypadku agentów AI, ponieważ ich praca ma charakter iteracyjny. Pojedyncze polecenie użytkownika może uruchomić wiele rund planowania, korzystania z narzędzi, weryfikacji i poprawek. W rezultacie całkowite zużycie tokenów jest mniej przewidywalne niż przy jednorazowej odpowiedzi czatbota.

Wyników Ubera nie należy więc interpretować jako dowodu, że szybki wzrost wykorzystania AI nie niesie ryzyka finansowego. Firma utrzymała wydatki na względnie stabilnym poziomie dopiero po zmianie ekonomiki pojedynczych żądań i sesji. Dla innych przedsiębiorstw wniosek jest prosty: rozwój zastosowań AI i kontrolę kosztów trzeba skalować razem, a pomiar wydatków powinien być wbudowany w narzędzia od samego początku.