Cara Uber Menjaga Belanja AI Tetap Stabil Saat Penggunaan Agen Melonjak 9,4 Kali Lipat

Uber sempat menghabiskan anggaran AI 2026 lebih cepat dari perkiraan. Namun, perusahaan tidak merespons dengan sekadar memperketat atau mematikan akses. Uber memperlakukan penggunaan AI sebagai persoalan optimasi biaya engineering: setiap tugas diarahkan ke model yang sesuai, konteks yang berlebihan dibatasi, prompt yang sama digunakan kembali melalui cache, dan engineer dapat melihat biaya sesi mereka secara langsung. 1

Pendekatan ini membantu menjaga total belanja AI tetap relatif stabil sejak April, meski jumlah permintaan agen mingguan meningkat 9,4 kali lipat sejak Februari. Dengan model AI yang sama, Uber melaporkan bahwa biaya per 1.000 permintaan turun hampir 34% dari puncaknya pada April. Biaya per sesi juga turun 52% dari titik tertingginya pada Juni. 1

Penggunaan AI Uber terus meluas

Penurunan biaya tersebut terjadi ketika adopsi AI justru meningkat, bukan menyusut. Agen AI kini menangani lebih dari 70% pengajuan perubahan kode, engineer menjalankan lebih dari 30.000 tugas agen setiap hari, dan jumlah karyawan yang menggunakan perangkat AI meningkat lebih dari empat kali lipat. 1

Kombinasi antara penggunaan yang jauh lebih tinggi dan belanja yang relatif stabil menunjukkan bahwa biaya per unit telah turun. Ini bukan berarti pekerjaan AI menjadi gratis, melainkan Uber mengubah cara token dan kapasitas model digunakan.

1. Mengarahkan tugas ke model yang sesuai

Uber mengirim setiap pekerjaan ke model yang dapat menanganinya dengan biaya terbaik, alih-alih selalu memakai model paling canggih atau paling mahal. Tugas sederhana dapat diarahkan ke model yang lebih murah, sementara pekerjaan yang lebih kompleks memperoleh kapasitas model yang lebih besar. Uber juga mengevaluasi alternatif, termasuk model dengan bobot terbuka (open-weight models), untuk kebutuhan tertentu. 1

Dengan cara ini, pemilihan model menjadi keputusan berdasarkan beban kerja, bukan pengaturan seragam untuk semua tugas. Dalam skala besar, penghematan kecil pada permintaan rutin pun dapat mengubah rata-rata biaya per tugas secara signifikan.

2. Membatasi konteks agen yang terlalu panjang

Uber menetapkan batas sesi interaktif sebesar 400.000 token, meski model yang digunakan dapat mendukung jendela konteks hingga satu juta token. 1

Batas ini menanggulangi salah satu sumber biaya terbesar pada agen coding. Sebuah sesi dapat terus menumpuk file, hasil pemanggilan alat, instruksi, dan riwayat percakapan. Tanpa batas yang jelas, sesi eksploratif atau yang kurang terkendali bisa terus memproses konteks dalam jumlah yang semakin besar.

Batas token tidak menghapus penggunaan agen. Sebaliknya, kebijakan ini menciptakan plafon yang lebih mudah diprediksi untuk sesi yang paling banyak memproses konteks sekaligus memberi tim engineering alat untuk mengendalikan konsumsi.

3. Memperpanjang masa berlaku cache prompt

Uber memperpanjang durasi prompt cache dari lima menit menjadi satu jam. Perubahan ini disesuaikan dengan pola kerja engineer, karena sesi AI dapat berhenti lebih dari lima menit sebelum dilanjutkan kembali. 1

Cache yang dapat digunakan lebih lama mencegah konteks yang sama diproses berulang kali. Dalam alur kerja coding berbasis agen, repositori atau instruksi yang sama kerap diakses kembali selama satu sesi. Pemakaian ulang tersebut dapat mengurangi pemrosesan token yang tidak perlu tanpa mengubah tugas yang dikerjakan.

4. Menampilkan biaya secara langsung kepada engineer

Uber memberikan visibilitas biaya sesi AI secara real time melalui terminal engineer. 1

Langkah ini mengubah penggunaan AI menjadi umpan balik langsung bagi engineering. Alih-alih baru mengetahui bahwa suatu alur kerja mahal setelah laporan keuangan diterbitkan, engineer dapat melihat biayanya saat bereksperimen. Mereka pun bisa menyesuaikan sesi, model, atau konteks bila diperlukan.

Cara ini juga menempatkan kesadaran biaya di dalam alur kerja produk—tepat di tempat keputusan tentang prompt, percobaan ulang, konteks, dan pilihan model dibuat.

Pelajaran Uber untuk AI perusahaan

Pengalaman Uber menunjukkan prinsip yang lebih luas: mengendalikan belanja AI di perusahaan bukan hanya urusan membuat anggaran. Ini juga merupakan persoalan desain sistem.

Kontrol yang paling penting dalam pendekatan tersebut meliputi:

• Routing model berdasarkan beban kerja: gunakan model yang lebih murah ketika kemampuannya sudah memadai.
• Tata kelola konteks: tetapkan batas untuk sesi yang dapat menumpuk riwayat berbasis token dalam jumlah besar.
• Prompt caching: gunakan kembali konteks yang berulang, alih-alih memprosesnya dari awal.
• Telemetri biaya per unit: tampilkan biaya marginal alur kerja AI kepada orang yang menjalankannya.
• Persaingan antar-model: evaluasi berbagai alternatif, termasuk model dengan bobot terbuka, dan jangan bergantung pada satu model bawaan untuk semua tugas. 1

Kontrol semacam ini semakin penting bagi agen AI karena pekerjaannya bersifat iteratif. Satu permintaan pengguna dapat memicu beberapa putaran perencanaan, penggunaan alat, verifikasi, dan revisi. Akibatnya, konsumsi token menjadi lebih sulit diprediksi dibandingkan interaksi chatbot satu kali.

Hasil yang dilaporkan Uber sebaiknya dipahami sebagai contoh efisiensi operasional, bukan bukti bahwa peningkatan penggunaan AI tidak lagi memiliki risiko finansial. Belanja perusahaan tetap relatif stabil setelah Uber mengubah ekonomi setiap permintaan dan sesi. Bagi perusahaan lain, pelajarannya jelas: perluas adopsi AI dan tata kelola biaya secara bersamaan, dengan pengukuran yang sudah tertanam di dalam alat sejak awal.