Bagaimana Uber Mengekalkan Kos AI Stabil Walaupun Penggunaan Agen Meningkat 9.4 Kali Ganda

Uber pada mulanya berbelanja melebihi peruntukan AI 2026, tetapi syarikat itu tidak memilih untuk sekadar mengehadkan akses. Sebaliknya, Uber menganggap penggunaan AI sebagai masalah pengoptimuman kos kejuruteraan: setiap tugasan dipadankan dengan model yang sesuai, konteks berlebihan dihadkan, prompt yang sama digunakan semula melalui cache, dan jurutera dapat melihat kos sesi mereka. 1

Pendekatan ini membantu mengekalkan jumlah perbelanjaan AI secara umumnya stabil sejak April, walaupun permintaan agen AI mingguan meningkat 9.4 kali ganda sejak Februari. Dengan menggunakan model AI yang sama, Uber melaporkan bahawa kos bagi setiap 1,000 permintaan turun hampir 34% daripada paras tertinggi pada April, manakala kos setiap sesi merosot 52% daripada paras tertinggi pada Jun. 1

Penggunaan AI terus berkembang

Penjimatan itu berlaku ketika penggunaan AI semakin meluas, bukannya ketika penggunaan dikurangkan. Agen AI kini menyumbang lebih 70% daripada penghantaran perubahan kod, jurutera menjalankan lebih 30,000 tugasan agen setiap hari, dan jumlah pekerja yang menggunakan alat AI meningkat lebih daripada empat kali ganda. 1

Gabungan penggunaan yang melonjak dengan perbelanjaan yang secara umumnya stabil menunjukkan bahawa kos seunit telah menurun. Ini bukan bermakna beban kerja tersebut menjadi percuma; Uber hanya mengubah cara token dan kapasiti model digunakan.

1. Memadankan tugasan dengan model yang sesuai

Uber menghantar sesuatu tugasan kepada model yang mampu menyelesaikannya pada kos terbaik, bukannya menggunakan model paling berkuasa atau paling mahal secara lalai. Tugasan mudah boleh disalurkan kepada model kos rendah, manakala kerja yang lebih rumit diberikan kapasiti model yang lebih besar. Syarikat itu turut menilai pilihan lain, termasuk model dengan pemberat terbuka untuk kegunaan tertentu. 1

Dengan cara ini, pemilihan model menjadi keputusan berdasarkan jenis beban kerja, bukan tetapan yang sama untuk semua tugasan. Pada skala besar, penjimatan kecil bagi permintaan rutin boleh memberi kesan ketara terhadap purata kos setiap tugasan.

2. Mengehadkan konteks agen yang terlalu panjang

Uber mengehadkan sesi interaktif kepada 400,000 token, walaupun sesetengah model menyokong tetingkap konteks sehingga satu juta token. 1

Had ini menangani salah satu risiko kos utama agen pengekodan: sesebuah sesi boleh mengumpulkan fail, hasil daripada alat, arahan dan sejarah interaksi yang berulang. Tanpa had, sesi penerokaan atau aliran kerja yang kurang terkawal boleh terus memproses konteks yang semakin besar.

Had token tidak menghapuskan penggunaan agen. Sebaliknya, ia menetapkan siling yang lebih mudah dijangka bagi sesi yang menggunakan konteks secara intensif dan menyediakan titik kawalan untuk mengurus penggunaan.

3. Memanjangkan tempoh cache prompt

Uber memanjangkan tempoh cache prompt daripada lima minit kepada satu jam. Perubahan ini bertujuan menyesuaikan sistem dengan corak kerja jurutera, yang mungkin membiarkan sesi AI tidak aktif lebih daripada lima minit sebelum menyambung kerja. 1

Tempoh penggunaan semula cache yang lebih panjang boleh mengelakkan konteks sama diproses berulang kali. Dalam aliran kerja pengekodan berasaskan agen, repositori atau arahan yang sama mungkin dirujuk berkali-kali sepanjang satu sesi. Cache membantu mengurangkan pemprosesan token yang tidak perlu tanpa mengubah tugasan asal.

4. Menunjukkan kos secara masa nyata

Uber memberikan jurutera gambaran masa nyata tentang kos sesi AI terus dalam terminal mereka. 1

Ini menjadikan penggunaan AI sebahagian daripada gelung maklum balas kejuruteraan. Daripada hanya mengetahui bahawa sesuatu aliran kerja mahal melalui laporan kewangan kemudian, jurutera boleh melihat kos ketika bereksperimen dan menyesuaikan sesi, model atau konteks apabila perlu.

Langkah ini juga meletakkan kesedaran tentang kos di dalam aliran kerja produk—iaitu tempat keputusan berkaitan prompt, percubaan semula, konteks dan pemilihan model sebenarnya dibuat.

Apa yang boleh dipelajari perusahaan daripada Uber?

Pengalaman Uber menunjukkan satu prinsip operasi yang lebih luas: kawalan perbelanjaan AI perusahaan bukan sekadar soal menetapkan bajet. Ia juga merupakan masalah reka bentuk sistem.

Antara kawalan paling berkesan dalam pendekatan ini ialah:

• Penghalaan model berdasarkan beban kerja: gunakan model yang lebih murah apabila keupayaannya sudah mencukupi.
• Tadbir urus konteks: tetapkan had bagi sesi yang boleh mengumpulkan sejarah penggunaan token dalam jumlah besar.
• Cache prompt: gunakan semula konteks yang berulang dan elakkan pemprosesan dari awal.
• Pemantauan kos seunit: jadikan kos marginal sesuatu aliran kerja AI kelihatan kepada individu yang mengendalikannya.
• Persaingan antara model: nilai pilihan lain, termasuk model dengan pemberat terbuka, dan jangan bergantung pada satu model lalai untuk semua tugasan. 1

Kawalan ini amat penting bagi sistem berasaskan agen kerana tugasnya bersifat berulang. Satu permintaan pengguna boleh mencetuskan beberapa pusingan perancangan, penggunaan alat, pengesahan dan pembetulan. Akibatnya, jumlah token yang digunakan kurang mudah dijangka berbanding interaksi sembang sekali lalu.

Oleh itu, keputusan Uber wajar dilihat sebagai contoh kecekapan operasi, bukan bukti bahawa peningkatan penggunaan AI tidak membawa risiko kewangan. Perbelanjaan syarikat itu kekal secara umumnya stabil selepas ekonomi setiap permintaan dan sesi diubah. Bagi perusahaan lain, pengajarannya jelas: perluaskan penggunaan AI dan kawalan kos secara serentak, dengan pengukuran dibina terus ke dalam alat sejak awal.