Uber giữ chi phí AI đi ngang dù lượng tác vụ agent tăng 9,4 lần

Uber từng sử dụng vượt mức ngân sách AI năm 2026, nhưng phản ứng của công ty không phải là đơn giản cắt quyền truy cập. Thay vào đó, Uber xem đây là một bài toán tối ưu chi phí kỹ thuật: giao từng tác vụ cho mô hình phù hợp, hạn chế ngữ cảnh quá dài, tái sử dụng prompt đã được lưu trong bộ nhớ đệm và cho kỹ sư thấy phiên làm việc của họ đang tốn bao nhiêu. 1

Cách vận hành này giúp tổng chi phí AI của Uber tương đối ổn định từ tháng 4, dù số yêu cầu AI agent hằng tuần tăng 9,4 lần so với tháng 2. Với cùng một mô hình AI, công ty cho biết chi phí xử lý 1.000 yêu cầu đã giảm gần 34% so với đỉnh tháng 4, còn chi phí mỗi phiên giảm 52% so với mức cao nhất vào tháng 6. 1

Mức sử dụng AI vẫn tăng mạnh

Chi phí giảm không phải vì nhân viên dùng AI ít đi. Ngược lại, AI agent hiện tham gia hơn 70% số lượt gửi thay đổi mã nguồn, các kỹ sư thực hiện hơn 30.000 tác vụ agent mỗi ngày và số nhân viên sử dụng công cụ AI đã tăng hơn 4 lần. 1

Việc lượng sử dụng tăng mạnh trong khi tổng chi phí tương đối đi ngang cho thấy chi phí trên mỗi đơn vị tác vụ đã giảm. Điều đó không có nghĩa các tác vụ trở nên miễn phí; Uber chỉ thay đổi cách token và năng lực mô hình được sử dụng.

1. Chọn mô hình theo đúng loại tác vụ

Uber chuyển mỗi công việc đến mô hình có thể xử lý công việc đó với mức chi phí hợp lý nhất, thay vì mặc định dùng mô hình mạnh và đắt nhất. Những tác vụ đơn giản có thể được giao cho mô hình rẻ hơn, còn công việc phức tạp được cấp năng lực xử lý lớn hơn. Công ty cũng đang đánh giá các lựa chọn khác, trong đó có những mô hình công khai trọng số, cho từng trường hợp sử dụng cụ thể. 1

Cách làm này biến lựa chọn mô hình thành quyết định dựa trên đặc điểm công việc, thay vì một thiết lập áp dụng cho tất cả. Ở quy mô lớn, khoản tiết kiệm nhỏ trên mỗi yêu cầu thường lệ cũng có thể tạo khác biệt đáng kể trong chi phí bình quân của cả hệ thống.

2. Giới hạn ngữ cảnh của các phiên agent kéo dài

Uber giới hạn mỗi phiên tương tác ở 400.000 token, ngay cả khi mô hình có thể hỗ trợ cửa sổ ngữ cảnh lên tới 1 triệu token. 1

Giới hạn này xử lý một trong những rủi ro chi phí lớn của coding agent: một phiên làm việc có thể tích lũy tệp mã nguồn, kết quả từ công cụ, hướng dẫn và lịch sử tương tác lặp lại. Nếu không có điểm dừng, một phiên thử nghiệm hoặc vận hành thiếu kiểm soát có thể liên tục xử lý lượng ngữ cảnh ngày càng lớn.

Giới hạn token không loại bỏ việc sử dụng agent. Nó tạo ra một mức trần dễ dự đoán cho những phiên tiêu thụ nhiều ngữ cảnh nhất và giúp đội ngũ kỹ thuật có thêm điểm kiểm soát chi phí.

3. Kéo dài thời gian lưu prompt trong bộ nhớ đệm

Uber tăng thời gian lưu prompt trong bộ nhớ đệm từ 5 phút lên 1 giờ. Thay đổi này phù hợp hơn với cách kỹ sư làm việc, khi một phiên AI có thể tạm dừng lâu hơn 5 phút trước khi được tiếp tục. 1

Việc tái sử dụng bộ nhớ đệm trong thời gian dài hơn giúp tránh xử lý lại cùng một ngữ cảnh nhiều lần. Trong quy trình lập trình có agent, nơi cùng một kho mã hoặc bộ hướng dẫn có thể được gọi lại nhiều lần, cách này làm giảm việc xử lý token không cần thiết mà không phải thay đổi bản thân tác vụ.

4. Cho kỹ sư thấy chi phí theo thời gian thực

Uber hiển thị chi phí đang phát sinh của một phiên AI theo thời gian thực ngay trong terminal của kỹ sư. 1

Điều này biến mức sử dụng thành một vòng phản hồi trực tiếp trong quy trình kỹ thuật. Thay vì chỉ phát hiện một quy trình tốn kém qua báo cáo tài chính sau đó, kỹ sư có thể thấy chi phí ngay trong lúc thử nghiệm và điều chỉnh phiên làm việc, mô hình hoặc lượng ngữ cảnh khi cần.

Biện pháp này cũng đưa ý thức về chi phí vào đúng nơi các quyết định về prompt, số lần thử lại, ngữ cảnh và lựa chọn mô hình được đưa ra.

Bài học cho việc triển khai AI trong doanh nghiệp

Kinh nghiệm của Uber cho thấy kiểm soát chi phí AI trong doanh nghiệp không chỉ là bài toán lập ngân sách. Đây còn là bài toán thiết kế hệ thống.

Các cơ chế kiểm soát đáng chú ý gồm:

• Định tuyến mô hình theo tác vụ: dùng mô hình rẻ hơn khi năng lực của chúng đã đủ đáp ứng yêu cầu.
• Quản trị ngữ cảnh: đặt giới hạn cho những phiên có thể tích lũy lượng lịch sử lớn và tiêu tốn nhiều token.
• Bộ nhớ đệm prompt: tái sử dụng ngữ cảnh lặp lại thay vì xử lý lại từ đầu.
• Đo lường chi phí theo đơn vị: giúp người trực tiếp vận hành quy trình nhìn thấy chi phí biên của một tác vụ AI.
• Tạo cạnh tranh giữa các mô hình: đánh giá nhiều lựa chọn, bao gồm mô hình công khai trọng số, thay vì phụ thuộc vào một mô hình mặc định cho mọi công việc. 1

Những biện pháp này đặc biệt quan trọng với AI agent vì công việc của agent mang tính lặp. Một yêu cầu của người dùng có thể dẫn đến nhiều vòng lập kế hoạch, gọi công cụ, kiểm tra và sửa đổi, khiến tổng lượng token khó dự đoán hơn nhiều so với một lần tương tác đơn lẻ.

Vì vậy, kết quả của Uber nên được xem là một ví dụ về hiệu quả vận hành, không phải bằng chứng rằng việc mở rộng AI nhanh chóng sẽ không còn rủi ro tài chính. Công ty chỉ giữ được chi phí tương đối ổn định sau khi thay đổi kinh tế của từng yêu cầu và từng phiên làm việc. Với các doanh nghiệp khác, thông điệp khá rõ ràng: hãy mở rộng mức độ sử dụng AI song song với quản trị chi phí, đồng thời tích hợp khả năng đo lường ngay từ đầu vào chính những công cụ mà nhân viên sử dụng.