Mô hình ra quyết định cho AI: nhanh hơn, nhưng ai đang có lợi thế?

Khi tác nhân AI cần chọn, không cần viết

Một tác nhân AI có thể phải liên tục trả lời những câu hỏi hẹp như “nên gọi công cụ nào?” hay “chuyển yêu cầu này đến bộ phận nào?”. Thay vì tạo một đoạn giải thích từng token, mô hình ra quyết định chọn trong tập phương án được định sẵn rồi trả về lựa chọn, điểm số hoặc xác suất. Cách làm này phù hợp với những tác vụ lặp lại và cần phản hồi nhanh. Tuy vậy, con số xác suất thể hiện mức độ tin cậy của mô hình, chứ không bảo đảm lựa chọn đó đúng. 1112

Bốn lựa chọn, bốn cách triển khai

• Jev của TypeSafe AI: Mô hình chuyên đưa ra quyết định có cấu trúc, được cung cấp qua dịch vụ hosted. TypeSafe công bố độ trễ khoảng 70–500 mili giây và giá 0,042 USD cho mỗi triệu token đầu vào, không tính phí token đầu ra. Jev hướng đến các tác vụ như định tuyến yêu cầu hoặc chọn bước tiếp theo trong ứng dụng. Tuy nhiên, TypeSafe chưa công khai đủ chi tiết về kiến trúc của Jev và chưa phát hành trọng số để bên ngoài kiểm chứng độc lập lý do tạo nên lợi thế hiệu năng. Những so sánh nổi bật về chi phí và tốc độ phần lớn vẫn do chính công ty đưa ra. 3567

• Decisions API của OpenAI: Nhà phát triển cung cấp ngữ cảnh bằng văn bản hoặc hình ảnh, câu hỏi và một tập câu trả lời hữu hạn; API trả về lựa chọn để phân loại nội dung, chuyển yêu cầu hoặc chọn hành động tiếp theo của tác nhân. Sản phẩm hiện mới ở giai đoạn thử nghiệm giới hạn. Tin tức về đợt ra mắt nêu mức khoảng 150 mili giây mỗi quyết định, nhưng OpenAI chưa công bố giá hay phép đo đối chiếu trực tiếp với Jev. 1234

• Strands Decider 2B của AWS: Mô hình mã nguồn mở khoảng 2 tỷ tham số, được thiết kế cho câu hỏi có giới hạn, xác suất có/không và điểm số. Có thể tải về chạy tại chỗ và tham khảo công thức huấn luyện đã công bố, nên phù hợp để thử nghiệm, tùy chỉnh hoặc triển khai mà không phụ thuộc vào một API ra quyết định hosted. Mức trung vị khoảng 106–115 mili giây được báo cáo phụ thuộc vào phần cứng và điều kiện thử nghiệm. Trọng số được phát hành miễn phí, nhưng máy móc hoặc tài nguyên điện toán để chạy mô hình thì không. 11811719

• Clef và Clef-flash của Cloudflare: Hai mô hình có trọng số mở, có thể tự triển khai hoặc dùng qua Workers AI, nền tảng chạy mô hình của Cloudflare. Clef nhắm đến chất lượng quyết định cao hơn, còn Clef-flash ưu tiên độ trễ thấp. Giá hosted được báo cáo là 0,24 USD và 0,09 USD cho mỗi triệu token đầu vào; một số phép so sánh do Cloudflare liên kết đưa ra ghi nhận Clef-flash có độ trễ trung vị gần 39 mili giây. Đây không phải phép đo tốc độ hay chi phí đồng điều kiện với Jev, nên không thể xem các con số là so sánh trực tiếp. 135

Jev còn lợi thế gì khi đối thủ xuất hiện?

Các sản phẩm mới vừa xác nhận nhu cầu đối với mô hình ra quyết định, vừa làm giảm tính độc quyền của Jev. OpenAI đưa ra lựa chọn hosted; AWS và Cloudflare cung cấp thêm mô hình có trọng số mở để doanh nghiệp tự chạy, còn Cloudflare cũng có dịch vụ hosted. Vì vậy, lợi thế đi trước hay một con số độ trễ đơn lẻ chưa đủ để TypeSafe giữ vị thế. Điều quan trọng hơn là chứng minh chất lượng quyết định và tổng chi phí trên chính khối lượng công việc của khách hàng.

TypeSafe được đưa tin đã huy động 40 triệu USD. Tuy nhiên, thông tin hiện có chưa đủ để khẳng định một mức định giá đáng tin cậy hay xác nhận rằng Jev giữ được lợi thế hiệu năng khi được thử nghiệm độc lập, với điều kiện tương đương các đối thủ. 41115