Jev của TypeSafe AI: mô hình ra quyết định nhanh, nhưng bằng chứng nói gì?

Jev là mô hình của TypeSafe AI dành cho những câu hỏi có câu trả lời được xác định trước, chứ không phải công cụ viết văn bản tự do. Nhà phát triển đưa trạng thái của ứng dụng vào và yêu cầu một nhận định có cấu trúc — chẳng hạn chọn một phương án, chấm điểm hoặc trả lời có/không. Jev trả về kết quả có định dạng và xác suất đi kèm để phần mềm có thể sử dụng trực tiếp, thay vì phải phân tích một đoạn văn. 12

Cách thiết kế này có thể giúp tích hợp mô hình vào quy trình tự động dễ hơn. Nhưng định dạng câu trả lời cố định không đồng nghĩa với câu trả lời chính xác; một con số xác suất cũng chưa đủ chứng minh mô hình đã được hiệu chỉnh tốt. Dữ liệu về mức độ sử dụng ban đầu của Jev đã được công bố, còn những tuyên bố hiệu năng lớn nhất và độ tin cậy khi vận hành thực tế vẫn cần thêm bằng chứng độc lập.

Jev khác chatbot ở điểm nào?

Chatbot tạo sinh có thể đáp lại nhiều loại câu hỏi mở, nhưng phần mềm thường phải đọc hoặc phân tích câu trả lời bằng ngôn ngữ tự nhiên. Jev nhắm đến các tác vụ hẹp hơn, trong đó những kiểu kết quả được định nghĩa trước. TypeSafe mô tả các đầu ra như lựa chọn, điểm số theo thang đánh giá và nhận định có/không, kèm xác suất. 12

Ví dụ, một hệ thống có thể hỏi liệu một mục có đáp ứng quy tắc hay không, hoặc mục đó thuộc nhóm nào, rồi chuyển kết quả sang bước tiếp theo. Vì câu trả lời phải tuân theo cấu trúc đã khai báo, ứng dụng không cần trích xuất thông tin từ một đoạn văn. Điều này có thể giảm công xử lý định dạng; nó không bảo đảm nhận định của mô hình là đúng. 2

TypeSafe gọi Jev là mô hình “System One”, đồng thời cho biết mô hình dùng bộ lấy mẫu song song và phương pháp huấn luyện mà công ty đặt tên là Reinforcement Learning for Calibrated Decisions. Đây là cách TypeSafe mô tả thiết kế của mình, không phải bằng chứng độc lập cho thấy Jev luôn chính xác hoặc được hiệu chỉnh tốt trong mọi tác vụ thực tế. 1

Mức độ sử dụng, giá và các tuyên bố hiệu năng

Tín hiệu ban đầu về mức độ quan tâm, chưa phải bằng chứng tăng trưởng doanh thu

Vercel cho biết gần 13% các nhóm trả phí trên AI Gateway đã sử dụng Jev trong vòng 24 giờ, đồng thời gọi đây là mô hình được đón nhận nhanh nhất trong lịch sử nền tảng. Con số này cho thấy các nhà phát triển trên nền tảng có quan tâm ban đầu. Tuy nhiên, nó không đại diện cho toàn bộ khách hàng Vercel, cũng không cho biết mức sử dụng lặp lại, số lượt gọi Jev có trả phí hay doanh thu của TypeSafe. Giai đoạn ra mắt còn có chương trình dùng miễn phí qua Vercel, nên số liệu này không thể hiện rõ mức sẵn lòng trả tiền. 34

Giá được công bố cụ thể; mức tiết kiệm phụ thuộc vào phép so sánh

TypeSafe niêm yết giá Jev ở mức 0,042 USD cho mỗi triệu token đầu vào, không tính phí token đầu ra. 23 Công ty cũng quảng bá lợi thế về tốc độ và chi phí lên tới 100 lần; một số so sánh quy trình do công ty lựa chọn đưa ra kết quả cao đến nhanh hơn 193,6 lần và rẻ hơn 444,6 lần. Các hệ số lớn này xuất phát từ đánh giá của TypeSafe, nên chỉ nên xem là kết quả trong những phép thử cụ thể, không phải mức tiết kiệm áp dụng cho mọi tác vụ hay nhà cung cấp. 612

Các mô tả về độ trễ cũng không hoàn toàn giống nhau. Tài liệu ra mắt của TypeSafe quảng bá độ trễ dưới 100 mili giây, trong khi một số mô tả khác nêu thời gian xử lý đầu-cuối từ 70 đến 500 mili giây. Hai cách diễn đạt này không phải cùng một thước đo và không bảo đảm mọi yêu cầu đều hoàn tất trong 100 mili giây. 46

Định dạng có giới hạn không đồng nghĩa với độ tin cậy

Không gian đầu ra bị giới hạn có thể giúp câu trả lời không lệch khỏi định dạng cho phép. Nhưng bản thân điều đó không chứng minh quyết định bên trong là chính xác. Tương tự, xác suất đi kèm chỉ thực sự hữu ích nếu được hiệu chỉnh phù hợp với tác vụ cụ thể. Các nguồn được xem xét chưa cung cấp đủ bằng chứng độc lập để định lượng độ chính xác, mức hiệu chỉnh xác suất hay thời gian hoạt động của Jev trên nhiều khối lượng công việc thực tế. 12

Vốn đầu tư và định giá: tách thông báo chính thức khỏi tin đồn

TypeSafe thông báo huy động 40 triệu USD, trong vòng gọi vốn do DCVC dẫn dắt. 6 Một số bài viết đưa tin mức định giá ở vòng hạt giống khoảng 200 triệu USD và các cuộc trao đổi về khả năng định giá trên 10 tỷ USD. Những cuộc trao đổi được đưa tin không đồng nghĩa với một vòng gọi vốn đã hoàn tất hay giá trị thị trường đã được xác nhận; thông báo huy động vốn là thông tin chắc chắn hơn. 1821

Jev cạnh tranh ra sao với các lựa chọn mới?

• Liquid AI d1: Liquid có tài liệu hướng dẫn mô hình ra quyết định được cung cấp qua API, nên d1 là một lựa chọn lưu trữ trên đám mây cụ thể. 31 Một phép so sánh Decision Index 0.2.1 được đưa tin cho điểm d1 là 58,9, so với 57,9 của Jev. Tuy nhiên, đây là kết quả Liquid tự thực hiện lại, không phải phép thử đối đầu trung lập do bên độc lập tiến hành; nên xem là tín hiệu ban đầu, chưa phải bảng xếp hạng kết luận. 3338
• OpenAI Decisions API: OpenAI đã giới thiệu một API cho câu hỏi có phạm vi hẹp và đáp án định sẵn; các bài viết hiện mô tả dịch vụ này đang ở giai đoạn xem trước giới hạn. Những nguồn được xem xét chưa xác nhận giao diện gọi API, mức giá hay kết quả so sánh độc lập với Jev được công bố rộng rãi. Lưu ý, decisions-api.org có tên tương tự nhưng là một nền tảng thử nghiệm đa mô hình độc lập, không phải API của OpenAI. 394232
• Databricks ai_decide: Tài liệu hiện có chưa xác nhận khả năng truy cập công khai, thông số kỹ thuật hoặc kết quả kiểm thử có thể so sánh. Vì vậy, chưa đủ căn cứ để xếp hạng công cụ này so với Jev.
• Mô hình mã nguồn mở: Một hướng dẫn độc lập mô tả bài đánh giá Decision Index rộng hơn, có cả mô hình mở. Tuy vậy, việc xuất hiện trong danh sách benchmark không chứng minh một mô hình có thể sánh với Jev về cùng tác vụ, độ trễ và chi phí. Các mô tả được xem xét cũng cho biết Jev chưa công bố trọng số, nên hiện không có lựa chọn tự chạy Jev tại chỗ để so sánh ngang bằng. 1338

Bằng chứng hiện có cho thấy điều gì?

Jev là một ví dụ thực tế về mô hình được thiết kế để trả về quyết định có giới hạn và máy có thể đọc, thay vì câu trả lời hội thoại. Mức độ tiếp cận được báo cáo trên Vercel là tín hiệu đáng chú ý về sự quan tâm ban đầu, còn giá đầu vào đã được công bố cụ thể. Nhưng lượt sử dụng trong giai đoạn ra mắt không chứng minh tăng trưởng thương mại bền vững; các phép so sánh tốc độ và chi phí do nhà cung cấp tự thực hiện cũng không xác lập lợi thế phổ quát. 23412

Phép thử quan trọng hơn là đặt các mô hình vào cùng những tác vụ thực tế và so sánh độ chính xác, khả năng hiệu chỉnh xác suất, độ trễ đầu-cuối cùng chi phí trong điều kiện tương đương — đồng thời theo dõi mức sử dụng sau khi ưu đãi ban đầu kết thúc. Khi các phép so sánh đó chưa thể được tái lập độc lập, mô hình ra quyết định vẫn là một hướng đáng chú ý, nhưng tuyên bố hiệu năng của riêng từng nhà cung cấp chưa thể xem là kết luận cuối cùng.