Không còn 'mua ghế', hãy đo 'việc hoàn thành': Thước đo AI mới từ CFO OpenAI

"Trong nhiều năm, phần mềm được đo lường qua mức độ chấp nhận: bản quyền, người dùng hoạt động, tỷ lệ gia hạn," Friar viết trên LinkedIn. "AI khác biệt — nó cần được đo lường bằng công việc đã hoàn thành" . Khuôn khổ này lập luận rõ ràng rằng chi phí thấp nhất trên mỗi token không phải lúc nào cũng tạo ra chi phí thấp nhất trên mỗi kết quả đầu ra, và các doanh nghiệp nên tối ưu hóa cho tổng giá trị tạo ra thay vì chỉ nhìn vào đơn giá .

Bảng điểm ROI AI với Bốn Câu Hỏi

Phương pháp của Friar thay thế các thước đo chấp nhận mơ hồ bằng bốn câu hỏi cụ thể tạo thành một bảng điểm (scorecard) cho ROI của AI :

1. AI có đang hoàn thành những công việc quan trọng không?

Hãy đo lường khối lượng các tác vụ thực tế dựa trên kết quả — số lượng vấn đề khách hàng được giải quyết, thay đổi mã nguồn được triển khai, hợp đồng được rà soát — thay vì chỉ đếm số lần sử dụng hoặc số lượng câu lệnh (prompts) . "Token tạo ra giá trị khi chúng biến thành công việc mà mọi người có thể sử dụng," Friar viết . Điều này chuyển trọng tâm từ các thước đo hoạt động (có bao nhiêu truy vấn được thực hiện) sang các thước đo tác động (những gì đã được hoàn thành).

2. Mỗi tác vụ thành công có chi phí là bao nhiêu?

Tính toán tổng chi phí cho mỗi tác vụ đáp ứng tiêu chuẩn chất lượng, bao gồm chi phí suy luận AI, số lần chạy lại, chi phí kiểm duyệt và làm lại của con người . Một mô hình rẻ nhưng hay sai sót có thể tốn kém hơn mỗi kết quả thành công so với một mô hình cao cấp thực hiện đúng ngay từ lần đầu . Câu hỏi này buộc các doanh nghiệp phải nhìn xa hơn giá mỗi token và tính đến các chi phí ẩn do lỗi và sửa chữa.

3. AI có thường xuyên hoàn thành công việc một cách chính xác không?

Theo dõi độ tin cậy (dependability) — tỷ lệ đầu ra "sẵn sàng sử dụng ngay" so với đầu ra cần chỉnh sửa hoặc chuyển lên cấp cao hơn . Càng ít can thiệp của con người đồng nghĩa với tổng chi phí càng thấp và niềm tin càng cao. Đây thực chất là một thước đo đảm bảo chất lượng cho đầu ra của AI, thừa nhận rằng độ tin cậy cũng quan trọng như khả năng thô.

4. Mỗi đô la chi cho AI có tạo ra nhiều giá trị hơn khi quy mô sử dụng tăng lên không?

Theo dõi xem AI có hoàn thành nhiều công việc chất lượng cao hơn theo thời gian mà không làm chi phí tăng theo cấp số nhân hay không — một khái niệm còn được gọi là lợi nhuận trên sức mạnh tính toán (return on compute - ROC), vay mượn từ tài chính của ngành bán dẫn và trung tâm dữ liệu . Câu hỏi này giải quyết vấn đề liệu các khoản đầu tư AI có mang lại lợi nhuận kép hay giá trị biên giảm dần, một cân nhắc quan trọng cho các quyết định mở rộng quy mô.

Cách Triển Khai Khuôn Khổ

Phương pháp luận này được thiết kế để có thể kiểm toán được bằng các công cụ hiện có . Các nhóm xác định ý nghĩa của "hoàn thành" ("done") cho một quy trình làm việc cụ thể, đếm số lần hoàn thành thành công, tính tổng chi phí đầy đủ (bao gồm cả chi phí nhân công), và theo dõi tỷ lệ đạt yêu cầu cũng như xu hướng chất lượng .

Cách tiếp cận của Friar coi AI như một tài sản sản xuất (productive asset) thay vì một bản quyền phần mềm, và cung cấp một cách có cấu trúc để các CFO và lãnh đạo công nghệ trả lời câu hỏi mà bà thường nghe nhất từ các đồng nghiệp: "Làm thế nào để chúng tôi thu được nhiều giá trị hơn từ khoản chi tiêu cho AI?" .

Tại Sao Khuôn Khổ Này Lại Quan Trọng Ngay Lúc Này?

Đề xuất được đưa ra trong bối cảnh chi tiêu cho AI trong doanh nghiệp đã tăng vọt, với bản thân OpenAI báo cáo doanh thu 1 tỷ đô la mỗi tháng và hơn 500 triệu bản quyền doanh nghiệp đã được bán . Tuy nhiên, nhiều tổ chức vẫn thiếu các khuôn khổ ROI rõ ràng, tạo ra "sự không phù hợp giữa khả năng của AI và giá trị mà các công ty đang thu được" . Friar trước đây đã mô tả sự chênh lệch này là "dư thừa năng lực" (capability overhang) — khoảng cách giữa những gì AI có thể làm và những gì các tổ chức thực sự có thể khai thác để tạo ra giá trị kinh doanh .

Bằng cách xây dựng bốn câu hỏi dựa trên dữ liệu chi phí và chất lượng có thể kiểm toán, khuôn khổ "trí thông minh hữu ích trên mỗi đô la" cung cấp cho các doanh nghiệp một công cụ thực tế để chuyển từ đầu tư AI dựa trên niềm tin (faith-based) sang ra quyết định dựa trên bằng chứng (evidence-based).