Vì sao OpenAI được cho là sa thải nhà thầu dùng AI để chấm ChatGPT?

Project Lily, theo điều tra của 404 Media, là một hoạt động đánh giá bởi con người: các nhà thầu xem câu trả lời của ChatGPT để góp phần cải thiện hành vi của mô hình về sau. Chính mục tiêu này lý giải cho việc các nhà thầu dùng AI để làm phần đánh giá bị loại khỏi dự án: giá trị của dữ liệu nằm ở nhận định độc lập của con người. Nếu một mô hình đưa ra nhận định thay họ, quy trình không còn đo lường rõ ràng điều người dùng thực sự ưu tiên. 1920

Người chấm trong Project Lily được cho là làm gì?

Quy trình được tường thuật cho thấy người chấm nhận các câu hỏi ChatGPT thực tế và, trong một số trường hợp, toàn bộ cuộc trò chuyện. Họ tóm tắt ý định của người dùng, đối chiếu các phương án trả lời rồi cho điểm theo thang 1–7. Mỗi tác vụ có thể có tối đa bốn câu trả lời ứng viên; trọng tâm là những đặc tính hành vi như giọng điệu, mức độ nịnh hót quá mức (sycophancy) hay các tuyên bố quá giống con người, thay vì chỉ kiểm tra độ đúng về mặt sự thật. 819

Các điểm số này có thể trở thành dữ liệu ưu tiên: bản ghi có cấu trúc về việc một người cho rằng câu trả lời nào phù hợp hơn trong một bối cảnh cụ thể. Dữ liệu ấy hữu ích để tinh chỉnh mô hình theo hành vi mong muốn, nhưng chỉ khi các đánh giá đủ nhất quán, có hiểu biết và độc lập.

Project Lily được cho là có hàng trăm người đánh giá bên ngoài. Họ được mô tả là tuyển qua Crossing Hurdles và nhận thanh toán qua Mercor; một người chấm nói mức thù lao của mình trên 50 USD/giờ. Riêng các thông tin về hoạt động đánh giá rộng hơn của OpenAI đề cập hơn 10.000 nhà thầu trên các tuyến chấm điểm khác nhau; con số này không nên được hiểu là quy mô của riêng Project Lily. 196

Vì sao chấm điểm bằng AI làm mất ý nghĩa của phản hồi con người?

AI có thể đánh giá nhanh và đôi khi hữu ích trong kiểm thử nội bộ, nhưng nó trả lời một câu hỏi khác với đánh giá về sở thích của con người. Mô hình thường tái tạo các khuôn mẫu học được trong dữ liệu huấn luyện và có thể thiên về câu trả lời có cách diễn đạt, phong cách hoặc giả định quen thuộc.

Khi đầu ra của một mô hình, hoặc mô hình có quan hệ gần gũi, liên tục được dùng để thưởng cho đầu ra của các mô hình sau này, một vòng lặp phản hồi có thể xuất hiện:

1. Mô hình đánh giá ưu ái câu trả lời giống các ưu tiên hiện có của nó.
2. Huấn luyện thưởng cho những câu trả lời đó.
3. Mô hình kế tiếp có xu hướng tạo ra cùng kiểu mẫu nhiều hơn.
4. Những phong cách khác, ưu tiên thiểu số hoặc những câu trả lời mà mô hình đánh giá không đủ năng lực để nhận định sẽ nhận được phản hồi kém hữu ích hơn.

Điều này không chứng minh rằng mọi hình thức đánh giá bằng AI đều làm mô hình tệ đi. Đánh giá tự động vẫn có giá trị nếu được đối chiếu, kiểm định với đánh giá của con người và áp dụng trong giới hạn rõ ràng. Nhưng dùng nó thay cho tác vụ được giao rõ ràng nhằm tạo dữ liệu ưu tiên từ con người sẽ làm suy yếu tính độc lập của tín hiệu huấn luyện — và đó dường như là lý do của quy định cấm này.

Việc nghi ngờ dùng AI được xử lý thế nào?

Theo các thông tin được đăng tải, người giám sát được chỉ dẫn không dựa vào các công cụ phát hiện văn bản AI như GPTZero. Thay vào đó, họ xem xét mô hình làm việc và sản phẩm viết bằng đánh giá của con người, chẳng hạn cách dùng từ đồng đều bất thường, dấu câu hay định dạng có tính lặp lại, và tốc độ hoàn thành khó hợp lý. 6

Cách làm này có hạn chế rõ ràng: không dấu hiệu đơn lẻ nào đủ chứng minh một người đã dùng AI. Người viết nhanh có thể giàu kinh nghiệm; câu chữ tương tự có thể xuất phát từ cùng một bộ tiêu chí chấm. Vì vậy, các tín hiệu này chỉ nên là lý do để xem xét thêm, không phải bằng chứng tự thân đủ để loại một người khỏi dự án.

Vì sao tiêu chí phát hiện chi tiết không được công khai?

Các tổ chức thường không công bố danh sách tiêu chí chống gian lận quá cụ thể, vì một bảng kiểm chính xác có thể biến thành hướng dẫn né tránh. Nhà thầu có thể đổi cách diễn đạt, cố ý trì hoãn thời gian nộp bài hoặc thay đổi định dạng, trong khi vẫn giao phần phán đoán cho mô hình.

Tuy nhiên, sự kín kẽ cũng tạo ra rủi ro riêng. Nếu người lao động không biết quyết định chất lượng được đưa ra dựa trên đâu, họ khó phản biện sai sót. Một chương trình bảo đảm tính liêm chính bền vững cần kết hợp phương thức phát hiện bảo mật với quy định rõ ràng, quyết định được lưu vết và cơ chế khiếu nại hoặc sửa sai có ý nghĩa.

Chính sách được tường thuật của Mercor

Mercor được cho là đã nói rằng dùng AI để thực hiện công việc đánh giá này là vi phạm chính sách, và trường hợp được xác nhận sẽ bị loại ngay khỏi dự án liên quan. Các bài tường thuật cũng cho biết quy định cấm hỗ trợ bằng AI theo nghĩa rộng, gồm cả công cụ dùng để viết phản hồi hoặc bình luận. 640

Vấn đề của phản hồi con người không chỉ là việc dùng AI

Trường hợp được tường thuật về việc cố ý cho điểm kém cho thấy một điểm lớn hơn: “phản hồi con người” không tự động đáng tin chỉ vì có người gửi đánh giá. Người chấm có thể làm vội, hiểu sai tiêu chí, tối ưu cho số lượng tác vụ, hành động thiếu thiện chí hoặc cố khai thác những hệ thống kiểm soát chất lượng thiếu minh bạch.

Đây vừa là bài toán kỹ thuật, vừa là bài toán động cơ. Nhà phát triển mô hình cần những nhận định được hiệu chuẩn và đưa ra thiện chí, nhằm dự báo hành vi tốt hơn trong thực tế. Trong khi đó, nhà thầu có thể chủ yếu được thúc đẩy bởi tốc độ, việc hoàn tất tác vụ hoặc tránh bị từ chối. Khi hai hệ động cơ này lệch nhau, dữ liệu tạo ra có thể nhiễu hoặc bị méo theo hệ thống.

Những lớp bảo vệ cần có cho hệ thống đánh giá

Đánh giá của con người vẫn quan trọng với các nhận định phụ thuộc ngữ cảnh, mang tính chủ quan hoặc khó xác minh tự động. Nhưng nó hiệu quả nhất khi là một hệ thống nhiều lớp kiểm tra, thay vì chỉ là dòng điểm số từ từng cá nhân. Một số biện pháp thực tế gồm:

• Đánh giá chồng lấp độc lập: để nhiều người chấm một phần tác vụ giống nhau và phân tích các điểm bất đồng.
• Tác vụ hiệu chuẩn: dùng ví dụ có đáp án hoặc chuẩn đánh giá đã biết để xác nhận người chấm hiểu tiêu chí.
• Kiểm toán chất lượng: điều tra các mẫu bất thường mà không coi một dấu hiệu phong cách duy nhất là kết luận.
• Phân tách vai trò rõ ràng: tách công việc chấm chính, bảo đảm chất lượng và xử lý khiếu nại.
• Kiểm định theo kết quả: kiểm tra liệu dữ liệu được chấm cao có thực sự cải thiện hành vi mô hình đối với người dùng hay không.
• Kiểm soát quyền riêng tư: giảm thiểu thông tin người chấm có thể thấy và liên tục kiểm tra xem bộ lọc có bỏ sót dữ liệu nhạy cảm hay không. Thông tin về Project Lily lưu ý rằng hội thoại có thể vẫn chứa dữ liệu cá nhân dù đã có nỗ lực ẩn danh hóa. 19

Bài học cốt lõi rất đơn giản: huấn luyện theo ưu tiên chỉ đáng tin bằng chính quy trình tạo ra các ưu tiên đó. Người đánh giá là con người không phải bảo chứng tuyệt đối cho chất lượng; và nhận định do AI tạo ra cũng không thể đơn giản thay thế phản hồi độc lập của con người khi mục tiêu là tìm hiểu điều con người thực sự coi trọng.