Vì sao OpenAI loại người chấm ChatGPT vì dùng AI?

OpenAI được cho là đã loại một số cộng tác viên dùng AI để thực hiện công việc đánh giá mô hình. Điểm mấu chốt không phải là nhân sự của một công ty AI đã dùng AI, mà là nhiệm vụ của họ cần nhận định độc lập từ con người về câu trả lời của ChatGPT. Các bài tường thuật đặt việc loại cộng tác viên trong hoạt động đánh giá rộng hơn của OpenAI và mô tả Project Lily là một chương trình có người đánh giá trực tiếp; chúng không xác nhận rằng tất cả những người bị loại đều làm việc cho Project Lily.1613

Người đánh giá trong Project Lily làm gì?

Theo các nguồn tin, Project Lily sử dụng hàng trăm cộng tác viên bên ngoài để xem yêu cầu có thật của người dùng ChatGPT và, trong một số trường hợp, cả phần hội thoại liên quan. Họ được tuyển thông qua Crossing Hurdles và nhận thanh toán qua Mercor. Một người cho biết mình được trả hơn 50 USD/giờ, nhưng đây không phải mức thù lao đã được xác minh cho tất cả.220

Người đánh giá tóm tắt điều người dùng muốn đạt được, rồi nhận xét và chấm các phương án trả lời của ChatGPT theo thang 1–7. Một nhiệm vụ có thể gồm tối đa bốn phương án. Nội dung cần xem xét bao gồm giọng điệu, lối diễn đạt máy móc và xu hướng đồng tình quá mức với người dùng. Điểm số cùng nhận xét bằng văn bản được dùng để hỗ trợ cải thiện hành vi của các phiên bản mô hình sau này.41131

Vì sao không thể giao phần chấm điểm lại cho AI?

Người đánh giá có thể tự nhận ra câu trả lời có đáp ứng yêu cầu hay chỉ đang cố chiều ý người dùng. Nếu họ để một công cụ AI viết nhận xét hoặc quyết định điểm số, phản hồi thu được có nguy cơ phản ánh cách đánh giá do mô hình tạo ra, thay vì một góc nhìn độc lập. Đó là rủi ro đối với chất lượng phản hồi, không phải bằng chứng rằng một điểm số cụ thể đã làm hại mô hình.416

Các hướng dẫn được đưa tin cấm dùng AI để rà soát công việc hoặc viết phản hồi, kể cả Grammarly và tính năng dịch bằng AI. Người kiểm tra công việc của các cộng tác viên khác cũng được yêu cầu không dùng công cụ phát hiện nội dung AI, vì các công cụ này bị xem là không đáng tin cậy.139

Phát hiện dấu hiệu bất thường không đồng nghĩa có bằng chứng

Theo các bài tường thuật, người giám sát chú ý đến cách diễn đạt lặp lại, giống văn bản do AI tạo ra, hoặc tốc độ hoàn thành nhanh bất thường, thay vì dựa vào điểm số từ phần mềm phát hiện. Những dấu hiệu ấy có thể là lý do để kiểm tra kỹ hơn, nhưng riêng chúng không chứng minh một người đã dùng AI. Thông tin hiện có cũng không cho biết người giám sát nhận diện đúng hay bỏ sót vi phạm thường xuyên đến mức nào.933

Ngay cả khi không dùng AI, một người vẫn có thể chấm điểm cẩu thả hoặc cố ý chấm sai. Các nguồn được cung cấp không xác minh lời thừa nhận cụ thể rằng một cộng tác viên đã cố tình chọn điểm kém, nên không thể xác định hoàn cảnh hay mức độ phổ biến của việc đó. Bài học ở đây là: nhãn “do con người đánh giá” cho biết ai cung cấp phản hồi, chứ không bảo đảm mọi nhận định đều đáng tin. Chất lượng của chính các nhận định ấy cũng cần được kiểm tra.14

Với người dùng, Project Lily còn đặt ra câu hỏi riêng về quyền riêng tư: người đánh giá có thể đọc nội dung hội thoại thực tế, trong khi bộ lọc thông tin cá nhân được OpenAI nhắc tới có thể bỏ sót một số chi tiết nhạy cảm. Vì vậy, cả độ tin cậy của khâu chấm điểm lẫn cách xử lý hội thoại đều quan trọng.812