OpenAI为何移除用AI给ChatGPT打分的承包人员？

OpenAI据报移除了使用AI完成模型评估工作的承包人员。听起来像是“做AI的人不能用AI”，但关键在于这项工作的目的：让人独立判断ChatGPT的回答是否合适。如果评分和评语也由AI代写，反馈就可能不再代表评审人员自己的看法。相关报道将人员移除与OpenAI更广泛的承包评估工作联系起来，并介绍了以人工评审为核心的“百合项目”（Project Lily）；但不能据此认定每位被移除者都参与了该项目。1613

一份评分是怎样产生的？

据报道，“百合项目”由数百名外部承包人员评审真实的ChatGPT用户提问，有时还会查看相关对话。报道描述的招募渠道是Crossing Hurdles，报酬则通过Mercor支付。一名工作人员称自己的时薪超过50美元，但这不能代表所有评审人员的薪酬。220

评审人员先概括用户想完成什么，再比较ChatGPT生成的候选回答，写下评语并按1至7分打分。报道提到，一项任务最多涉及四个候选回答；评审关注的不只是回答内容，也包括语气是否生硬、措辞是否像机器，以及是否过度迎合用户。这些分数和文字反馈旨在帮助改进模型今后的表现。41131

为什么不能让AI代写评语？

人工评审的价值，是提供与被评模型相对独立的判断：回答有没有回应用户需求？语气是否恰当？是不是一味附和？如果评审人员让另一个AI撰写评语或决定分数，反馈就可能更多反映模型生成的偏好，而非人的判断。这会削弱反馈的价值，但不等于已经证明某一条AI辅助评分损害了模型。416

据报道，相关工作指引禁止评审人员用AI审阅任务或撰写反馈，禁令涵盖Grammarly及AI翻译功能。负责复核其他承包人员工作的评审人员也不得使用AI检测工具；指引称这类工具并不可靠。139

不用检测软件，主管怎么发现疑点？

报道描述，主管会留意重复、近似AI生成的措辞，以及异常快的完成速度等工作模式，而不是依据检测软件给出的分数。这些迹象可以成为进一步核查的理由，却不能单独证明违规。现有报道也没有说明，这种排查方式有多常判断正确，或会漏掉多少违规情况。933

“人类打分”也不等于“分数可靠”。 即使没有使用AI，评审人员仍可能粗心评分，甚至故意给出不恰当的分数。不过，所提供的报道无法核实一名承包人员曾承认故意给出差评分的具体说法，因此不能确认其经过，更不能推断这种情况有多普遍。可以确定的启示更有限：标注为“人工评审”，只能说明反馈由人提交；评估流程还需要检验判断本身的质量。14

对用户而言，这项工作还有另一层值得关注的问题：评审人员可能看到真实对话文本，而OpenAI据报使用的隐私过滤机制可能遗漏部分敏感信息。因此，除了评分是否可信，用户对话在评审过程中如何被处理也同样重要。812