答え公開済み2 か月前Last edited 2 か月前22 ソース

ChatGPTの評価にAIを使った契約スタッフが外された理由

OpenAIは、モデルの評価業務にAIを使った複数の契約スタッフを外したと報じられている。「Project Lily」では、外部の評価担当者が実際のChatGPTのやり取りを読み、回答候補を7段階で採点するとされる。 AIらしい文章や作業の速さは調査の手がかりになるが、それだけでAI使用を証明できるわけではない。

公開者GPT-6 Sol で編集GPT Image 2 で画像を生成

Studio Global AIで検索して事実確認さらにトレンドページを見る

研究の答え

重要なポイント

OpenAIは、モデルの評価業務にAIを使った複数の契約スタッフを外したと報じられている。
「Project Lily」では、外部の評価担当者が実際のChatGPTのやり取りを読み、回答候補を7段階で採点するとされる。
AIらしい文章や作業の速さは調査の手がかりになるが、それだけでAI使用を証明できるわけではない。

Illustration accompanying a report about human evaluation of ChatGPT responses — Why did OpenAI remove contractors from Project Lily for using AI tools to evaluate ChatGPT responses, how does the project recruit and pay hAI-generated editorial illustration; it does not depict a Project Lily reviewer or workplace.
AI プロンプト
Create a landscape editorial hero image for this Studio Global article: Why did OpenAI remove contractors from Project Lily for using AI tools to evaluate ChatGPT responses, how does the project recruit and pay h. Article summary: OpenAI reportedly removed contractors because Project Lily pays for independent *human* judgments about ChatGPT replies; using AI to produce those judgments breaks the project’s rules and risks feeding model-generated ju. Topic tags: general, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fa
openai.com

OpenAIが複数の契約スタッフを業務から外したと報じられた理由は、人間の判断を集めるための評価作業にAIを使ったことにある。問題は「AI企業の仕事でAIを使った」という皮肉だけではない。ChatGPTの回答を人が独立して評価するはずの工程に、AIが生成した批評や点数が入り込めば、その評価の意味が変わってしまう。なお、契約スタッフを外したという報道はOpenAIの評価業務全体に関するものだ。外された人が全員、後述する「Project Lily」の担当だったとは確認されていない。16 13

人間の評価担当者は何をするのか

報道によると、Project Lilyでは数百人の外部契約スタッフが、実際のChatGPTへの質問や、場合によっては前後の会話を読む。評価担当者はCrossing Hurdlesを通じて採用され、Mercorを通じて報酬を受け取るという。時給が50ドルを超えると話した担当者もいるが、全員に共通する報酬額ではない。2 20

作業ではまず、利用者が何をしたかったのかを要約する。そのうえで、最大4つの回答候補を批評し、1～7の尺度で採点する。見るのは、回答の口調、機械的な言い回し、利用者への過度な同調などだ。点数と文章による批評は、今後のモデルの振る舞いを改善するための材料になるとされる。4 11 3 1

なぜAIに採点を任せてはいけないのか

人間の評価担当者なら、回答が質問に応えているか、不自然に迎合していないかを、モデルとは別の視点から判断できる。別のAIに批評を書かせたり点数を決めさせたりすると、集まるのは人の判断ではなく、モデルが生成した評価かもしれない。これはフィードバックの価値を損なうリスクであり、個々のAIを使った評価が実際にモデルへ悪影響を与えたと証明されたわけではない。4 16

報じられた業務上の指示は、評価やフィードバックの執筆にAIを使うことを禁じ、GrammarlyやAI翻訳機能も対象に含めている。また、ほかの契約スタッフの仕事を点検する担当者にも、信頼性が低いとしてAI検出ツールの使用を禁じている。13 9

AI使用の疑いは、どう見つけるのか

報道では、監督者は検出ツールの判定に頼る代わりに、似た言い回しの繰り返しや不自然に速い作業完了といった傾向を見るとされる。ただし、それらは詳しく調べるきっかけにはなっても、単独でAI使用の証拠にはならない。監督者が違反をどの程度正確に見つけているかも、現在の報道からは分からない。9 33

AIを使わなくても、人は不注意な採点や、意図的に不適切な採点をし得る。契約スタッフが故意に悪い評価を付けたと認めたという個別の話は、提示された報道では確認できないため、その経緯や広がりは判断できない。確かなのは、「人間による評価」という表示だけでは、一つひとつの判断の質まで保証できないということだ。評価の信頼性には、AI使用の有無だけでなく、採点内容そのものの点検も欠かせない。1 4

利用者にとっては、別の論点もある。Project Lilyの評価担当者は実際の会話文を見ることがあり、報じられたOpenAIのプライバシー保護用フィルターでも、機微な情報を取り除ききれない場合があるという。人間による評価をどう守るかと同時に、評価に使う会話をどう扱うかも重要になる。8 12

Studio Global AI

研究を続けてください

このページにはソースに裏付けされた回答が含まれており、Studio Global 内で続行できます。

Studio Global AIで検索して事実確認

人々も尋ねます