OpenAI「Project Lily」報道：ChatGPTの実会話を人間がレビューしていたとされる理由

404 Mediaの調査報道によると、OpenAIの社内取り組み「Project Lily」では、実際のChatGPT利用者の会話を使った人間によるフィードバック（評価）プログラムが運用されていたとされます。焦点は、会話がモデル改善に利用され得ることだけではありません。報道では、ユーザー名を外した会話であっても、外部委託の担当者が非常に個人的な文脈を読める場合があったと指摘されています。2

「Project Lily」で行われていたとされること

漏えい資料を確認した404 Mediaによれば、OpenAIは人材紹介会社を通じ、数百人の外部委託者を集めていたとされます。担当者の報酬は時給50米ドル超とされ、実際のユーザープロンプトとChatGPTの回答を確認。利用者の意図を要約したうえで、4つの候補回答を比較し、1〜7点で評価する作業が求められていたといいます。2

目的は回答品質の改善です。具体的には、ChatGPTの文体を機械的にしすぎないこと、人間の感情や実体験があるかのような表現を抑えること、必要以上に同意・迎合する傾向を減らすことなどが含まれていたと報じられています。2

人間の評価をAI開発に使うこと自体は珍しくありません。ただし、対象が合成データではなく消費者の実会話だったとすれば、プライバシー上の問題はより身近になります。

レビュー担当者に見える可能性があった情報

404 Mediaは、担当者が会話全体を受け取り、場合によってはユーザーメモリーの要約も見られたと報じました。ユーザー名は表示されない一方で、おおまかな居住地、職業、過去の関心事、私的な事情などをうかがわせる情報が含まれる可能性があったとされます。2

ここで重要なのは、氏名を削除することと、実質的に無害・匿名な会話にすることは同じではない、という点です。仕事、家族、健康上の悩み、特異な出来事といった複数の手掛かりの組み合わせは、アカウント名がなくてもセンシティブになり得ます。

Privacy Filterは何をするのか、何を防げないのか

OpenAIは「Privacy Filter」について、テキスト中の個人識別情報（PII）を検出し、伏せ字などで除去するためのモデルだと説明しています。4647

Project Lilyに関する報道でOpenAIは、外部委託者に渡る前にユーザー名を削除し、自動フィルターをかけていると述べました。しかし404 Mediaは、そうした措置の後でも、レビュー対象の会話にセンシティブな詳細が残ることがあったと報じています。2

自動マスキングは、氏名、メールアドレス、電話番号のような明示的な識別子には対応しやすい一方、文脈に依存する情報の判別は難しくなります。職業、地域、家庭状況、固有の経験などが重なるケースを、機械的に完全に除外するのは容易ではありません。

レビューで指摘対象とされた項目

報道で示されたガイドラインは、単なる正誤判定にとどまらないものでした。外部委託者は、次のような問題を確認するよう求められていたとされます。

• 定型的、不自然な「AIらしい言い回し」
• 人間の感情や実体験を持つかのような主張
• 過剰な同意、称賛、迎合的な表現
• 事実誤認
• 個人情報の露出
• 安全性に関する問題 2

とりわけ「迎合性（sycophancy）」への注目は重要です。利用者をすぐ肯定するモデルは、一見親身に感じられても、誤りや危険な前提を十分に問い直さないおそれがあります。Project Lilyは、こうした振る舞いの調整にも使われることが意図されていたと報じられています。2

「ここだけの話にして」はプライバシー設定ではない

プロンプト内で「誰にも言わないで」「ここだけの話にして」と書いても、アカウントに適用されるデータ利用設定は変わりません。それは会話の本文であって、OpenAIのデータ利用方針や技術的な設定を上書きする命令ではないためです。

個人用のChatGPTワークスペースでは、OpenAIが案内する設定は Improve the model for everyone です。オンの場合、会話はモデル改善に利用される可能性があります。オフにすると、OpenAIは新規の会話をモデルの学習に使わないと説明しています。2130

新しい会話をモデル改善に使わせない設定方法

ログイン中のChatGPTでは、OpenAIは次の手順を案内しています。

1. ChatGPTでプロフィールメニューを開く
2. **Settings（設定）**を選ぶ
3. **Data Controls（データコントロール）**を開く
4. Improve the model for everyone をオフにする 1921

この設定は端末ごとではなく、アカウントに適用されます。オフにした後も既存のチャット履歴は残せますが、OpenAIによれば、新たな会話はモデル学習に利用されません。1930

また、OpenAIのプライバシーポータルには Do not train on my content という選択肢もあります。ChatGPTとCodexのタスクについては、ポータルまたはアプリ内のデータコントロールのどちらか一方でオプトアウトすれば足り、両方を設定する必要はないとされています。21

プランごとのデフォルト設定

OpenAIによると、個人用ワークスペースのFree、Plus、Proでは、モデル学習のためのデータ共有がデフォルトで有効です。ただし、ユーザーはオプトアウトできます。一方、ChatGPT Business、Enterprise、Edu、API Platformでは、提供された入力と出力をモデル学習に使わない設定がデフォルトだと説明されています。23

ただし、法人向けプランだからといって、あらゆる用途で自動的にリスクがなくなるわけではありません。機密情報をAIツールに入力する前に、組織としてワークスペース設定、保存期間、共有権限、社内ルールを確認する必要があります。

実務上のポイント

404 Mediaが報じたProject Lilyは、個人向けAIチャットを「当然に秘密が守られる連絡手段」と考えるべきではなく、データ利用設定を確認すべきサービスとして扱う必要があることを示しています。2

個人情報、医療・法律・金融に関する内容、営業秘密などを入力する可能性がある場合は、まず Improve the model for everyone をオフにしてから新しい会話を始めるのが、直ちに取れる対策です。221

ただし、このオプトアウトはOpenAIによる新規会話のモデル改善利用を止めるための設定です。プロンプト内の「秘密にして」という依頼ではなく、すでに送信済みの内容を取り消す仕組みとしては説明されていません。2130