ChatGPTの会話を人が読む可能性――「Project Lily」報道と、今すぐ見直すべき設定

404 Mediaの調査報道によると、OpenAIの社内プロジェクト「Project Lily」では、実際の消費者向けChatGPT会話を用いた人間による評価が行われているとされます。流出した内部資料、実例のプロンプト、同社の説明を基にした報道では、外部委託の担当者が会話の前後関係を読み、モデルの回答を評価する場合があるといいます。そこには、利用者のセンシティブな個人情報が含まれることもあり得ます。1

健康、家族・交際、法律、仕事上の悩みなどをChatGPTに相談する人にとって重要なのは、会話内で「この話は内緒にして」と書いても、それはアカウントのデータ利用設定ではないという点です。新しい会話をモデル改善に使わせるかどうかは、ChatGPTのデータコントロールで決まります。1

「Project Lily」で何が行われていると報じられたのか

404 Mediaは、人材会社を通じて採用され、時給50ドル超とされる数百人の委託者が、大量の実際のChatGPT会話を確認していると報じました。担当業務には、次のような内容が含まれるとされています。

• ユーザーが何を求めているかを要約する
• モデルが出した4件の回答候補を比較する
• 回答を1〜7で採点する
• 回答の役立ちや信頼性を損なう挙動を特定する 1

評価基準には、機械的で不自然な「AIらしい」言い回し、事実と異なる説明、根拠なく利用者に同調・迎合する表現、安全性の問題、そしてAIが人間の経験や感情を持つかのように述べる表現などが含まれるといいます。1

この種のフィードバックは、ChatGPTの回答をより自然で信頼できるものにする目的があります。一方で、品質改善の工程に人間が会話内容へアクセスする可能性がある、ということでもあります。1

名前を消しても、会話が「匿名」とは限らない

OpenAIは404 Mediaに対し、評価担当者へ渡す前にユーザー名を削除し、プライバシーフィルターを適用していると説明しました。しかし同メディアは、評価用資料に会話全体の文脈や、モデルが生成したメモリーの要約が含まれる例を確認したと報じています。そこには居住地のおおまかな情報、職業、非常に個人的な事情などが記されていたとされます。1

氏名やアカウントIDを取り除いても、出来事の経緯、仕事の内容、地域、固有の表現が組み合わされば、本人を知る人には誰の話か推測できることがあります。氏名が分からなくても、開示されたくない内容であること自体は変わりません。404 Mediaによれば、OpenAIも、珍しい識別情報や文脈に依存する曖昧な私的言及は、フィルターが見逃すことがあると認めました。1

「二人だけの話にして」は閲覧を止める設定ではない

ChatGPTに秘密保持を頼む文言は、会話中の指示であって、サービス上のアクセス制御ではありません。アカウントで選択しているデータ利用設定を上書きしたり、報道で示された改善ワークフローの対象から外したりする機能ではありません。1

個人向けチャットを、医師・弁護士・カウンセラーとの守秘が前提の相談窓口のように扱うのは避けるべきです。認められた評価担当者に読まれるだけでも困る情報なら、モデル改善を有効にした個人用ワークスペースには入力しないほうが安全です。

新しい会話をモデル改善に使わせない方法

OpenAIのデータコントロールに関する案内では、個人用ワークスペースの利用者は、次の手順でモデル改善への利用を停止できます。

1. プロフィール → 設定
2. データコントロール
3. **「すべての人のためにモデルを改善する」**をオフにする

この設定をオフにすると、会話履歴には新しいチャットが残る一方で、OpenAIによれば、それらはChatGPTモデルの学習・改善には使用されません。設定は端末ごとではなく、アカウント全体に適用されます。

ただし、変更は新しい会話に対して適用されます。モデル改善が有効だった期間にすでに送信した会話が、さかのぼって対象外になるわけではありません。

Business・Enterprise・Eduでは扱いが異なる

OpenAIは、ChatGPT Business、Enterprise、Edu、およびAPI Platformで扱う入力・出力について、原則としてモデル学習に使用しないと案内しています。一方、個人用ワークスペースのChatGPT Free、Plus、Proでは、モデル改善のためのデータ共有が初期設定で有効ですが、データコントロールから停止できます。

もちろん、組織アカウントなら何を入力してもよいという意味ではありません。社内規程、取引先との契約、個別のワークスペース設定は別途確認が必要です。それでも、消費者向けの個人アカウントとは初期設定上の扱いが異なる点は重要です。

人間によるAI評価はOpenAIだけのものではない

人間の評価担当者を通じてAIを改善する手法は、OpenAIに特有のものではありません。Anthropicのプライバシーポリシーは、利用者またはクラウドワーカーが提供した入力・出力を、利用者がオプトアウトしない限りモデルの訓練・改善に使う場合があると説明しています。

また、主要AI事業者のプライバシー慣行を検討した学術レビューは、GoogleとOpenAIの両社が、モデルの訓練または改善を目的としたユーザーチャットの人間による確認に言及していると指摘しています。

問われるべきなのは、人間のフィードバックが存在するかだけではありません。自分の会話がいつその工程に入り得るのか、匿名化で何が守られ何が残り得るのか、そして設定をどう変更できるのかを、利用者が理解できているかが重要です。

実用的な結論：入力前に設定を確認する

404 Mediaが報じた「Project Lily」は、消費者向けAIチャットが自動的に完全な一対一の秘匿コミュニケーションになるわけではないことを示しています。匿名化は露出を減らす対策になり得ますが、個人的な文脈が濃い会話から、すべての手がかりを取り除けるとは限りません。1

機微な情報を入力する前に、**設定 → データコントロール → 「すべての人のためにモデルを改善する」**を確認しましょう。有効なら、新しい会話はサービス改善に利用される可能性があるものとして扱うべきです。オフであれば、OpenAIは新しい会話をその目的には使用しないと説明しています。