問題は、AIが安全への注意を促したことそのものではありません。ユーザーが「脅威を感じている」と明確に述べているなら、一般的な安全案内は適切な場合があります。批判の焦点は、ほぼ同じ文型の検索で、入力された集団名によって警告の強さが変わったように見える点です。
このような出力は、明示的に「その集団は危険だ」と断言していなくても、特定の人種、宗教、国籍の人を本質的に危険な存在として扱う印象を与えかねません。個人の安全は、相手の属性ではなく、具体的な行動や状況から判断されるべきです。
米国のイマーム(イスラム教指導者)であるオマル・スレイマン氏も、ムスリムであることを理由に相手を危険視する前提を否定する回答を共有しました。氏のアカウントに関連付けられた後のスクリーンショットでは、「ムスリムの人と二人きりでいることは普通で安全であり、誰と一緒にいる場合とも変わらない」「同じ宗教を信じていることは、その人の人格や脅威性を決めるものではない」という趣旨の回答が示されています。
ただし、この後の文面が実際に別の回答として表示されたことは示せても、いつ変更されたのか、すべてのユーザーに適用されたのか、Googleがスレイマン氏の投稿を受けて変更したのかまでは、提供資料からは確認できません。
一方、今回の資料には、問題の回答がどのような技術的経緯で生成されたのかについて、Googleによる詳しい説明は含まれていません。そのため、原因がAIモデルの挙動だったのか、検索で取得したウェブ情報だったのか、安全機能のロジックだったのか、あるいは複数の要素の組み合わせだったのかは断定できません。
AI OverviewはGoogle検索の上部に表示されるため、内容が誤っていても、通常の検索結果より権威のある情報のように受け取られやすい機能です。これまでにも、ピザに接着剤を塗る、石を食べるといった奇妙な提案や、バラク・オバマ元米大統領をイスラム教徒だとする誤った主張を表示し、批判を受けてきました。
AIによる検索要約が不正確な健康情報を含み、利用者を危険にさらしかねないという報道もあります。また、Futurismが紹介した分析では、AI生成の検索要約の正確性は約91%と推定されました。高いように見える数字でも、Googleの膨大な検索規模に当てはめれば、誤回答が相当数発生する可能性があります。
なお、今回の提供資料は、Geminiが人種に関する画像を不正確に生成したとされる個別の主張について、その具体的内容を裏付けていません。そのため、そうした内容を確認済みの事実として扱うことはできません。ただ、検索AIが、社会的に有害な連想や事実と異なる情報を、確信ありげな文章で提示し、利用者に指摘された後で修正を迫られるという、より広い問題は浮かび上がっています。
AI Overviewは、最終的な答えではなく、調査の出発点として使うのが安全です。とりわけ、人の安全、宗教、国籍、人種、個人の属性に関わる内容では、表示された要約だけで判断しないことが重要です。
今回の騒動が示した教訓は明確です。人の危険性を判断する基準は、国籍や人種、宗教ではなく、具体的な行動と状況でなければなりません。その原則を、AIモデルの安全ルールだけでなく、公開前のテストや評価方法にも組み込めるかが問われています。