この現象は、AIセキュリティ分野で知られる プロンプトインジェクション(prompt injection) と似た構造を持っています。これは、入力されたテキストに含まれる指示をAIがそのまま実行してしまうタイプの問題です。
今回のケースでは攻撃ではなく単なる曖昧さですが、AIが入力を命令として扱ってしまう点では似た失敗パターンと言えます。
Google検索では、AI Overviewsが「役に立つまとめを作れる」と判断すると、検索結果ページの一番上にAIパネルが表示されます。
ところが今回のバグでは、AIが検索語を命令だと誤解するため、次のような応答を生成してしまいます。
ユーザーから見ると、Googleが突然「単語の意味を調べられなくなった」ように見えるわけです。
AI Overviewsは以前から、いくつかの奇妙な回答で注目を集めてきました。
例えば2024年の初期公開時には、AIが次のような回答を返した例が拡散しました。
原因として挙げられたのは次のような問題です。
今回の「disregard」バグも、AIがユーザーの意図を誤読したケースの一つと考えられています。
完全な修正が行われるまでは、いくつかの簡単な方法でAI Overviewsを回避できます。
4. 検索をより明確にする
例:
このようにすると、AIが命令ではなく辞書検索として理解しやすくなります。
今回のバグは、AI検索が抱える根本的な問題も示しています。
従来の検索エンジンは「情報を探すクエリ」を処理します。一方で、言語モデルは「指示を実行するAI」です。
この2つの役割が同じインターフェースに統合されると、単なる単語なのか、それとも命令なのかを判断する必要が出てきます。
「disregard」のような動詞は、その境界を曖昧にしてしまう典型的な例です。
Googleはこの問題の修正に取り組んでいるとしていますが、今回の出来事は、AIを組み込んだ検索体験がまだ完全には安定していないことを示す出来事とも言えるでしょう。
Comments
0 comments