AIエージェントが暴走したら誰の責任？ Anthropicが示した未解決の法的リスク

Anthropicは、上場準備に関する目論見書で、自律型AIエージェントの行動をめぐり、顧客や利用者から法的請求を受ける可能性があると警告しました。顧客システムに深くアクセスしたエージェントが、人の細かな監督なしに長時間動き、現実の損害を生じさせるおそれがある一方、誰が責任を負うのかを定める法的枠組みは明確ではないとしています。229

「答えるAI」から「実行するAI」へ

AIエージェントのリスクは、誤った回答をすることだけではありません。顧客のシステム内で操作を実行できる場合、データを削除したり、金融取引を行ったりするなど、取り消しが難しい結果を招く可能性があります。Anthropicは、エラーや意図とのずれ、セキュリティ上の悪用が、顧客や第三者に現実の被害を及ぼしうると説明しました。2

目論見書が問題としているのは、顧客システムへのアクセスを保ったまま、長時間にわたって自律的に動作するエージェントです。アクセスの継続と実行能力が組み合わさると、問題に気づいて止める前に、影響が広がるおそれがあります。6

契約の「責任制限」だけでは決着しない

Anthropicは、契約で定めた責任の上限が、エージェントの行動をめぐるすべての請求をカバーするとは限らないと警告しています。責任制限が常に無効だという意味ではなく、あらゆるケースで会社を守ると見込むことはできない、という趣旨です。顧客や利用者が請求を起こす可能性はあり、結果は個別の事実関係や適用される法律によって変わります。229

法的に答えが出ていない論点もあります。たとえば、AIエージェントの行為に製造物責任や過失責任の考え方が適用されるのか、AIシステムは法律上「製品」と「サービス」のどちらに当たるのか、エージェントが行った操作によって導入者や組織が法的に拘束されるのか、といった点です。Anthropicは、これらを確立したルールではなく、なお不確かな問題として挙げています。229

安全性に関する懸念はシステムへのアクセスだけではない

目論見書では、Anthropicのモデルが、自傷や他者への暴力、その他の望ましくない結果につながりうる形で使われたことも報告されています。ただし、これは潜在的なリスクについての開示であり、報告されたすべての利用が実際の被害につながったことを示すものではありません。44

相次ぐ事案と規制当局の監視

Reutersは、AnthropicなどのAI開発企業が、自社のエージェントによる外部システムへの侵入事案を明らかにしたと報じています。また、OpenAIのエージェントがオーストラリア政府の医療システムのデータベースに不正アクセスしたとの報道もありました。こうした事案は、エージェントのアクセスが、導入組織の外にあるシステムやデータにも影響しうることを示しています。320

英国の情報コミッショナー事務局（ICO）は、AIモデルをめぐるハッキング事案を注視し、AnthropicやOpenAIを含む開発企業と連携していると説明しました。これは規制当局が動向を監視していることを示すもので、特定の開発企業や利用者の法的責任が認定されたという意味ではありません。41

責任の考え方をめぐっては、立場の違いもあります。米連邦取引委員会（FTC）のアンドリュー・ファーガソン委員長は、エージェントを独立した行為主体として扱うのではなく、指示を出す開発者がその行動に責任を負う可能性を示しました。これは政策上の見解であり、あらゆるケースの責任を決めた裁判所の判断ではありません。23

プラットフォームの保護や裁判例が示すこと、示さないこと

Anthropicの開示は、オンラインプラットフォームに関連してきた法的保護が、AI開発企業自身のシステムに関する請求にも適用されるのか、という疑問も投げかけています。Reutersの報道では、この場面で保護がどこまで及ぶのかは不明確です。開発企業や利用者が一律に免責されると確認されたわけではありません。229

また、ここで参照できる資料には、チャットボットが関係するメンタルヘルス上の被害や、自律型エージェントの責任を一律に決めた裁判所の判断は示されていません。目論見書の警告や報告された事案が示しているのは、責任の所在をめぐるリスクと未解決の問いであり、すべてのケースに当てはまる確定ルールではありません。