AI開発を本当に減速させるには何が必要か

意味のあるAI開発の減速とは、経済全体でAIの利用を止めることではなく、最先端AIの開発ペースに歯止めをかけることです。AI企業の幹部から独立評価や企業間の協調を求める声が上がっています。しかし、提案を信頼できる安全策に変えるには、自主的な約束だけでは足りません。評価の独立性を確保し、公開判断に実際の影響を持たせ、リスクに応じて規則を適用する必要があります。

シンガポールには、エージェント型AIのガバナンス枠組み、AI Verifyのテストツール、第三者のAIテスターを認定する制度があります。次の課題は、こうした手段を、実際に導入されるシステムについての明確で証拠に基づく判断につなげることです。4

「減速」の呼びかけが示すこと、示さないこと

最近の提案が焦点を当てているのは、**最先端AI（フロンティアAI）**の開発ペースです。これは、現時点で特に高い能力を持つAIシステムを指します。能力の向上に安全対策や外部監督が追いつかない可能性が懸念されています。報道で取り上げられた提案には、外部評価者が最先端AI企業に継続的にアクセスできる仕組みや、安全基準の調整、国際的な協力の拡大などが含まれます。

こうした提案は、関心の高まりを示すものです。しかし、AI企業間で政策や拘束力のある合意が成立したことを意味するわけではありません。国際AI安全報告書は、リスク管理の取り組みはまだ発展途上で、多くの企業の取り組みが自主的なものにとどまっているとしています。 企業がモデルをテストすると約束しても、それだけで、重大なリスクが残る場合に公開を延期させる強制力のあるルールになるわけではありません。

リスクに応じた「公開の関門」を設ける

現実的な方法は、能力や権限が大きいシステムには厳しい条件を設けつつ、一般的なAI利用まで一律に止めないことです。文章の下書きを支援するツールと、重大な結果につながる操作を実行できるエージェントに、同じ要件を機械的に課すべきではありません。シンガポールのエージェント型AI枠組みも、リスクを評価して範囲を限定することや、重要・機微な操作の前に人の承認を置くことを推奨しています。46

最先端モデルや影響の大きい用途については、この考え方をもとに、次のような公開前の手続きを設けることが考えられます。

• 公開前の独立評価： 有資格の外部評価者に、関連システムや証拠への安全なアクセスを認め、危険な能力や予見できる悪用の可能性を調べてもらいます。最先端AIの開発ペースを抑えるため、評価者に継続的なアクセスを認める案は最近の提案に含まれますが、普遍的な既存要件ではありません。
• 明確な基準と、その後の対応： どのような評価結果が追加の安全策、アクセス制限、公開延期につながるのかを公表するか、少なくとも明確に定めます。評価で問題が見つかった場合、記録に残る対応を求め、リスクに応じて公開を保留します。社内で再確認するだけで終わらせてはなりません。これは提案されているガバナンス策であり、シンガポールの現行枠組みに記載された要件ではありません。4
• 導入方法に合わせた制御： 重大な操作権限を持つエージェントには、権限の限定、重要な操作時の人による承認、監視、責任の所在の明確化などを検討します。シンガポールの枠組みはリスクの限定と実効性のある人間の監督を重視しており、具体策はシステムや用途に応じて決める必要があります。48
• 大きな変更があれば再評価： モデルや利用ツール、導入環境に重要な変更があった場合、改めて評価します。一度のテストを、その後もずっと安全を保証するものとして扱うべきではありません。これは、導入後のシステムが変化しても評価の有効性を保つための提案です。

リスクの低い用途には、より明確で負担の軽い導入経路を用意するべきです。リスクに応じたルールなら、事業での活用を可能にしながら、テストに合格したことを、あらゆる状況で安全だという証明と誤解せずに済みます。EU AI法は、AIの用途に伴うリスクに基づいて規制を構成する例の一つです。

公的なルールと、独立したテストを

国際協調が進めば、評価結果を比較しやすくなり、監督の緩い地域を探す動機を減らせる可能性があります。各国政府は、評価手法の共通化、インシデント情報の共有、最もリスクの高いシステムに対する最低限の要件について協議できます。その基準に照らし、独立評価者が証拠を示すことができます。最近の減速案も、企業間や国境を越えた協調を呼びかけています。

誰が何を担うのかも重要です。強制力のある基準を定め、基準に達しない場合の対応を決めるのは、公的機関であるべきです。企業は技術的知見を提供できますが、自社のシステムが基準を満たすかどうかを判断する唯一の立場にしてはなりません。独立評価者には、透明性のある手法と利益相反の開示が求められます。これらは、提案されている監督体制の設計原則であり、報道された業界の呼びかけにすでに備わっている仕組みではありません。

シンガポールが生かせる土台

シンガポールの「エージェント型AIに関するモデルAIガバナンス枠組み」は、AIエージェントを導入する組織に向けて、リスク評価、人間の責任、各種の制御について指針を示しています。これは責任ある導入のためのガイダンスであり、それ自体が強制力のある公開審査制度というわけではありません。468

AI Verifyはテストツールを提供し、AI Tester Accreditation Programme（AI TAP）は、必要な技術力と運用体制を備える第三者テスト事業者を認定します。 これらを組み合わせれば、企業や金融分野で、より一貫した評価を支えることができます。シンガポールはさらに、共通の保証プロファイルや、モデル提供者、システム統合者、導入者、テスターそれぞれが何を示すべきかを明確にする契約条項を後押しすることも考えられます。いずれも今後の選択肢であり、引用した枠組みにすでに定められた政策ではありません。

目指すべきなのは、評価方法やテストの証拠を国境を越えて相互に認めることです。単一の国の認証が、どのシステムや用途についても安全を保証する、と主張することではありません。枠組みやテストツールは証拠を整理する助けになりますが、その証拠が実際の導入環境とリスクに対応しているかどうかは、当局や組織が判断する必要があります。

AIの安全性、ソフトウェアの信頼性、サイバーセキュリティを一体で見る

モデルの出力をテストするだけでは、AIエージェントの評価として十分ではありません。周辺のソフトウェアシステムがどう動くか、また、エージェントがアクセスできるツールや権限がどの程度安全かも確認する必要があります。これらは関連していますが、別々の問いです。AIがどのような有害な振る舞いをするか。組み上げられたアプリケーションが、障害や変更の際にどう動くか。攻撃者がシステムに侵入したり、別の方向へ操作したりできるか――それぞれを調べます。

こうした一体的な評価は、保証体制を拡張するための提案であり、既存のすべてのツールがすでに三分野を網羅しているという意味ではありません。AI Verify Toolkitは、従来型の機械学習システムを対象に、公平性、説明可能性、頑健性などを技術的にテストするツールを説明しています。したがって、モデル単体の評価結果がシステム全体のお墨付きになると考えるのではなく、エージェント型AIの導入環境を対象とした追加のテストを明確にすることが重要です。

「意味のある減速」を測る基準

減速が実効性を持つのは、独立した証拠によって次の判断が変わるときです。安全策が不十分なら、高リスクの公開を延期、制限、修正できる一方、一般的でリスクの低い用途には、リスクに見合った導入経路が保たれていること。シンガポールの枠組みやテスト制度は、そうした保証体制を築く土台になります。ただし、公開の基準、執行の仕組み、評価の対象範囲は、明確に定める必要があります。