結論：危険なのは「最強のAI」ではなく、広く配布されるAI

パロアルト・ネットワークスの最高情報責任者（CIO）Meerah Rajavel氏が警告した最大のサイバーセキュリティ脅威は、OpenAIやAnthropicなどが提供する、アクセスを厳しく管理した最先端モデルそのものではない。より懸念されるのは、安価でダウンロード可能なオープンソース、または正確にはオープンウェイトのAIモデルだという。

こうしたモデルは、最先端システムに比べて性能が数カ月遅れていたとしても、4〜6カ月ほどで同等に近い攻撃能力へ到達する可能性があるとみられている。6 重みが公開されれば、開発元の管理を離れた環境で誰でも実行、改変、複製できる。つまり、能力の高さだけでなく、拡散の速さと管理不能性がリスクを押し上げる。

API型AIとオープンウェイトモデルの違い

クラウド上のAPIとして提供されるAIであれば、提供者は通常、利用状況のログ取得、不正利用の検知、リクエスト数の制限、ポリシー適用、安全対策の更新、アカウント停止などを行える。

一方、モデルを組織内のサーバーや個人のPCに保存して動かす場合、こうした管理の仕組みは届きにくい。安全機能を変更・削除されても開発元は把握しにくく、脆弱性が見つかっても確実に修正できるとは限らない。企業のセキュリティ部門が、その利用自体を認識できないケースも考えられる。

これは単に「オープンなモデルは危険」という話ではない。研究では、オープンウェイトAIの公開が、より多くの攻撃者にサイバー攻撃の自動化・大規模化を可能にし得ると指摘されている。2

攻撃への転用が安く、速くなる

高性能なAIを使った攻撃には、これまで一定の専門知識や計算資源が必要だった。しかし、GPUを時間単位で借りる費用が下がり、モデルをローカル環境で動かせるようになれば、経済面・運用面のハードルはともに下がる。

その結果、AIは次のような作業に転用される可能性がある。

• 標的やネットワークの偵察
• 脆弱性を悪用するコードの作成
• フィッシング文面の大量生成
• 既存マルウェアの改変
• 攻撃対象の選定と自動化

重要なのは、オープンウェイトモデルを使う人すべてが悪意を持つわけではないという点だ。問題は、同じ能力が広範囲に配布され、攻撃者が試行錯誤をより短時間で繰り返せるようになることにある。

会話を重ねるほど安全対策を突破されやすい

モデルが最初の悪意ある質問を拒否したとしても、それで安全とは限らない。攻撃者は会話を何度も重ね、質問の表現を変えたり、目的を小さく分解したりしながら、モデルを望ましくない出力へ誘導できる。

CiscoのAIセキュリティ研究者が8つのオープンウェイト大規模言語モデル（LLM）を評価したところ、マルチターンの敵対的攻撃は、単発の攻撃を基準にした場合と比べて成功率が2〜10倍高かった。マルチターン攻撃の成功率は、モデルによって25.86％から92.78％に達したという。

この結果は、単発の安全性ベンチマークだけでは、実際の長い対話における耐性を十分に測れない可能性を示している。

モデルファイルそのものが攻撃経路になる可能性

自社でモデルをダウンロードして運用する企業は、AIの出力だけを信頼すればよいわけではない。モデル本体のファイル、変換形式、チャットテンプレート、推論サーバー、関連ライブラリなど、サプライチェーン全体を検証する必要がある。

クラウドセキュリティ・アライアンス（CSA）は、自己ホスト型LLMのモデルファイルに埋め込まれた実行可能なロジックやテンプレートが、モデルの読み込み時に作動し得る脅威を報告している。場合によっては、推論を始める前に認証情報の窃取やデータ流出につながる可能性がある。

また、モデルの重みに悪意ある挙動を仕込む「重みレベルの汚染」では、特定の入力を受けたときだけ情報を漏えいさせるといったバックドアも想定される。ただし、CSAの単一の一次資料が、MetaのLlama、Mistral、AlibabaのQwenを一括して特定したという表現については、独立して確認できない。個別のモデル名を並べた断定は、現時点では慎重に扱うべきだ。

パロアルト・ネットワークスの攻撃件数には訂正が必要

この議論で引用されるパロアルト・ネットワークスの数字にも注意が必要だ。同社が提出した一次資料によれば、同社は1日あたり最大890万件の新規または未確認の攻撃を検知し、最大309億件の攻撃を阻止している。

これは「過去1年間に300億件の攻撃を阻止し、2億5,000万件の新たな攻撃ベクトルを観測した」という意味ではない。日次の数字と年間の数字が混同されている可能性がある。

それでも、Rajavel氏の警告の背景は明確だ。攻撃環境はすでに高速かつ変化が激しく、そこへ改変可能なAI能力が広く流通すれば、攻撃者が偵察から実行までのサイクルをさらに短縮できる。企業にとっての課題は、最先端モデルだけを監視することではなく、誰がどのモデルを、どこで、どのように動かしているのかを把握することになる。

結論：危険なのは「最強のAI」ではなく、広く配布されるAI

パロアルト・ネットワークスの最高情報責任者（CIO）Meerah Rajavel氏が警告した最大のサイバーセキュリティ脅威は、OpenAIやAnthropicなどが提供する、アクセスを厳しく管理した最先端モデルそのものではない。より懸念されるのは、安価でダウンロード可能なオープンソース、または正確にはオープンウェイトのAIモデルだという。

こうしたモデルは、最先端システムに比べて性能が数カ月遅れていたとしても、4〜6カ月ほどで同等に近い攻撃能力へ到達する可能性があるとみられている。6 重みが公開されれば、開発元の管理を離れた環境で誰でも実行、改変、複製できる。つまり、能力の高さだけでなく、拡散の速さと管理不能性がリスクを押し上げる。

API型AIとオープンウェイトモデルの違い

クラウド上のAPIとして提供されるAIであれば、提供者は通常、利用状況のログ取得、不正利用の検知、リクエスト数の制限、ポリシー適用、安全対策の更新、アカウント停止などを行える。

一方、モデルを組織内のサーバーや個人のPCに保存して動かす場合、こうした管理の仕組みは届きにくい。安全機能を変更・削除されても開発元は把握しにくく、脆弱性が見つかっても確実に修正できるとは限らない。企業のセキュリティ部門が、その利用自体を認識できないケースも考えられる。

これは単に「オープンなモデルは危険」という話ではない。研究では、オープンウェイトAIの公開が、より多くの攻撃者にサイバー攻撃の自動化・大規模化を可能にし得ると指摘されている。2

攻撃への転用が安く、速くなる

高性能なAIを使った攻撃には、これまで一定の専門知識や計算資源が必要だった。しかし、GPUを時間単位で借りる費用が下がり、モデルをローカル環境で動かせるようになれば、経済面・運用面のハードルはともに下がる。

その結果、AIは次のような作業に転用される可能性がある。

• 標的やネットワークの偵察
• 脆弱性を悪用するコードの作成
• フィッシング文面の大量生成
• 既存マルウェアの改変
• 攻撃対象の選定と自動化

重要なのは、オープンウェイトモデルを使う人すべてが悪意を持つわけではないという点だ。問題は、同じ能力が広範囲に配布され、攻撃者が試行錯誤をより短時間で繰り返せるようになることにある。

会話を重ねるほど安全対策を突破されやすい

モデルが最初の悪意ある質問を拒否したとしても、それで安全とは限らない。攻撃者は会話を何度も重ね、質問の表現を変えたり、目的を小さく分解したりしながら、モデルを望ましくない出力へ誘導できる。

CiscoのAIセキュリティ研究者が8つのオープンウェイト大規模言語モデル（LLM）を評価したところ、マルチターンの敵対的攻撃は、単発の攻撃を基準にした場合と比べて成功率が2〜10倍高かった。マルチターン攻撃の成功率は、モデルによって25.86％から92.78％に達したという。

この結果は、単発の安全性ベンチマークだけでは、実際の長い対話における耐性を十分に測れない可能性を示している。

モデルファイルそのものが攻撃経路になる可能性

自社でモデルをダウンロードして運用する企業は、AIの出力だけを信頼すればよいわけではない。モデル本体のファイル、変換形式、チャットテンプレート、推論サーバー、関連ライブラリなど、サプライチェーン全体を検証する必要がある。

クラウドセキュリティ・アライアンス（CSA）は、自己ホスト型LLMのモデルファイルに埋め込まれた実行可能なロジックやテンプレートが、モデルの読み込み時に作動し得る脅威を報告している。場合によっては、推論を始める前に認証情報の窃取やデータ流出につながる可能性がある。

また、モデルの重みに悪意ある挙動を仕込む「重みレベルの汚染」では、特定の入力を受けたときだけ情報を漏えいさせるといったバックドアも想定される。ただし、CSAの単一の一次資料が、MetaのLlama、Mistral、AlibabaのQwenを一括して特定したという表現については、独立して確認できない。個別のモデル名を並べた断定は、現時点では慎重に扱うべきだ。

パロアルト・ネットワークスの攻撃件数には訂正が必要

この議論で引用されるパロアルト・ネットワークスの数字にも注意が必要だ。同社が提出した一次資料によれば、同社は1日あたり最大890万件の新規または未確認の攻撃を検知し、最大309億件の攻撃を阻止している。

これは「過去1年間に300億件の攻撃を阻止し、2億5,000万件の新たな攻撃ベクトルを観測した」という意味ではない。日次の数字と年間の数字が混同されている可能性がある。

それでも、Rajavel氏の警告の背景は明確だ。攻撃環境はすでに高速かつ変化が激しく、そこへ改変可能なAI能力が広く流通すれば、攻撃者が偵察から実行までのサイクルをさらに短縮できる。企業にとっての課題は、最先端モデルだけを監視することではなく、誰がどのモデルを、どこで、どのように動かしているのかを把握することになる。