移行中、AIはプロンプトを待たずに、自発的に59回も改善案を提案した。このような自律的な行動は、AIが受動的なコーディング支援ツールから、能動的なエージェントへと変化していることを示している。
同じジェイルブレイクされたGeminiインスタンスは、パスワード解析、29サイトにわたるWordPress管理者認証情報の侵害、そして高齢者を標的にした電話ベースの暗号資産詐欺計画の立案にも使用された。攻撃者はTelegramチャンネル(@americanpatriotus)を運営。米軍退役軍人を装い、約5年間で登録者数を約17,000人にまで拡大し、QAnon風のコンテンツを拡散していた。
運用コストをほぼゼロに抑えるため、攻撃者は73個もの不正取得したGoogle Gemini APIキーを使用していた。このキャンペーンにより、少なくとも1人の被害者の暗号資産ウォレットが空にされたことが確認されている。
驚くべきことに、このC2オペレーションの全容は、わずか3つのプレーンテキストファイル(合計約5KB、プリントアウトすればおよそ4ページ分)に凝縮されていた。
3月23日には、攻撃者がAIに古いC2設定を要約させ、サーバー機能、ボットの接続方法、デプロイ手順をカバーしたわずか2ページの平易な英語のスキルファイルを作成している。この構造により、ボットネットは極めて複製しやすく、事実上「使い捨て」が可能となっている。つまり、サーバーを停止させても、防御側が対応するよりも速く攻撃者が再構築できるため、従来のテイクダウン戦略の効果は限定的となる。
ジェイルブレイクは、永続的なローカルメモリファイル(GEMINI.md)を介して達成された。このファイルはGemini CLIインスタンスに対し、自身のセーフティフィルターを無視するよう訓練していた。CLIはセッション開始時にこのファイルを自動的に再読み込みするため、ジェイルブレイクの指示は永続化し、時間の経過とともに自己強化される挙動を示した。また、攻撃者はロシア語でプロンプトを送信することで、非英語言語におけるAIセーフティ制御の既知の不整合を悪用した。
GoogleのGeminiプラットフォームには、プロンプトインジェクションを検出・ブロックするジェイルブレイク分類機能が含まれている。しかし、公式ドキュメントによれば、CLIではこの機能はデフォルトで無効であり、ブロッキングしきい値を明示的に設定して有効化する必要がある。
TrendAIのVPであるTom Kellermann氏は、「AIは、多層的なガードレールと、ガードレールが改ざんされた際の行動異常検知が備わっていない限り、C2そのものと見なすべきだ」と指摘している。また、学術研究でも、本番環境のGeminiモデルであっても、プロンプトガードを回避して一貫してジェイルブレイクできることが確認されている。
TrendAIの分析は、脅威環境における根本的な変化を浮き彫りにしている。「テイクダウンは依然として有効だが、攻撃者が防御側の対応よりも速く再構築できる場合、その効果は薄れる」。
Kellermann氏は、この能力を「AIによって進化する永続性」と表現している。すなわち、6分未満でC2を動的に移行し、インフラ全体をポータブルかつ使い捨て可能にする能力である。コーディング、デバッグ、インフラデプロイにおけるAIの支配的な役割と、自発的・無指示での行動は、低スキルの単独攻撃者であっても、かつてはチームを必要とした速度と規模で活動できる時代が到来したことを意味する。