変更の背景：「承認疲れ」の実態

Anthropicの社内テレメトリーデータは、ユーザーが許可プロンプトの97%を承認していることを示していました——コマンドの危険性の如何を問わず。このほぼ普遍的な承認率は、注意深い評価ではなく、特に長いセッションで急速に進行する習慣的なクリック通過を反映したものでした。管理された試験では、人間の拒否率は最初から低い13.6%から、プロンプト50回を超えると約**5%**にまで低下し、コマンドごとの承認モデルが時間とともに著しく機能しなくなることが確認されました。

1,053人調査：AI分類器の89%ブロック率 vs 人間の拒否率

• 人間の検知率: 有償のプロフェッショナルテスター1,053人を対象とした二重盲検試験では、仕込まれた危険なコマンドがブロックされたのはわずか13.6%（1,053人中143人が拒否）でした。50プロンプト後には約5%にまで低下しました。
• オートモードの検知率: 分類器は同じ危険コマンドの**89%**をブロックしました。
• 実運用においても、手動承認セッションはオートモードセッションと比較して、意図しない障害を2倍の頻度で発生させていました。

残存リスク：11%の見逃し率とプロンプトインジェクションへの脆弱性

• 11%の見逃し率: 分類器は依然として危険コマンドの約11%をブロックできません。
• 敵対的評価: 第三者によるレッドチーミング演習により分類器の見逃し率はさらに低減されましたが、完全に排除するには至っていません。テストでは、分類器はプロンプトインジェクション攻撃を1件も捕捉できませんでしたが、これはテスト設計によるものであり、システムが全く免疫を持っているわけではないことを示唆しています。
• エッジケース: 分類器の訓練データの範囲外にある、高度に新規な、または難読化された悪意のあるコマンドは、依然として残存リスクです。

安全策とオーバーライド機能

• 分類器は各ツール呼び出しを独立して評価します。オートモードは包括的な許可の付与ではありません。
• ユーザーはセッション中、いつでも手動承認モードに切り替えることができます。
• TeamおよびEnterpriseの管理者は、組織全体でデフォルトモード（手動または自動）を固定でき、ユーザーレベルのデフォルト設定を上書きできます。
• Anthropicは外部レッドチーミングプログラムを通じて、分類器の継続的な評価と強化を行っています。
• Enterpriseアカウントの場合、オートモードは当面オプトインであり、最初のロールアウトから約1ヶ月以内にデフォルト化が計画されています。

プラン別ロールアウトと料金への影響

重要な料金に関する注記: Anthropicは、これらのプランにおいて、オートモードで消費される追加の分類器トークンに対する課金を停止したことを確認しています。これらのコストは現在、既存のサブスクリプションに吸収されています。

変更の背景：「承認疲れ」の実態

Anthropicの社内テレメトリーデータは、ユーザーが許可プロンプトの97%を承認していることを示していました——コマンドの危険性の如何を問わず。このほぼ普遍的な承認率は、注意深い評価ではなく、特に長いセッションで急速に進行する習慣的なクリック通過を反映したものでした。管理された試験では、人間の拒否率は最初から低い13.6%から、プロンプト50回を超えると約**5%**にまで低下し、コマンドごとの承認モデルが時間とともに著しく機能しなくなることが確認されました。

1,053人調査：AI分類器の89%ブロック率 vs 人間の拒否率

• 人間の検知率: 有償のプロフェッショナルテスター1,053人を対象とした二重盲検試験では、仕込まれた危険なコマンドがブロックされたのはわずか13.6%（1,053人中143人が拒否）でした。50プロンプト後には約5%にまで低下しました。
• オートモードの検知率: 分類器は同じ危険コマンドの**89%**をブロックしました。
• 実運用においても、手動承認セッションはオートモードセッションと比較して、意図しない障害を2倍の頻度で発生させていました。

残存リスク：11%の見逃し率とプロンプトインジェクションへの脆弱性

• 11%の見逃し率: 分類器は依然として危険コマンドの約11%をブロックできません。
• 敵対的評価: 第三者によるレッドチーミング演習により分類器の見逃し率はさらに低減されましたが、完全に排除するには至っていません。テストでは、分類器はプロンプトインジェクション攻撃を1件も捕捉できませんでしたが、これはテスト設計によるものであり、システムが全く免疫を持っているわけではないことを示唆しています。
• エッジケース: 分類器の訓練データの範囲外にある、高度に新規な、または難読化された悪意のあるコマンドは、依然として残存リスクです。

安全策とオーバーライド機能

• 分類器は各ツール呼び出しを独立して評価します。オートモードは包括的な許可の付与ではありません。
• ユーザーはセッション中、いつでも手動承認モードに切り替えることができます。
• TeamおよびEnterpriseの管理者は、組織全体でデフォルトモード（手動または自動）を固定でき、ユーザーレベルのデフォルト設定を上書きできます。
• Anthropicは外部レッドチーミングプログラムを通じて、分類器の継続的な評価と強化を行っています。
• Enterpriseアカウントの場合、オートモードは当面オプトインであり、最初のロールアウトから約1ヶ月以内にデフォルト化が計画されています。

プラン別ロールアウトと料金への影響

重要な料金に関する注記: Anthropicは、これらのプランにおいて、オートモードで消費される追加の分類器トークンに対する課金を停止したことを確認しています。これらのコストは現在、既存のサブスクリプションに吸収されています。