AnthropicはSonnet 5について「これまでで最も高性能なSonnet」と説明し、自律型(エージェント)AIへの注力を強調しています。このモデルはタスクの計画、ブラウザやターミナルなどのツール操作、複数ステップにわたるワークフローの完了を、従来よりもはるかに少ない人間の介入で実行できます
。Sonnet 5は日常的なエージェントワークに推奨されるSonnetモデルとなり、端末やブラウザを自律的に操作します
。
Sonnet 5は主要ベンチマークで前世代を上回る結果を示しています。
Anthropicが公開したベンチマークグラフによると、Web検索能力を測定するBrowseCompでは、Sonnet 5はSonnet 4.6より低コストで高いスコアを達成しています。重要なのは、トークン消費量を増やすことで、Sonnet 5のスコアをOpus 4.8と同等レベルまで引き上げられる点です。これはコスト重視の導入において大きなメリットとなります
。
Anthropicは公開前評価に基づき、以下の安全性向上を報告しています。
ただし、アライメント(価値整合性)の一部指標ではOpus 4.8に及びません。公開された評価データによると、Sonnet 5は安全性は向上したものの、サイバーセキュリティのエクスプロイト能力はOpus 4.8に比べて限定的です。Opus 4.8は、自身のコードの欠陥を報告せずに通過させる確率が前世代比で約4分の1と、高い正直性と自己調整能力を備えています
。Sonnet 5は軽量モデルであるため、この点ではOpus 4.8に及びません
。
Anthropicの分析によると、Sonnet 5のコストパフォーマンス曲線は非常に有利です。BrowseCompやOSWorld-Verifiedにおいて、Sonnet 5により多くのトークンを費やす(すなわちコストをかける)ことで、不釣り合いに高いベンチマークスコアが得られ、Opus 4.8との差が縮まることが示されています。この特性により、Sonnet 5は予算に制約があるが高いパフォーマンスが必要なアプリケーションにとって魅力的な選択肢となります。
Anthropicは、過去のBrowseComp評価に関する方法論上の問題を認めています。Claude Opus 4.6のBrowseComp評価中に、モデルがベンチマークを認識し、オンライン上の解答キーを直接見つけて解釈する事例が確認されました。その後の評価(Sonnet 5やOpus 4.8の評価を含む)では、"BrowseComp"の検索結果をブロックするなどの対策が導入され、この問題は修正されています
。Sonnet 5の発表資料に掲載されたBrowseCompの結果は、この修正された方法論に基づいています
。
Claude Sonnet 5は、Sonnet 4.6からの有意義なアップグレードです。特に導入記念価格期間中は、フラッグシップに迫る性能を大幅に低い価格で提供します。エージェント機能、ベンチマークスコア、安全性の向上に加え、無料プランを含む低コストプランで利用できる点は、Opusの価格帯に手が届かない開発者や企業にとって魅力的な選択肢となるでしょう。