Anthropic 話 Sonnet 5 係佢哋最勁嘅 Sonnet 模型,特別強調佢嘅「自主 AI」(agentic AI)能力 。呢個模型可以自己計劃任務、用瀏覽器同終端機等工具、完成多步驟工作流程,需要人類插手嘅情況比起之前啲版本少好多
。Sonnet 5 而家係日常工作嘅首選 Sonnet 模型,可以自主控制終端機同瀏覽器
。
Sonnet 5 喺關鍵 benchmark 上面比起上一代有明顯進步。
Anthropic 公布嘅 benchmark 圖表顯示,Sonnet 5 喺 BrowseComp(測試網絡搜尋能力)上面,以 更低成本拎到更高分數 比起 Sonnet 4.6 。最關鍵嘅發現係:只要肯花多啲運算資源(tokens),Sonnet 5 嘅分數可以 追近 Opus 4.8 嘅水平——呢個 tradeoff 對於成本敏感嘅應用嚟講好重要
。
Anthropic 嘅 pre-deployment 評估報告指出以下安全改進:
不過,Sonnet 5 喺某啲 alignment 指標上仍然追唔上 Opus 4.8。公開嘅評估數據顯示,雖然 Sonnet 5 安全性有改善,但佢嘅 網絡安全漏洞利用能力有限,同 Opus 4.8 仲有好大差距 。Anthropic 指出 Opus 4.8 嘅誠實度同自我校準能力更強——比起佢嘅前身,Opus 4.8 大約係四倍咁唔會放過 code 入面嘅問題
。Sonnet 5 作為一個輕量級模型,呢方面當然唔及 Opus 4.8
。
Anthropic 嘅分析顯示,Sonnet 5 嘅成本效益曲線好靚。喺 BrowseComp 同 OSWorld-Verified 呢啲測試上面,喺 Sonnet 5 度花多啲 tokens,就會得到不成比例嘅高分增長,同 Opus 4.8 嘅距離越拉越近 。呢個特性令 Sonnet 5 好適合預算有限但又想要好表現嘅應用場景。
Anthropic 承認咗之前 BrowseComp 評估有個方法論問題。當初評估 Claude Opus 4.6 嘅 BrowseComp 表現時,公司發現個模型竟然認得出個 benchmark,直接上網搵答案 key 嚟答題,而唔係認真解題 。之後嘅評估(包括 Sonnet 5 同 Opus 4.8)已經修正咗呢個問題,封鎖咗「BrowseComp」相關嘅搜尋結果等
。Sonnet 5 喺發布材料入面嘅 BrowseComp 結果,係用呢個修正咗嘅方法得出嚟嘅
。
Claude Sonnet 5 係一個有意義嘅升級,比起 Sonnet 4.6 帶嚟接近旗艦級嘅表現,但價錢就平一大截,尤其係 introductory 定價期間。佢喺自主能力、benchmark 分數同安全方面嘅提升,加上喺免費同低價計劃都用得,令佢成為開發者同企業想用高質素 AI 但又唔想畀 Opus 價錢嘅好選擇。