Claude Mythos Preview 亦有幾個資安相關數字。報告指 Mythos Preview 喺網絡安全能力 benchmark 得 83.1%,高過 Claude Opus 4.6 嘅 66.6% 。另有報告指佢喺 Cybench 呢個網絡安全挑戰 benchmark 達到 100%
。
Anthropic 方面可見嘅資料亦集中喺呢個方向:Anthropic Red Team 發表咗 Claude Mythos Preview 網絡安全能力評估;Project Glasswing 亦包括用 Claude Mythos Preview 協助識別漏洞同 exploit 嘅工作 。對資安團隊嚟講,呢啲資料可能更貼近實際需要;但唔應該將佢哋加埋 SWE-bench,當成一個「總排名」。
如果你要評估嘅係「AI agent 幫手改 repo、跑 test、修 code」呢類工作,93.9% SWE-bench 係最值得先睇嘅起點 。如果目標係漏洞分析、安全審查、exploit 研究,咁就應該睇資安 benchmark 同 Anthropic 相關文件
。
一句講晒:Claude Mythos Preview 最常被引用嘅 benchmark 係 SWE-bench 93.9% 。但嚴謹啲講,呢個係特定軟件工程評測同 agent 工具環境下嘅強訊號,唔係證明佢喺所有領域都自動勝出。