| ด้านที่ประเมิน | Benchmark | ผลที่รายงาน | ควรใช้ดูอะไร |
|---|---|---|---|
| Coding และเอเจนต์ | SWE-bench Verified | 87.6% | ตัวเลขหลักที่ถูกอ้างถึงมากที่สุดสำหรับการประเมินความสามารถแก้งานซอฟต์แวร์ของ Claude Opus 4.7 |
| Coding และเอเจนต์ | SWE-bench Pro | 64.3% | ใช้อ่านเสริมเมื่องานซอฟต์แวร์ยากขึ้นหรือมีลักษณะต่างจาก SWE-bench Verified |
| เอเจนต์ในสภาพแวดล้อม terminal | Terminal-Bench 2.0 | 69.4% | เหมาะกับกรณีที่โมเดลต้องทำงานผ่านเครื่องมือหรือสภาพแวดล้อมคล้าย terminal |
| เอเจนต์ด้านการเงิน | Finance Agent v1.1 | 64.4% | เกี่ยวข้องกับงานวิเคราะห์หรืออัตโนมัติด้านการเงินมากกว่า benchmark coding ทั่วไป |
| Coding ภายใน | benchmark ภายใน 93 งาน | อัตราแก้สำเร็จสูงกว่า Opus 4.6 อยู่ 13% | เป็นการปรับดีขึ้นในชุดประเมินเฉพาะ ไม่ใช่คำรับประกันว่าทุกโปรเจกต์จะดีขึ้นเท่ากัน |
| Research agent ภายใน | คะแนนรวม | 0.715 | Anthropic ระบุว่าเป็นผลลัพธ์ที่แข็งแรงสำหรับงานหลายขั้นตอนใน benchmark research-agent ภายใน |
| Research agent ภายใน | General Finance | 0.813 เทียบกับ 0.767 ของ Opus 4.6 | ชี้ว่าดีขึ้นจาก Opus 4.6 ในโมดูลการเงินภายในของ Anthropic |
ถ้าทีมกำลังเทียบโมเดลเพื่อใช้เป็น coding agent คะแนน SWE-bench Verified คือพาดหัวที่ชัดที่สุดจากข้อมูลสาธารณะที่มีอยู่: AWS รายงานว่า Claude Opus 4.7 ได้ 87.6% ในเชิงการใช้งาน นี่ทำให้ภาพของ Opus 4.7 ชัดขึ้นว่าเน้นงานวิศวกรรมซอฟต์แวร์และการแก้ปัญหาโค้ด สอดคล้องกับคำอธิบายของ Anthropic ที่วางโมเดลนี้ไว้ในกลุ่มเด่นด้าน reasoning ซับซ้อนและ agentic coding
แต่คะแนนนี้ไม่ควรถูกตีความว่าเป็นประสิทธิภาพโดยรวมของโมเดลในทุกงาน SWE-bench Verified วัดความสามารถบางประเภท ไม่ได้แทน benchmark สำหรับ terminal, งานการเงิน, วิชัน, งานระยะยาว หรือ research ทั้งหมด ดังนั้นถ้าจะตัดสินใจเชิงเทคนิค ควรดูอย่างน้อย SWE-bench Pro และ Terminal-Bench 2.0 ควบคู่ไปกับคะแนนหลัก
ไม่ใช่ทุกแหล่งที่รายงานตัวเลขเดียวกัน แหล่งข้อมูลรองแห่งหนึ่งรายงานว่า Claude Opus 4.7 ได้ 82.4% ใน SWE-bench Verified ขณะที่ AWS รายงาน 87.6% ความต่างนี้สำคัญ เพราะการนำตัวเลขไปใช้โดยไม่บอกที่มาอาจทำให้เทียบผิดบริบท
วิธีอ่านที่รอบคอบคือระบุให้ครบว่าเป็น benchmark ใด คะแนนเท่าไร และมาจากแหล่งไหน นอกจากนี้ AWS ยังเตือนว่า Opus 4.7 อาจต้องปรับ prompt และ harness เพื่อให้ได้ผลลัพธ์ที่ดีที่สุด ซึ่งย้ำว่า configuration ของการทดสอบมีผลต่อคะแนนที่เห็นได้
ถ้าเป้าหมายหลักคือ การเขียนโค้ดหรือแก้ issue ในซอฟต์แวร์ ให้เริ่มจาก SWE-bench Verified แต่ไม่ควรหยุดแค่นั้น SWE-bench Pro และ Terminal-Bench 2.0 ช่วยให้เห็นภาพงานที่ซับซ้อนขึ้น หรือกรณีที่โมเดลต้องโต้ตอบกับเครื่องมือและสภาพแวดล้อมแบบ terminal
ถ้าเป้าหมายคือ งานการเงินหรือ research ข้อมูล benchmark ภายในของ Anthropic จะใกล้เคียงรูปแบบงานนั้นมากกว่า โดยใน benchmark research-agent ภายใน Opus 4.7 ได้คะแนนรวม 0.715 และได้ 0.813 ในโมดูล General Finance เทียบกับ 0.767 ของ Opus 4.6 ในโมดูลเดียวกัน อย่างไรก็ตาม ควรอ่านในฐานะผลประเมินภายใน ไม่ใช่การยืนยันจากบุคคลที่สามโดยอิสระ
ถ้าสนใจ เวิร์กโฟลว์องค์กรที่ยาวและมีหลายขั้นตอน ข้อมูลสาธารณะชี้ไปที่การปรับปรุงในงานระยะยาว การทำตามคำสั่ง และการทำงานท่ามกลางความกำกวม ตามที่ AWS อ้างข้อมูลจาก Anthropic ในกรณีนี้ benchmark เป็นเพียงจุดเริ่มต้น การทดสอบที่มีน้ำหนักจริงควรใช้เครื่องมือ prompt และ harness ที่ใกล้กับงานของทีมคุณเอง
benchmark ที่แข็งแรงและอ้างอิงง่ายที่สุดของ Claude Opus 4.7 คือ 87.6% ใน SWE-bench Verified ซึ่งเกี่ยวข้องโดยตรงกับงาน coding แบบเอเจนต์ แต่ภาพรวมต้องละเอียดกว่านั้น เพราะยังมีคะแนน 64.3% ใน SWE-bench Pro, 69.4% ใน Terminal-Bench 2.0 และ 64.4% ใน Finance Agent v1.1 รวมถึงผลประเมินภายในของ Anthropic ที่ชี้ถึงความสามารถในงาน multi-step และงานการเงิน
การเทียบ Claude Opus 4.7 อย่างรับผิดชอบจึงไม่ใช่การถามว่าได้คะแนน benchmark เดียวเท่าไร แต่ต้องถามว่า benchmark ใดใกล้กับงานจริงของคุณที่สุด และการทดสอบนั้นตั้งค่าไว้อย่างไร สำหรับงานซอฟต์แวร์ SWE-bench Verified เป็นจุดเริ่มต้นที่ดี ส่วนงานเอเจนต์ terminal การเงิน หรือ research ควรให้ความสำคัญกับคะแนนประกอบอื่น ๆ ไม่แพ้กัน