Claude Mythos Benchmark: คะแนนเด่นและข้อจำกัดที่ต้องรู้

อะไรที่ Anthropic ยืนยันชัดเจน

ข้อมูลที่เป็นทางการและชัดที่สุดคือสถานะของโมเดล: Claude Mythos Preview เป็น Research Preview สำหรับงานไซเบอร์ซีเคียวริตี้เชิงป้องกันใน Project Glasswing เข้าถึงได้แบบเชิญเท่านั้น และไม่มี self-serve sign-up

หน้า Project Glasswing ของ Anthropic อธิบาย Claude Mythos Preview ว่าเป็น frontier model แบบใช้งานทั่วไป และเป็นโมเดลของ Anthropic ที่มีความสามารถสูงเป็นพิเศษในงาน coding และงานแบบ agentic หรือการทำงานหลายขั้นตอนด้วยเครื่องมือ หน้าเดียวกันยังอธิบายว่า ความแข็งแกร่งด้านไซเบอร์ซีเคียวริตี้ของโมเดลมาจากความสามารถที่กว้างกว่าในการเข้าใจและแก้ไขซอฟต์แวร์ซับซ้อนอย่างลึกซึ้ง ซึ่งนำไปสู่การค้นหาและแก้ช่องโหว่ได้ด้วย

แหล่ง system card ที่มีในชุดข้อมูลนี้ยังอธิบาย Claude Mythos Preview ว่าเป็น large language model ใหม่ หรือ frontier model ที่มีความสามารถในหลายด้าน เช่น software engineering, reasoning, computer use, knowledge work และการช่วยงานวิจัย

พูดให้สั้นคือ แหล่งทางการรองรับการวางตำแหน่งของโมเดลค่อนข้างชัด แต่ตัวเลขคะแนนแบบละเอียดในภาพรวมนี้ปรากฏผ่านแหล่งภายนอกเป็นหลัก

ทำไม 93.9% บน SWE-bench จึงเป็นคะแนนพาดหัว

คะแนนที่ดึงสายตามากที่สุดคือ 93.9% บน SWE-bench Verified โดย W&B รายงานคะแนนนี้สำหรับ Claude Mythos Preview และเทียบกับ 80.8% ของ Claude Opus 4.6

สำหรับทีมซอฟต์แวร์ นี่คือ benchmark ที่ควรถูกหยิบขึ้นมาพูดก่อน เพราะเกี่ยวข้องโดยตรงกับงานเขียนโค้ด แก้บั๊ก และแก้ปัญหาในรีโปซิทอรี ซึ่งเป็นงานหลักที่โมเดล coding agent ถูกนำไปประเมิน

คะแนนด้าน coding หลายภาษาก็สูงเช่นกัน W&B รายงานว่า Claude Mythos Preview ได้ 87.3% บน SWE-bench Multilingual เทียบกับ 77.8% ของ Claude Opus 4.6 จุดนี้ช่วยสนับสนุนภาพว่า ความสามารถของโมเดลไม่ได้โดดเด่นเฉพาะในชุดทดสอบ coding ภาษาอังกฤษเพียงรูปแบบเดียว

อย่างไรก็ตาม 93.9% ไม่ได้แปลว่าโมเดลจะทำงานได้ระดับเดียวกันในทุกรีโปซิทอรี ทุกเครื่องมือ ทุกมาตรฐาน review หรือทุกข้อจำกัดขององค์กร ยิ่งในกรณี Claude Mythos ข้อจำกัดสำคัญคือทีมภายนอกไม่สามารถสมัครใช้งานเองเพื่อทดสอบซ้ำได้ง่ายตามข้อมูลของ Anthropic

Cybersecurity: ตัวเลขแรง แต่เป็นบริบทเฉพาะทาง

คะแนนด้านไซเบอร์ซีเคียวริตี้ก็น่าจับตา Authmind รายงานว่า Claude Mythos Preview ได้คะแนน Cybench แบบสมบูรณ์ที่ pass@1 = 1.00 โดยอธิบายว่า Cybench เป็น benchmark สาธารณะที่ดึงจากโจทย์ CTF 40 รายการ ส่วน CyberGym นั้น Authmind รายงานว่า Mythos Preview ได้ 0.83 และอธิบายว่าเป็นการประเมิน AI agent ในการทำซ้ำช่องโหว่แบบเจาะจงจากงานโอเพนซอร์สจริง 1,507 งาน

คะแนนเหล่านี้เข้ากับการวางตำแหน่งอย่างเป็นทางการของ Anthropic เพราะในเอกสาร Claude API ระบุ Mythos Preview โดยตรงว่าเป็น Research Preview สำหรับเวิร์กโฟลว์ไซเบอร์ซีเคียวริตี้เชิงป้องกันใน Project Glasswing และในหน้า Project Glasswing Anthropic เชื่อมโยงความสามารถด้านไซเบอร์กับความสามารถทั่วไปในการเข้าใจ แก้ไข และวิเคราะห์ซอฟต์แวร์ซับซ้อนเพื่อค้นหาหรือแก้ช่องโหว่

แต่รูปแบบโจทย์ยังสำคัญมาก CTF หรือ Capture the Flag และการทำซ้ำช่องโหว่เป็นสภาพแวดล้อมประเมินที่เฉพาะเจาะจง จึงเป็นสัญญาณที่แข็งแรงสำหรับความสามารถด้าน security และ code analysis แต่ไม่ใช่สิ่งทดแทนการทดสอบภายใต้นโยบายความปลอดภัย เครื่องมือที่อนุญาต และความรับผิดชอบจริงของแต่ละองค์กร

Reasoning, multimodal และ terminal agents

นอกจาก coding และ cybersecurity ยังมีคะแนน reasoning ที่สูงเช่นกัน llm-stats รายงาน 94.6% บน GPQA Diamond และ 56.8% บน Humanity’s Last Exam แบบไม่มีเครื่องมือ หรือ 64.7% แบบมีเครื่องมือ การแยกคะแนนตามการใช้เครื่องมือเป็นเรื่องสำคัญ เพราะ tool access สามารถเปลี่ยนความสามารถที่เห็นจาก benchmark ได้มาก

ส่วน Terminal-Bench ยิ่งต้องดูรายละเอียดการตั้งค่า llm-stats รายงานคะแนน 92.1% แต่ระบุว่าใช้ Terminus-2 harness, adaptive thinking ระดับสูงสุด, งบประมาณ 1 ล้านโทเคนต่อโจทย์, timeout ที่ขยายเป็น 4 ชั่วโมง และอัปเดต Terminal-Bench 2.1 นี่ไม่ใช่รายละเอียดปลีกย่อย แต่เป็นส่วนหนึ่งของความหมายของคะแนน เพราะ benchmark สำหรับ agent มักขึ้นอยู่กับเวลา บริบท เครื่องมือ และงบประมาณที่โมเดลได้รับ

คะแนน multimodal ก็ต้องอ่านอย่างระมัดระวัง W&B รายงาน 59.0% ในการประเมิน multimodal ภายในของ Mythos Preview เทียบกับ 27.1% ของ Claude Opus 4.6 ขณะเดียวกัน llm-stats ระบุว่า SWE-bench Multimodal ใช้ implementation ภายใน และคะแนนไม่สามารถเทียบโดยตรงกับผลบนลีดเดอร์บอร์ดสาธารณะได้

ทำไมคะแนนเหล่านี้ไม่เหมือนคะแนนลีดเดอร์บอร์ดทั่วไป

มีข้อจำกัดหลัก 4 ข้อที่ควรจำไว้

1. การเข้าถึงจำกัด: Anthropic ระบุว่า Claude Mythos Preview เป็น Research Preview แบบเชิญเท่านั้น และไม่มีการสมัครใช้งานเองแบบ self-serve ทำให้ทีมพัฒนาทั่วไปทำซ้ำผลลัพธ์ได้ยาก

2. แหล่งข้อมูลเป็นแบบผสม: แหล่งทางการในชุดนี้ยืนยันสถานะของโมเดล การวางตำแหน่ง และขอบเขตความสามารถเป็นหลัก แต่ตัวเลขคะแนนจำนวนมากปรากฏผ่านแหล่งภายนอก

3. มีการประเมินภายในและการตั้งค่าเฉพาะ: คะแนน multimodal ถูกระบุว่าเป็นการประเมินภายใน ส่วน Terminal-Bench ถูกอธิบายพร้อม harness เฉพาะ, thinking ระดับสูงสุด, งบประมาณโทเคนสูง และ timeout ที่ยาวขึ้น

4. คะแนนตอบโจทย์บางประเภท ไม่ใช่ทุกสถานการณ์: Authmind ระบุว่า Cybench ประกอบด้วยโจทย์ CTF 40 รายการ และ CyberGym ครอบคลุมงานโอเพนซอร์สจริง 1,507 งานสำหรับการทำซ้ำช่องโหว่ สิ่งเหล่านี้สำคัญ แต่ยังเป็นกลุ่มงานที่มีขอบเขตชัดเจน

บทสรุป

ถ้าดูจากคะแนนที่มีรายงาน Claude Mythos Preview ดูโดดเด่นมาก: 93.9% บน SWE-bench Verified, 87.3% บน SWE-bench Multilingual, 59.0% ในการประเมิน multimodal ภายใน, 0.83 บน CyberGym และ pass@1 = 1.00 บน Cybench

แต่ประเด็นสำคัญไม่ใช่แค่ตัวเลขสูงแค่ไหน Claude Mythos Preview เป็น Research Preview แบบเชิญเท่านั้นใน Project Glasswing ตามข้อมูลของ Anthropic ไม่ใช่โมเดลมาตรฐานที่เปิดให้ใช้งานทั่วไป

ดังนั้น วิธีอ่านที่ปลอดภัยที่สุดคือมองคะแนนเหล่านี้เป็นสัญญาณความสามารถที่แรงมากในงาน coding, agent และไซเบอร์ซีเคียวริตี้เชิงป้องกัน แต่ไม่ควรอ่านเป็นอันดับสาธารณะที่ทุกคนสามารถทำซ้ำและเปรียบเทียบได้ตรง ๆ เหมือน benchmark ของโมเดลที่เปิดกว้างทั่วไป