| เกณฑ์ชี้วัด | GLM-5.3 | GLM-5.2 (รุ่นก่อนหน้า) |
|---|---|---|
| Terminal-Bench 3.0 | 28.3 | 4.6 |
| DeepSWE v1.1 | 66.9 | 46.2 |
| Agents' Last Exam (CLI) | 28.5 | 23.8 |
| Z.ai Internal Code Bench | พัฒนาขึ้น ~50% | จุดเริ่มต้น |
หมายเหตุ: Mythos 5 ทำคะแนน 80.3% บน SWE-bench Pro (การเขียนโค้ดอัตโนมัติ) แต่ยังไม่มีการเปรียบเทียบโดยตรงระหว่างทั้งสองโมเดลบนเกณฑ์ชี้วัดเฉพาะเหล่านี้ การปรับปรุงทั้งหมดของ GLM-5.3 มาจากการขยายการฝึกอบรมต่อยอดเท่านั้น — โมเดลฐาน 743 พันล้านพารามิเตอร์ไม่ได้ถูกฝึกใหม่
GLM-5.3 อ้างความได้เปรียบเล็กน้อยเหนือ Mythos 5 ในด้านการตรวจจับช่องโหว่ (84.5% เทียบกับ 83.8% บน CyberGym) แต่ตามหลังอย่างมีนัยสำคัญในด้านการโจมตี (54.4% เทียบกับ 78.0% บน ExploitBench) การปล่อย Open Weights ของมันถูกเลื่อนออกไปเพื่อรอการตรวจสอบความปลอดภัย และ GLM-5.2 รุ่นก่อนหน้าถูกประเมินว่ามีการปฏิเสธคำสั่งโจมตีทางไซเบอร์เกือบเป็นศูนย์ ในทางกลับกัน Mythos 5 ยังคงถูกควบคุมอย่างเข้มงวดมาก — ไม่เคยเปิดให้สาธารณชนใช้งานได้ จำกัดเฉพาะพันธมิตรที่ผ่านการคัดกรองประมาณ 200 ราย — แต่ก็มีความสามารถมากกว่าในงานเชิงรุกที่อันตรายที่สุด นั่นคือการสร้าง Exploit ที่ใช้งานได้ นัยยะในวงกว้างคือโมเดล Open-weight กำลังปิดช่องว่างด้านความสามารถกับโมเดลที่ถูกควบคุมระดับแนวหน้าในงานไซเบอร์ได้อย่างรวดเร็ว ในขณะที่มาตรการป้องกันด้านความปลอดภัยยังคงอ่อนแอกว่าอย่างเห็นได้ชัด ความไม่แน่นอนด้านกฎระเบียบของจีนเกี่ยวกับการส่งออกโมเดล AI ชั้นนำเป็นอีกชั้นของความซับซ้อนว่าน้ำหนักของ GLM-5.3 จะพร้อมให้ใช้งานได้อย่างอิสระอย่างที่การตลาดของ Z.ai แนะนำหรือไม่
| เกณฑ์ชี้วัด | GLM-5.3 | GLM-5.2 (รุ่นก่อนหน้า) |
|---|---|---|
| Terminal-Bench 3.0 | 28.3 | 4.6 |
| DeepSWE v1.1 | 66.9 | 46.2 |
| Agents' Last Exam (CLI) | 28.5 | 23.8 |
| Z.ai Internal Code Bench | พัฒนาขึ้น ~50% | จุดเริ่มต้น |
หมายเหตุ: Mythos 5 ทำคะแนน 80.3% บน SWE-bench Pro (การเขียนโค้ดอัตโนมัติ) แต่ยังไม่มีการเปรียบเทียบโดยตรงระหว่างทั้งสองโมเดลบนเกณฑ์ชี้วัดเฉพาะเหล่านี้ การปรับปรุงทั้งหมดของ GLM-5.3 มาจากการขยายการฝึกอบรมต่อยอดเท่านั้น — โมเดลฐาน 743 พันล้านพารามิเตอร์ไม่ได้ถูกฝึกใหม่
GLM-5.3 อ้างความได้เปรียบเล็กน้อยเหนือ Mythos 5 ในด้านการตรวจจับช่องโหว่ (84.5% เทียบกับ 83.8% บน CyberGym) แต่ตามหลังอย่างมีนัยสำคัญในด้านการโจมตี (54.4% เทียบกับ 78.0% บน ExploitBench) การปล่อย Open Weights ของมันถูกเลื่อนออกไปเพื่อรอการตรวจสอบความปลอดภัย และ GLM-5.2 รุ่นก่อนหน้าถูกประเมินว่ามีการปฏิเสธคำสั่งโจมตีทางไซเบอร์เกือบเป็นศูนย์ ในทางกลับกัน Mythos 5 ยังคงถูกควบคุมอย่างเข้มงวดมาก — ไม่เคยเปิดให้สาธารณชนใช้งานได้ จำกัดเฉพาะพันธมิตรที่ผ่านการคัดกรองประมาณ 200 ราย — แต่ก็มีความสามารถมากกว่าในงานเชิงรุกที่อันตรายที่สุด นั่นคือการสร้าง Exploit ที่ใช้งานได้ นัยยะในวงกว้างคือโมเดล Open-weight กำลังปิดช่องว่างด้านความสามารถกับโมเดลที่ถูกควบคุมระดับแนวหน้าในงานไซเบอร์ได้อย่างรวดเร็ว ในขณะที่มาตรการป้องกันด้านความปลอดภัยยังคงอ่อนแอกว่าอย่างเห็นได้ชัด ความไม่แน่นอนด้านกฎระเบียบของจีนเกี่ยวกับการส่งออกโมเดล AI ชั้นนำเป็นอีกชั้นของความซับซ้อนว่าน้ำหนักของ GLM-5.3 จะพร้อมให้ใช้งานได้อย่างอิสระอย่างที่การตลาดของ Z.ai แนะนำหรือไม่