DeepSeek V4 Pro นำการทดสอบหาโหว่ของ Aikido แต่ผู้ชนะตัวจริงคือ “ระบบ” ไม่ใช่โมเดล

ผลลัพธ์พาดหัว: DeepSeek Pro ค้นพบช่องโหว่ได้มากที่สุด

Aikido ทดสอบโมเดล AI ด้านความปลอดภัยไซเบอร์ 10 รุ่นกับช่องโหว่ที่เปิดเผยล่าสุด 32 รายการ โดยให้แต่ละโมเดลสืบค้น 3 ครั้ง ผลการทดสอบใช้โทเคนรวม 11,700 ล้านโทเคน และจำกัดการเข้าถึงอินเทอร์เน็ตระหว่างการตรวจสอบ

เมื่อรวมผลจากทั้ง 3 รอบ DeepSeek V4 Pro 0813 ค้นพบช่องโหว่ 28 จาก 32 รายการ คิดเป็น pooled recall 87.5% ด้วยค่าใช้จ่ายประมาณ 295 ดอลลาร์ ทำให้เป็นโมเดลที่มีความครอบคลุมสูงสุดในขั้นตอนค้นหา 3

อย่างไรก็ตาม ตัวเลข 28/32 เป็นผลแบบ pass@3 ไม่ได้หมายความว่าการเรียกใช้โมเดลเพียงครั้งเดียวจะพบช่องโหว่ได้ 28 รายการเสมอไป แต่ละรอบอาจสำรวจไฟล์ เส้นทางการทำงาน หรือสมมติฐานการโจมตีแตกต่างกัน การนำผลมารวมกันจึงช่วยเพิ่มโอกาสในการพบปัญหา และชี้ว่าการตรวจสอบหลายรอบมีค่ามากกว่าการเชื่อคำตอบแรกของโมเดลเพียงอย่างเดียว

โมเดลแต่ละรุ่นเด่นคนละด้าน

DeepSeek V4 Pro 0813: เหมาะกับการค้นหาให้ครอบคลุม

จุดแข็งของ DeepSeek Pro คือความกว้างในการสำรวจ เมื่อรวม 3 รอบแล้วพบช่องโหว่ 28/32 รายการ ด้วยค่าใช้จ่ายราว 295 ดอลลาร์

จึงเหมาะกับการเป็น “นักสำรวจด่านแรก” ของกระบวนการรักษาความปลอดภัย แต่ผลลัพธ์ยังต้องผ่านการตรวจสอบด้วยหลักฐาน การรวมรายงานที่ซ้ำกัน และการประเมินระดับความรุนแรงก่อนส่งต่อเป็นรายการแจ้งเตือนจริง

DeepSeek V4 Flash 0731: เพิ่มจำนวนรอบได้ในงบจำกัด

การรัน Flash 3 ครั้งพบช่องโหว่ 24 จาก 32 รายการ ด้วยค่าใช้จ่ายประมาณ 108 ดอลลาร์ ทำให้มีสัดส่วนความครอบคลุมต่อค่าใช้จ่ายที่น่าสนใจ

โมเดลนี้จึงเหมาะกับการสแกนแบบขนาน การสุ่มตรวจเพิ่มเติม หรือการรันซ้ำหลายรอบในงบประมาณจำกัด แต่ไม่ควรถูกมองว่าเป็นผู้ตรวจสอบขั้นสุดท้ายโดยอัตโนมัติ ทางเลือกที่เหมาะกว่าคือให้ Flash ค้นหาให้มากที่สุด แล้วส่งผลรวมไปยังขั้นตอนคัดกรองที่เข้มงวดกว่า 3

Grok 4.6: สม่ำเสมอที่สุด

Grok 4.6 โดดเด่นด้านความสม่ำเสมอ โดยพบช่องโหว่ 21 รายการจาก 32 รายการในทั้ง 3 รอบ

ความสม่ำเสมอเช่นนี้มีความสำคัญกับทีมที่ต้องการรายงานที่คาดการณ์ได้ พฤติกรรมที่เสถียร และความแตกต่างระหว่างการสแกนแต่ละครั้งที่ไม่มากนัก แม้โมเดลเชิงสำรวจอย่าง DeepSeek Pro อาจทำ pooled recall ได้สูงกว่า แต่ Grok อาจเหมาะกับระบบมอนิเตอร์ที่ทำงานซ้ำเป็นประจำหรือกระบวนการที่ต้องการมาตรฐานคงที่

Claude Opus 5 และ GPT-5.6 Sol: ตัวเลือกประสิทธิภาพสูง

Claude Opus 5 ทำ pooled recall ได้ 26/32 ขณะที่ GPT-5.6 Sol ทำได้ 25/32 ทั้งคู่ยังเป็นตัวเลือกประสิทธิภาพสูง แต่ผลดังกล่าวท้าทายสมมติฐานว่าโมเดลปิดที่มีราคาแพงที่สุดจะต้องให้ความครอบคลุมช่องโหว่ดีที่สุดเสมอ

การเลือกใช้โมเดลเหล่านี้จึงควรพิจารณาจากเหตุผลเชิงระบบ เช่น ความสามารถด้านการให้เหตุผล คุณภาพของรายงาน หรือพฤติกรรมในการตรวจทาน มากกว่าการเลือกจากชื่อแบรนด์หรือชื่อเสียงใน benchmark ทั่วไปเพียงอย่างเดียว 3

Kimi K3: แม่นยำสำหรับการตรวจสอบและคัดกรอง

ผลเด่นของ Kimi K3 คือ pooled precision 92.3% หรือมีสัดส่วนรายงานที่ถูกยอมรับสูงเมื่อเทียบกับรายงานทั้งหมดที่ส่งออกมา

ความแตกต่างระหว่าง precision กับ recall ทำให้ Kimi เหมาะกับบทบาทอีกแบบหนึ่ง โมเดลที่มี recall สูงสามารถค้นหาได้กว้างและยอมรับสัญญาณรบกวนมากกว่า ส่วนโมเดลที่มี precision สูงเหมาะกับการตรวจสอบผล การจัดทำรายงาน และการลดจำนวนการแจ้งเตือนที่ต้องส่งถึงวิศวกร

Qwen3.8-Max: การคิดซ้ำอาจสิ้นเปลือง แต่บางครั้งก็ช่วยได้

Aikido สังเกตว่า Qwen3.8-Max มีแนวโน้มกลับไปตรวจ CVE หรือเส้นทางการให้เหตุผลเดิมซ้ำ ๆ พฤติกรรมนี้ไม่มีประสิทธิภาพหากใช้รอบการสืบค้นไปโดยไม่เพิ่มความครอบคลุม

แต่การย้อนกลับไปตรวจซ้ำก็อาจมีประโยชน์ หากทำให้โมเดลพบเงื่อนไขที่ตกหล่น เส้นทางการทำงานที่ยังไม่ได้พิจารณา หรือรายละเอียดที่ช่วยยืนยันช่องโหว่ได้ดีขึ้น

ทางออกอยู่ที่การออกแบบ harness หรือชั้นควบคุมการทำงานของเอเจนต์ ระบบควรบันทึกว่าได้ตรวจไฟล์ใด ทดสอบสมมติฐานใด และรายงานอะไรไปแล้ว พร้อมจำกัดการวนซ้ำ และส่งกรณีที่ยังไม่ชัดเจนไปยังการสืบค้นชุดใหม่แทนการเล่นเส้นทางเดิมซ้ำโดยอัตโนมัติ

GLM-5.3: ส่วนประกอบราคาประหยัดสำหรับการทำงานจำนวนมาก

GLM-5.3 ปรับปรุงผลจาก 24/32 เป็น 25/32 ในการเปรียบเทียบฉบับอัปเดต และยังมีต้นทุนต่ำกว่าตัวเลือกโมเดลปิดระดับแนวหน้าในชุดทดสอบ

คุณค่าของ GLM-5.3 จึงอยู่ที่การเป็นผู้ปฏิบัติงานปริมาณมาก หรือเป็นส่วนหนึ่งของ ensemble ที่ใช้หลายโมเดลร่วมกัน โดยเฉพาะเมื่อองค์กรนำข้อได้เปรียบด้านต้นทุนและความยืดหยุ่นในการใช้งานไปเพิ่มจำนวนการสืบค้น แทนที่จะฝากความหวังไว้กับการรันครั้งเดียว

Recall, precision และ consistency ตอบโจทย์คนละแบบ

ระบบค้นหาช่องโหว่ไม่ควรสรุปคุณภาพทั้งหมดด้วยตัวเลขอันดับเดียว เพราะแต่ละตัวชี้วัดสะท้อนความต้องการในการปฏิบัติงานต่างกัน

• Recall: ระบบค้นพบช่องโหว่ที่รู้คำตอบอยู่แล้วได้กี่รายการ
• Precision: รายงานที่ระบบส่งออกมาได้รับการยอมรับกี่รายการ
• Consistency: การรันแยกกันพบช่องโหว่รายการเดียวกันบ่อยเพียงใด
• ประสิทธิภาพด้านต้นทุน: ต้องใช้เงินเท่าใดกว่าจะได้ผลการค้นพบที่ผ่านการตรวจสอบแล้ว

ขั้นตอนค้นหามักให้ความสำคัญกับ recall สูงและพฤติกรรมการสืบค้นที่หลากหลาย ขณะที่การแจ้งเตือนในระบบจริงต้องการ precision หลักฐานที่ตรวจสอบได้ การตัดผลซ้ำ และการจัดลำดับความเสี่ยง ดังนั้นโมเดลที่เก่งในการค้นหาความเป็นไปได้จำนวนมาก อาจไม่เหมาะกับการส่งแจ้งเตือนให้นักพัฒนาโดยไม่มีผู้ตรวจทาน

เหตุใดการรันซ้ำจึงเปลี่ยนบทสรุปของ benchmark

บทเรียนสำคัญที่สุดจากการทดสอบครั้งนี้คือ ประสิทธิภาพของโมเดลมีความสุ่มอยู่พอสมควร การรันครั้งเดียวจะสำรวจเส้นทางการตรวจสอบเพียงแบบหนึ่ง ขณะที่การรันอิสระหลายครั้งเปิดโอกาสให้ระบบลองสมมติฐานที่แตกต่างกัน

นี่คือเหตุผลที่ DeepSeek Pro 3 รอบ ซึ่งมีค่าใช้จ่ายประมาณ 295 ดอลลาร์ สามารถแข่งขันกับหรือทำได้ดีกว่าการรันครั้งเดียวของโมเดลระดับแนวหน้าที่มีราคาแพงกว่า หน่วยที่ควรนำมาประเมินจึงไม่ใช่แค่ “การเรียกโมเดล” แต่คือการสืบสวนครบวงจร ซึ่งรวมโมเดล เครื่องมือ พรอมป์ ขีดจำกัดจำนวนรอบ หน่วยความจำ การรันซ้ำ และกระบวนการตรวจสอบ 3

ระบบรักษาความปลอดภัยที่ใช้งานจริงควรแบ่งบทบาทให้ชัด

แนวทางที่สอดคล้องกับผลทดสอบของ Aikido คือแยก “การค้นหา” ออกจาก “การตัดสิน” ดังนี้

1. ค้นหาให้กว้าง: ใช้เอเจนต์ต้นทุนต่ำหนึ่งตัวหรือหลายตัวตรวจสอบโค้ดเบสเพื่อเพิ่มความครอบคลุมของรายการต้องสงสัย
2. บันทึกสถานะการสืบค้น: เก็บข้อมูลไฟล์ที่ตรวจ สมมติฐานที่ทดสอบ และผลที่รายงานแล้ว เพื่อไม่ให้ระบบเสียรอบไปกับเส้นทางเดิม
3. รวมผลที่ซ้ำกัน: รวมรายงานที่อธิบายข้อบกพร่องเดียวกันก่อนนับจำนวนหรือส่งต่อ
4. ตรวจสอบด้วยโมเดลที่เน้น precision: ต้องมีหลักฐานว่าช่องโหว่เข้าถึงได้จริงและมีนัยสำคัญ
5. ยกระดับกรณียาก: ใช้โมเดลที่ให้เหตุผลได้ลึกขึ้นหรือเอเจนต์เฉพาะทางกับ exploit chain ที่ยังคลุมเครือ
6. คงมนุษย์ไว้ในกระบวนการ: ผลที่มีผลกระทบสูงควรได้รับการยืนยันก่อนแก้ไข เปิดเผย หรือบังคับใช้มาตรการอัตโนมัติ

แนวทางการส่งต่องานระหว่างโมเดลเช่นนี้มีความแข็งแรงกว่าการมองโมเดล open-weight และ closed-weight เป็นผลิตภัณฑ์ที่สลับแทนกันได้ทันที

ข้อจำกัดที่ควรรู้ก่อนนำผลไปใช้

ผลของ Aikido มีประโยชน์ในการทำความเข้าใจแนวโน้ม แต่ไม่ใช่การจัดอันดับโมเดล AI ด้านความปลอดภัยแบบสากล การทดสอบครอบคลุมช่องโหว่ที่เปิดเผยล่าสุด 32 รายการ ให้แต่ละโมเดลลอง 3 ครั้ง และใช้ agent harness เฉพาะรูปแบบหนึ่ง ประสิทธิภาพอาจเปลี่ยนแปลงได้ตามภาษาโปรแกรม โครงสร้าง repository สิทธิ์การเข้าถึงเครื่องมือ threat model งบประมาณการสืบค้น และระดับ false positive ที่องค์กรยอมรับได้ 3

ข้อสรุปที่รัดกุมและนำไปใช้ได้จริงกว่าคือ ในเงื่อนไขดังกล่าว โมเดล open-weight โดยเฉพาะ DeepSeek V4 Pro สามารถไล่ทันหรือแซงหน้าโมเดล closed-weight ระดับแนวหน้าได้เมื่อมีการรันซ้ำและการจัดการกระบวนการที่เหมาะสม

ดังนั้น “ผู้ชนะ” ในผลิตภัณฑ์ความปลอดภัยอาจไม่ใช่โมเดลที่มีคะแนนพาดหัวสูงที่สุด แต่คือระบบที่ค้นหาได้กว้าง ตรวจสอบได้แม่น และส่งมอบหลักฐานที่ทีมวิศวกรนำไปลงมือแก้ไขได้จริง