OpenAI ทิ้งเบนช์มาร์กการเขียนโค้ดทั้งสองตัวของตัวเอง: การล่มสลายของ SWE-bench ที่อธิบายให้เข้าใจ

ข้อสรุปของ OpenAI ชัดเจน: "การปรับปรุงบน SWE-bench Verified ไม่ได้สะท้อนถึงการปรับปรุงที่มีความหมายในความสามารถการพัฒนาซอฟต์แวร์ในโลกจริงของโมเดลอีกต่อไป มันสะท้อนถึงว่าโมเดลถูกเปิดเผยต่อเบนช์มาร์กมากแค่ไหนในระหว่างการฝึก" ^O

OpenAI แนะนำ SWE-bench Pro อย่างชัดเจนให้เป็นตัวแทน — เบนช์มาร์กที่ใหญ่กว่าซึ่งสร้างโดย Scale AI จาก repositories ส่วนตัวและ copyleft ^OT

ระยะที่ 2: การถอนคำแนะนำ SWE-bench Pro (กรกฎาคม 2026)

เมื่อวันที่ 8 กรกฎาคม 2026 OpenAI รายงานผลการตรวจสอบ SWE-bench Pro อย่างละเอียด — ซึ่งเป็นเบนช์มาร์กที่เพิ่งโปรโมตว่ามีความแข็งแกร่งกว่า ผลลัพธ์ที่ได้น่าตกใจ ^TG:

• ประมาณ 30% ของงานมีปัญหาขั้นพื้นฐาน OpenAI ใช้ทั้งระบบอัตโนมัติและการจำแนกโดยมนุษย์เพื่อตรวจสอบ SWE-bench Pro ระบบอัตโนมัติระบุว่างาน 27.4% ไม่ถูกต้อง ในขณะที่ผู้ตรวจสอบที่เป็นมนุษย์ระบุว่างาน 34.1% มีปัญหา OpenAI ประมาณว่างานของ SWE-bench Pro ประมาณ 30% ไม่สามารถใช้เป็นรายการประเมินได้ ^TG
• สาเหตุหลัก รายงานชี้ว่า GitHub issues และ pull requests ถูกออกแบบมาสำหรับการทำงานร่วมกันของมนุษย์ ไม่ใช่เพื่อเป็นงานประเมินผลที่สะอาดและเป็นอิสระซึ่งสามารถวัดความสามารถของ AI ได้อย่างน่าเชื่อถือ ^TG

สิ่งนี้บีบให้ OpenAI ต้องถอนคำแนะนำ SWE-bench Pro ทิ้งให้อุตสาหกรรมไร้เบนช์มาร์กตัวใหม่ที่เชื่อถือได้ ^G

วิกฤตครั้งใหญ่ในการวัดการเขียนโค้ดของ AI

การถอยกลับสองขั้นของ OpenAI ไม่ใช่เหตุการณ์พลาดโดดเดี่ยว มันเป็นส่วนหนึ่งของวิกฤตเชิงระบบในวงการ AI เกี่ยวกับการประเมินความสามารถในการเขียนโค้ด:

• ช่องว่างด้านความถูกต้องตามระบบนิเวศ นักวิจัยจาก Stanford HAI, บทวิจารณ์บน arXiv และกลุ่มอิสระต่างบันทึกถึงความไม่เชื่อมโยงพื้นฐาน: โมเดลที่ทำคะแนน 70-80% หรือสูงกว่าบน SWE-bench Verified แสดงความน่าเชื่อถือในโลกจริงที่ต่ำกว่ามาก โดยเฉพาะในงานที่ซับซ้อน หลายขั้นตอน หรือคลุมเครือ ^GA การวิเคราะห์หนึ่งกล่าวอย่างตรงไปตรงมา: "เบนช์มาร์กปัจจุบันสำหรับการประเมิน AI coding agents กำลังประสบวิกฤตความถูกต้องตามระบบนิเวศขั้นพื้นฐาน ในขณะที่โมเดลทำคะแนนได้น่าประทับใจบน SWE-bench (70%+) และ HumanEval (90%+) แต่เมตริกเหล่านี้ไม่สามารถทำนายประโยชน์ใช้สอยในโลกจริงได้" ^G
• การรั่วไหลของ Train-test เป็นโรคประจำถิ่น เนื่องจาก SWE-bench ดึงข้อมูลจาก GitHub สาธารณะที่อาจปรากฏในคลังข้อมูลการฝึก คะแนนเบนช์มาร์กจึงสะท้อนถึงการท่องจำมากกว่าการใช้เหตุผลมากขึ้นเรื่อยๆ ^BSX Stanford AI Index 2026 อธิบายว่าอัตราการปรับปรุงบน SWE-bench Verified นั้นบ่งชี้ถึงการปนเปื้อน ไม่ใช่การเติบโตของความสามารถที่แท้จริง ^HA
• วิกฤตการวัดในวงกว้าง Stanford AI Index 2026 เตือนว่าวงการ AI "กำลังสร้างเร็วกว่าที่เราจะวัดได้" โดยการประเมินโมเดลในหลายโดเมนเริ่มไม่น่าเชื่อถือเมื่อเบนช์มาร์กอิ่มตัวและรั่วไหล ^A บทวิจารณ์บน arXiv เรื่อง "Benchmarking AI Models in Software Engineering" ชี้ให้เห็นถึงความรู้ที่กระจัดกระจาย การขาดมาตรฐาน และข้อบกพร่องในการออกแบบขั้นพื้นฐานว่าเป็นปัญหาทั่วทั้งอุตสาหกรรม ^A

สิ่งนี้หมายความว่าอย่างไร

การถอยกลับสองครั้งติดต่อกันของ OpenAI — เริ่มจากการทิ้งเบนช์มาร์กของตัวเอง จากนั้นก็ปฏิเสธตัวแทน — ทำให้ภูมิทัศน์การประเมินโค้ด AI ไม่มีผู้นำที่เชื่อถือได้ ชุมชนเริ่มตระหนักมากขึ้นว่าคะแนนเบนช์มาร์กสูงๆ ไม่สามารถทำนายได้อย่างน่าเชื่อถือว่า AI coding agent จะสามารถจัดการงานวิศวกรรมซอฟต์แวร์ในโลกแห่งความจริงได้หรือไม่ ^GA วิธีการประเมินแบบใหม่ — เช่น เบนช์มาร์กเฉพาะงาน เชิง adversarial หรือที่อัปเดตอย่างต่อเนื่อง — เป็นสิ่งที่จำเป็นอย่างเร่งด่วน แต่ยังไม่สมบูรณ์ ^GAA

สำหรับตอนนี้ ใครก็ตามที่พยายามประเมิน AI coding agent ไม่มีมาตรฐานเดียวให้เชื่อถือ การล่มสลายของ SWE-bench Verified และ SWE-bench Pro ไม่ใช่แค่เรื่องราวของแบบทดสอบที่มีข้อบกพร่องสองตัว มันเป็นเรื่องราวของอุตสาหกรรมที่สร้างเร็วกว่าที่มันจะวัดได้