OpenAI ทิ้งเบนช์มาร์กการเขียนโค้ดทั้งสองตัวของตัวเอง: การล่มสลายของ SWE-bench ที่อธิบายให้เข้าใจ

ในเวลาเพียง 7 เดือน OpenAI เดินหนีจากเบนช์มาร์กการเขียนโค้ดที่ตัวเองเคยสนับสนุนถึงสองตัว เริ่มจากการเลิกใช้ SWE-bench Verified ในเดือนกุมภาพันธ์ 2026 ซึ่งเป็นเบนช์มาร์กที่ OpenAI ร่วมสร้างและเคยเป็นมาตรฐานของอุตสาหกรรม ตามด้วยการถอนคำแนะนำ SWE-bench Pro ในเดือนกรกฎาคม 2026 ซึ่งเป็นตัวที่ตั้งใจจะใช้แทน การถอยกลับสองครั้งติดต่อกันนี้ไม่ใช่แค่ปัญหาด้านโลจิสติกส์สำหรับผู้ประเมินโมเดล แต่มันเป็นสัญญาณว่าวิธีที่อุตสาหกรรม AI วัดความสามารถในการเขียนโค้ดนั้นพังทลายลงแล้ว

ระยะที่ 1: การทิ้ง SWE-bench Verified (กุมภาพันธ์ 2026)

SWE-bench Verified เปิดตัวในเดือนสิงหาคม 2024 โดยเป็นชุดย่อยที่ผ่านการตรวจสอบโดยมนุษย์จาก SWE-bench ดั้งเดิมของมหาวิทยาลัย Princeton ประกอบด้วยโจทย์ Python 500 ข้อที่ดึงจาก GitHub issues จริง เป็นเวลาประมาณ 18 เดือนที่มันทำหน้าที่เป็นเครื่องมือหลักในการวัดว่า AI coding agents สามารถแก้ปัญหาซอฟต์แวร์ในโลกจริงได้ดีแค่ไหน

เมื่อวันที่ 23 กุมภาพันธ์ 2026 ทีม Frontier Evals ของ OpenAI ประกาศยุติการใช้งานเบนช์มาร์กนี้อย่างเป็นทางการ สาเหตุชัดเจนมาก:

• Test cases ที่มีข้อบกพร่อง การตรวจสอบภายในโจทย์ที่ยากที่สุด 138 ข้อที่โมเดล o3 ทำไม่ได้ (คิดเป็น 27.6%) พบว่า อย่างน้อย 59.4% มีการทดสอบที่ปฏิเสธ patches ที่ถูกต้องตามฟังก์ชัน — หมายความว่าโมเดลถูกทำเครื่องหมายว่าผิดทั้งที่แก้ปัญหาได้ถูกต้อง
• การปนเปื้อนในวงกว้าง ทุกโมเดลระดับแนวหน้าที่ทดสอบ — GPT-5.2, Claude Opus 4.5, Gemini 3 Flash — สามารถสร้าง "gold patch" ที่มนุษย์เขียนขึ้นมาใหม่แบบคำต่อคำในบางโจทย์ ซึ่งเป็นสัญญาณชัดเจนว่าชุดโจทย์ 500 ข้อรั่วไหลเข้าสู่ข้อมูล Train
• ความอิ่มตัว คะแนนพุ่งจากประมาณ 60% ของเกณฑ์มาตรฐานมนุษย์ในปี 2024 ไปเกือบ 100% ในเวลาเพียงปีเดียว ทำให้เบนช์มาร์กนี้ไร้ประโยชน์ในการแยกแยะโมเดลระดับแนวหน้า ตามรายงาน Stanford AI Index 2026 "ประสิทธิภาพเพิ่มขึ้นจากประมาณ 60% ในปี 2024 เป็นเกือบ 100% ในปี 2025"

ข้อสรุปของ OpenAI ชัดเจน: "การปรับปรุงบน SWE-bench Verified ไม่ได้สะท้อนถึงการปรับปรุงที่มีความหมายในความสามารถการพัฒนาซอฟต์แวร์ในโลกจริงของโมเดลอีกต่อไป มันสะท้อนถึงว่าโมเดลถูกเปิดเผยต่อเบนช์มาร์กมากแค่ไหนในระหว่างการฝึก"

OpenAI แนะนำ SWE-bench Pro อย่างชัดเจนให้เป็นตัวแทน — เบนช์มาร์กที่ใหญ่กว่าซึ่งสร้างโดย Scale AI จาก repositories ส่วนตัวและ copyleft

ระยะที่ 2: การถอนคำแนะนำ SWE-bench Pro (กรกฎาคม 2026)

เมื่อวันที่ 8 กรกฎาคม 2026 OpenAI รายงานผลการตรวจสอบ SWE-bench Pro อย่างละเอียด — ซึ่งเป็นเบนช์มาร์กที่เพิ่งโปรโมตว่ามีความแข็งแกร่งกว่า ผลลัพธ์ที่ได้น่าตกใจ :

• ประมาณ 30% ของงานมีปัญหาขั้นพื้นฐาน OpenAI ใช้ทั้งระบบอัตโนมัติและการจำแนกโดยมนุษย์เพื่อตรวจสอบ SWE-bench Pro ระบบอัตโนมัติระบุว่างาน 27.4% ไม่ถูกต้อง ในขณะที่ผู้ตรวจสอบที่เป็นมนุษย์ระบุว่างาน 34.1% มีปัญหา OpenAI ประมาณว่างานของ SWE-bench Pro ประมาณ 30% ไม่สามารถใช้เป็นรายการประเมินได้
• สาเหตุหลัก รายงานชี้ว่า GitHub issues และ pull requests ถูกออกแบบมาสำหรับการทำงานร่วมกันของมนุษย์ ไม่ใช่เพื่อเป็นงานประเมินผลที่สะอาดและเป็นอิสระซึ่งสามารถวัดความสามารถของ AI ได้อย่างน่าเชื่อถือ

สิ่งนี้บีบให้ OpenAI ต้องถอนคำแนะนำ SWE-bench Pro ทิ้งให้อุตสาหกรรมไร้เบนช์มาร์กตัวใหม่ที่เชื่อถือได้

วิกฤตครั้งใหญ่ในการวัดการเขียนโค้ดของ AI

การถอยกลับสองขั้นของ OpenAI ไม่ใช่เหตุการณ์พลาดโดดเดี่ยว มันเป็นส่วนหนึ่งของวิกฤตเชิงระบบในวงการ AI เกี่ยวกับการประเมินความสามารถในการเขียนโค้ด:

• ช่องว่างด้านความถูกต้องตามระบบนิเวศ นักวิจัยจาก Stanford HAI, บทวิจารณ์บน arXiv และกลุ่มอิสระต่างบันทึกถึงความไม่เชื่อมโยงพื้นฐาน: โมเดลที่ทำคะแนน 70-80% หรือสูงกว่าบน SWE-bench Verified แสดงความน่าเชื่อถือในโลกจริงที่ต่ำกว่ามาก โดยเฉพาะในงานที่ซับซ้อน หลายขั้นตอน หรือคลุมเครือ การวิเคราะห์หนึ่งกล่าวอย่างตรงไปตรงมา: "เบนช์มาร์กปัจจุบันสำหรับการประเมิน AI coding agents กำลังประสบวิกฤตความถูกต้องตามระบบนิเวศขั้นพื้นฐาน ในขณะที่โมเดลทำคะแนนได้น่าประทับใจบน SWE-bench (70%+) และ HumanEval (90%+) แต่เมตริกเหล่านี้ไม่สามารถทำนายประโยชน์ใช้สอยในโลกจริงได้"
• การรั่วไหลของ Train-test เป็นโรคประจำถิ่น เนื่องจาก SWE-bench ดึงข้อมูลจาก GitHub สาธารณะที่อาจปรากฏในคลังข้อมูลการฝึก คะแนนเบนช์มาร์กจึงสะท้อนถึงการท่องจำมากกว่าการใช้เหตุผลมากขึ้นเรื่อยๆ Stanford AI Index 2026 อธิบายว่าอัตราการปรับปรุงบน SWE-bench Verified นั้นบ่งชี้ถึงการปนเปื้อน ไม่ใช่การเติบโตของความสามารถที่แท้จริง
• วิกฤตการวัดในวงกว้าง Stanford AI Index 2026 เตือนว่าวงการ AI "กำลังสร้างเร็วกว่าที่เราจะวัดได้" โดยการประเมินโมเดลในหลายโดเมนเริ่มไม่น่าเชื่อถือเมื่อเบนช์มาร์กอิ่มตัวและรั่วไหล บทวิจารณ์บน arXiv เรื่อง "Benchmarking AI Models in Software Engineering" ชี้ให้เห็นถึงความรู้ที่กระจัดกระจาย การขาดมาตรฐาน และข้อบกพร่องในการออกแบบขั้นพื้นฐานว่าเป็นปัญหาทั่วทั้งอุตสาหกรรม

สิ่งนี้หมายความว่าอย่างไร

การถอยกลับสองครั้งติดต่อกันของ OpenAI — เริ่มจากการทิ้งเบนช์มาร์กของตัวเอง จากนั้นก็ปฏิเสธตัวแทน — ทำให้ภูมิทัศน์การประเมินโค้ด AI ไม่มีผู้นำที่เชื่อถือได้ ชุมชนเริ่มตระหนักมากขึ้นว่าคะแนนเบนช์มาร์กสูงๆ ไม่สามารถทำนายได้อย่างน่าเชื่อถือว่า AI coding agent จะสามารถจัดการงานวิศวกรรมซอฟต์แวร์ในโลกแห่งความจริงได้หรือไม่ วิธีการประเมินแบบใหม่ — เช่น เบนช์มาร์กเฉพาะงาน เชิง adversarial หรือที่อัปเดตอย่างต่อเนื่อง — เป็นสิ่งที่จำเป็นอย่างเร่งด่วน แต่ยังไม่สมบูรณ์

สำหรับตอนนี้ ใครก็ตามที่พยายามประเมิน AI coding agent ไม่มีมาตรฐานเดียวให้เชื่อถือ การล่มสลายของ SWE-bench Verified และ SWE-bench Pro ไม่ใช่แค่เรื่องราวของแบบทดสอบที่มีข้อบกพร่องสองตัว มันเป็นเรื่องราวของอุตสาหกรรมที่สร้างเร็วกว่าที่มันจะวัดได้