OpenAI từ bỏ cả hai chuẩn đánh giá mã nguồn: Sự sụp đổ của SWE-bench

Kết luận của OpenAI rất rõ ràng: 'Những cải thiện trên SWE-bench Verified không còn phản ánh những cải thiện có ý nghĩa trong khả năng phát triển phần mềm thực tế của các mô hình. Chúng ngày càng phản ánh mức độ mô hình đã được tiếp xúc với chuẩn này trong quá trình huấn luyện' .

OpenAI đã đề xuất rõ ràng SWE-bench Pro — một chuẩn lớn hơn do Scale AI xây dựng từ các kho lưu trữ riêng tư và copyleft — làm chuẩn thay thế .

Giai đoạn 2: Rút lại khuyến nghị về SWE-bench Pro (Tháng 7 năm 2026)

Vào ngày 8 tháng 7 năm 2026, OpenAI báo cáo kết quả kiểm toán chi tiết đối với SWE-bench Pro — chính cái chuẩn mà họ vừa mới quảng cáo là mạnh mẽ hơn. Kết quả thật tàn khốc :

• ~30% nhiệm vụ bị hỏng về cơ bản. OpenAI đã sử dụng cả một quy trình tự động và phân loại của con người để kiểm toán SWE-bench Pro. Quy trình tự động đã gắn cờ 27,4% nhiệm vụ là không hợp lệ; người đánh giá là con người đã gắn cờ 34,1%. OpenAI ước tính khoảng 30% nhiệm vụ của SWE-bench Pro không khả thi như là các hạng mục đánh giá .
• Nguyên nhân gốc rễ. Báo cáo chỉ ra rằng các vấn đề GitHub và yêu cầu kéo (pull request) được thiết kế cho sự cộng tác của con người, chứ không phải là các nhiệm vụ đánh giá độc lập, sạch sẽ để đo lường năng lực AI một cách đáng tin cậy .

Điều này buộc OpenAI phải rút lại khuyến nghị về SWE-bench Pro, khiến toàn ngành không có một chuẩn kế nhiệm đáng tin cậy .

Một cuộc khủng hoảng rộng lớn hơn trong đo lường mã nguồn AI

Sự thoái lui hai bước của OpenAI không phải là một sự cố cá biệt. Nó là một phần của cuộc khủng hoảng mang tính hệ thống trong cách lĩnh vực AI đánh giá khả năng viết mã:

• Khoảng cách về giá trị sinh thái (Ecological validity gap). Các nhà nghiên cứu từ Stanford HAI, các bài đánh giá trên arXiv và các nhóm độc lập đã ghi nhận một sự khác biệt cơ bản: các mô hình đạt 70–80% hoặc cao hơn trên SWE-bench Verified lại cho thấy độ tin cậy thực tế thấp hơn nhiều, đặc biệt là trong các nhiệm vụ phức tạp, nhiều bước hoặc không rõ ràng . Một phân tích đã nói thẳng: 'Các chuẩn đánh giá hiện tại để đánh giá các tác nhân mã hóa AI đang phải đối mặt với một cuộc khủng hoảng về giá trị sinh thái cơ bản. Trong khi các mô hình đạt được điểm số ấn tượng trên SWE-bench (70%+) và HumanEval (90%+), các chỉ số này không dự đoán được tiện ích trong thế giới thực' .
• Rò rỉ giữa huấn luyện và kiểm tra (Train-test leakage) là phổ biến. Bởi vì SWE-bench tận dụng dữ liệu GitHub công khai có thể xuất hiện trong kho ngữ liệu huấn luyện, điểm số benchmark ngày càng phản ánh sự ghi nhớ hơn là lý luận . Chỉ số AI Stanford 2026 mô tả tốc độ cải thiện trên SWE-bench Verified là dấu hiệu của sự nhiễm bẩn, chứ không phải sự tăng trưởng năng lực thực sự .
• Cuộc khủng hoảng đo lường rộng hơn. Chỉ số AI Stanford 2026 cảnh báo rằng lĩnh vực AI đang 'xây dựng nhanh hơn khả năng đo lường của chúng ta', với các đánh giá mô hình trên nhiều lĩnh vực trở nên không đáng tin cậy khi các benchmark bị bão hòa và rò rỉ . Bài đánh giá trên arXiv 'Benchmarking AI Models in Software Engineering' chỉ ra kiến thức bị phân mảnh, thiếu tiêu chuẩn hóa và các lỗi thiết kế cơ bản là những vấn đề trên toàn ngành .

Điều này có ý nghĩa gì

Việc OpenAI liên tiếp rút lui — đầu tiên là từ bỏ benchmark của chính mình, sau đó là phủ nhận benchmark thay thế — đã khiến bối cảnh đánh giá mã nguồn AI không còn người dẫn đầu đáng tin cậy. Cộng đồng ngày càng nhận ra rằng điểm số benchmark cao không còn dự đoán một cách đáng tin cậy liệu một tác nhân mã hóa AI có thể xử lý các nhiệm vụ kỹ thuật phần mềm trong thế giới thực hay không . Các phương pháp đánh giá mới — chẳng hạn như các benchmark dành riêng cho nhiệm vụ, đối kháng hoặc được cập nhật liên tục — là cần thiết khẩn cấp nhưng vẫn chưa trưởng thành .

Hiện tại, bất kỳ ai cố gắng đánh giá một tác nhân mã hóa AI đều không có một tiêu chuẩn duy nhất nào để tin tưởng. Sự sụp đổ của SWE-bench Verified và SWE-bench Pro không chỉ là câu chuyện về hai bài kiểm tra sai sót. Đó là câu chuyện về một ngành công nghiệp đã xây dựng nhanh hơn khả năng đo lường của nó.