• 결함 있는 테스트 케이스: o3 모델이 풀지 못한 가장 어려운 문제 138개(전체의 27.6%)를 감사한 결과, 적어도 59.4%가 기능적으로 올바른 코드를 거부하는 결함 있는 테스트를 포함하고 있었습니다. 즉, 모델이 문제를 올바르게 해결했음에도 오답 처리된 것입니다 .
• 광범위한 데이터 오염(Contamination): 테스트된 모든 최첨단 모델(GPT-5.2, Claude Opus 4.5, Gemini 3 Flash)이 일부 과제에서 사람이 작성한 '정답 패치(gold patch)'를 문자 그대로 재현할 수 있었습니다. 이는 500개의 과제가 훈련 데이터에 이미 포함되어 있었음을 명백히 보여주는 증거입니다 .
• 포화(Saturation) 상태: 2024년 약 60% 수준이었던 인간 기준 대비 점수가 1년 만에 100%에 육박하며, 최첨단 모델들을 더 이상 변별하지 못하게 됐습니다 . 스탠포드 AI 인덱스 2026 보고서는 "해당 벤치마크의 성능 향상 속도는 오염(contamination)을 암시한다"고 지적합니다 .

오픈AI의 결론은 명확했습니다. "SWE-bench Verified의 점수 향상이 더 이상 모델의 실제 소프트웨어 개발 능력 향상을 반영하지 않습니다. 이는 오히려 모델이 훈련 과정에서 벤치마크에 얼마나 많이 노출되었는지를 반영할 뿐입니다."

오픈AI는 당시 대안으로 SWE-bench Pro를 명시적으로 추천했습니다. SWE-bench Pro는 Scale AI가 비공개 및 카피레프트 저장소를 기반으로 구축한 더 큰 규모의 벤치마크였습니다 .

2단계: SWE-bench Pro 권장 철회 (2026년 7월)

2026년 7월 8일, 오픈AI는 자사가 직접 '더 견고하다'고 홍보했던 SWE-bench Pro에 대한 상세 감사 결과를 발표했습니다. 결과는 참담했습니다 :

• 약 30%의 과제가 근본적으로 망가짐: 오픈AI는 자동화된 파이프라인과 사람의 분류 작업을 병행해 SWE-bench Pro을 감사했습니다. 자동화 파이프라인은 27.4%의 과제를 무효로 판정했고, 사람 검토진은 34.1%의 과제에 문제가 있다고 판단했습니다. 이를 종합해 오픈AI는 SWE-bench Pro 과제의 약 30%가 평가 항목으로 성립 불가능하다고 추정했습니다 .
• 근본 원인: 보고서는 GitHub의 이슈와 풀 리퀘스트가 원래 인간 협업을 위해 설계된 도구이지, AI의 능력을 깔끔하게 측정하기 위한 독립적인 평가 과제가 아니라고 지적했습니다 .

이로 인해 오픈AI는 불과 5개월 전에 내놓았던 SWE-bench Pro 채택 권장을 공식 철회하며, 업계에 신뢰할 수 있는 후속 벤치마크가 없는 상황을 만들었습니다 .

AI 코딩 능력 측정의 광범위한 위기

오픈AI의 두 단계에 걸친 후퇴는 단순한 해프닝이 아닙니다. 이는 AI 분야에서 코딩 능력을 평가하는 방식에 내재된 전면적인 위기의 일부입니다:

• 생태학적 타당성(ecological validity)의 격차: 스탠포드 HAI, arXiv 리뷰 및 여러 독립 연구 그룹은 근본적인 괴리를 문서화하고 있습니다. SWE-bench Verified에서 70-80% 이상의 높은 점수를 받은 모델들도 실제 환경, 특히 복잡하고 다단계이거나 모호한 작업에서는 훨씬 낮은 신뢰성을 보인다는 것입니다 . 한 분석은 이렇게 직설적으로 표현합니다: "현재 AI 코딩 에이전트를 평가하는 벤치마크는 근본적인 생태학적 타당성 위기를 겪고 있습니다. 모델이 SWE-bench(70%+)와 HumanEval(90%+)에서 인상적인 점수를 기록하지만, 이러한 지표는 실제 유용성을 예측하지 못합니다."
• 훈련-테스트 데이터 누출(leakage)은 만연: SWE-bench가 훈련 코퍼스에 포함될 수 있는 공개 GitHub 데이터를 사용하기 때문에, 벤치마크 점수는 점점 더 추론 능력보다는 암기 능력을 반영하고 있습니다 .
• 더 넓은 측정 위기: 스탠포드 AI 인덱스 2026 보고서는 AI 분야가 "측정할 수 있는 속도보다 더 빠르게 개발"되고 있다고 경고합니다. 벤치마크가 포화되고 데이터가 오염됨에 따라 여러 영역의 모델 평가가 신뢰성을 잃어가고 있습니다 .

이것이 의미하는 바

오픈AI의 연속적인 후퇴는 AI 코딩 평가 환경에서 신뢰할 수 있는 표준을 완전히 사라지게 만들었습니다. 업계는 높은 벤치마크 점수가 더 이상 AI 코딩 에이전트가 실제 소프트웨어 엔지니어링 업무를 처리할 수 있는 능력을 신뢰성 있게 예측하지 못한다는 사실을 점차 깨닫고 있습니다 . 작업별, 적대적(adversarial), 지속적 업데이트와 같은 새로운 평가 방법론이 절실히 필요하지만, 아직 성숙 단계에 이르지 못했습니다 .

지금 누군가 AI 코딩 에이전트를 평가하려 한다면, 신뢰할 수 있는 단일 기준은 존재하지 않습니다. SWE-bench Verified와 SWE-bench Pro의 붕괴는 단지 두 개의 결함 있는 테스트에 대한 이야기가 아닙니다. 이는 측정할 수 있는 속도보다 더 빠르게 기술을 발전시킨 한 업계의 자화상입니다.

• 결함 있는 테스트 케이스: o3 모델이 풀지 못한 가장 어려운 문제 138개(전체의 27.6%)를 감사한 결과, 적어도 59.4%가 기능적으로 올바른 코드를 거부하는 결함 있는 테스트를 포함하고 있었습니다. 즉, 모델이 문제를 올바르게 해결했음에도 오답 처리된 것입니다 .
• 광범위한 데이터 오염(Contamination): 테스트된 모든 최첨단 모델(GPT-5.2, Claude Opus 4.5, Gemini 3 Flash)이 일부 과제에서 사람이 작성한 '정답 패치(gold patch)'를 문자 그대로 재현할 수 있었습니다. 이는 500개의 과제가 훈련 데이터에 이미 포함되어 있었음을 명백히 보여주는 증거입니다 .
• 포화(Saturation) 상태: 2024년 약 60% 수준이었던 인간 기준 대비 점수가 1년 만에 100%에 육박하며, 최첨단 모델들을 더 이상 변별하지 못하게 됐습니다 . 스탠포드 AI 인덱스 2026 보고서는 "해당 벤치마크의 성능 향상 속도는 오염(contamination)을 암시한다"고 지적합니다 .

오픈AI의 결론은 명확했습니다. "SWE-bench Verified의 점수 향상이 더 이상 모델의 실제 소프트웨어 개발 능력 향상을 반영하지 않습니다. 이는 오히려 모델이 훈련 과정에서 벤치마크에 얼마나 많이 노출되었는지를 반영할 뿐입니다."

오픈AI는 당시 대안으로 SWE-bench Pro를 명시적으로 추천했습니다. SWE-bench Pro는 Scale AI가 비공개 및 카피레프트 저장소를 기반으로 구축한 더 큰 규모의 벤치마크였습니다 .

2단계: SWE-bench Pro 권장 철회 (2026년 7월)

2026년 7월 8일, 오픈AI는 자사가 직접 '더 견고하다'고 홍보했던 SWE-bench Pro에 대한 상세 감사 결과를 발표했습니다. 결과는 참담했습니다 :

• 약 30%의 과제가 근본적으로 망가짐: 오픈AI는 자동화된 파이프라인과 사람의 분류 작업을 병행해 SWE-bench Pro을 감사했습니다. 자동화 파이프라인은 27.4%의 과제를 무효로 판정했고, 사람 검토진은 34.1%의 과제에 문제가 있다고 판단했습니다. 이를 종합해 오픈AI는 SWE-bench Pro 과제의 약 30%가 평가 항목으로 성립 불가능하다고 추정했습니다 .
• 근본 원인: 보고서는 GitHub의 이슈와 풀 리퀘스트가 원래 인간 협업을 위해 설계된 도구이지, AI의 능력을 깔끔하게 측정하기 위한 독립적인 평가 과제가 아니라고 지적했습니다 .

이로 인해 오픈AI는 불과 5개월 전에 내놓았던 SWE-bench Pro 채택 권장을 공식 철회하며, 업계에 신뢰할 수 있는 후속 벤치마크가 없는 상황을 만들었습니다 .

AI 코딩 능력 측정의 광범위한 위기

오픈AI의 두 단계에 걸친 후퇴는 단순한 해프닝이 아닙니다. 이는 AI 분야에서 코딩 능력을 평가하는 방식에 내재된 전면적인 위기의 일부입니다:

• 생태학적 타당성(ecological validity)의 격차: 스탠포드 HAI, arXiv 리뷰 및 여러 독립 연구 그룹은 근본적인 괴리를 문서화하고 있습니다. SWE-bench Verified에서 70-80% 이상의 높은 점수를 받은 모델들도 실제 환경, 특히 복잡하고 다단계이거나 모호한 작업에서는 훨씬 낮은 신뢰성을 보인다는 것입니다 . 한 분석은 이렇게 직설적으로 표현합니다: "현재 AI 코딩 에이전트를 평가하는 벤치마크는 근본적인 생태학적 타당성 위기를 겪고 있습니다. 모델이 SWE-bench(70%+)와 HumanEval(90%+)에서 인상적인 점수를 기록하지만, 이러한 지표는 실제 유용성을 예측하지 못합니다."
• 훈련-테스트 데이터 누출(leakage)은 만연: SWE-bench가 훈련 코퍼스에 포함될 수 있는 공개 GitHub 데이터를 사용하기 때문에, 벤치마크 점수는 점점 더 추론 능력보다는 암기 능력을 반영하고 있습니다 .
• 더 넓은 측정 위기: 스탠포드 AI 인덱스 2026 보고서는 AI 분야가 "측정할 수 있는 속도보다 더 빠르게 개발"되고 있다고 경고합니다. 벤치마크가 포화되고 데이터가 오염됨에 따라 여러 영역의 모델 평가가 신뢰성을 잃어가고 있습니다 .

이것이 의미하는 바

오픈AI의 연속적인 후퇴는 AI 코딩 평가 환경에서 신뢰할 수 있는 표준을 완전히 사라지게 만들었습니다. 업계는 높은 벤치마크 점수가 더 이상 AI 코딩 에이전트가 실제 소프트웨어 엔지니어링 업무를 처리할 수 있는 능력을 신뢰성 있게 예측하지 못한다는 사실을 점차 깨닫고 있습니다 . 작업별, 적대적(adversarial), 지속적 업데이트와 같은 새로운 평가 방법론이 절실히 필요하지만, 아직 성숙 단계에 이르지 못했습니다 .

지금 누군가 AI 코딩 에이전트를 평가하려 한다면, 신뢰할 수 있는 단일 기준은 존재하지 않습니다. SWE-bench Verified와 SWE-bench Pro의 붕괴는 단지 두 개의 결함 있는 테스트에 대한 이야기가 아닙니다. 이는 측정할 수 있는 속도보다 더 빠르게 기술을 발전시킨 한 업계의 자화상입니다.