에이전트는 제안된 수정안을 적용하고 테스트를 다시 실행합니다. 이 '코드 작성 → CLI 실행 → 실패 테스트, 근본 원인 및 수정안 획득 → 수정 적용 → 재실행 → 통과' 의 루프는 개발자가 개입하지 않아도 빌드가 성공할 때까지 계속됩니다 . 이때 테스트의 기준은 에이전트의 해석이 아닌 애플리케이션의 요구사항 명세 자체입니다. 즉, 테스트 스위트가 코드가 달성해야 할 목표에 대한 편향되지 않은 '진실 공급원(ground truth)' 역할을 수행하는 셈입니다 .
코더컵은 여러 AI 코딩 에이전트가 동일한 조건에서 같은 애플리케이션을 구축하고, TestSprite CLI가 객관적이고 중립적인 심판 역할을 하는 최초의 공개 경진대회로 설계되었습니다 . 대회에서 사용된 오픈소스 테스트 스위트는 커뮤니티의 풀 리퀘스트(PR)까지 받고 있어, 모든 평가 결과가 공개된 증거와 직결될 수 있도록 했습니다 .
이 대회에서 가장 눈에 띄는 발견은, 최고 성능을 기록한 에이전트조차 이미 정상 작동하던 기능의 12%를 망가뜨렸다는 점입니다. 이는 에이전트 기반 코딩의 '파국적 망각(catastrophic forgetting)' 문제, 즉 AI 에이전트가 새로운 기능을 구축하는 과정에서 자신이 기존 기능에 어떤 손상을 끼치고 있는지 인지하지 못하는 현상을 정량적으로 보여줍니다 . 대회는 결과적으로, AI 코딩 에이전트를 사용하는 모든 워크플로우에서 외부의 자동화된 검증 단계가 '있으면 좋은 것'이 아닌 '필수 요소'임을 공개적으로 입증한 셈이 되었습니다 .
시작은 매우 간단합니다. CLI는 오픈소스 Apache 2.0 라이선스로 출시되었습니다 .
npm install -g @testsprite/testsprite-mcp@latest 명령어를 실행합니다 .npm run dev 명령어로 3000번 포트에서 실행할 수 있습니다 .이번에 오픈소스로 공개된 CLI 도구 자체는 이제 막 시장에 진입했지만, 그 모체가 되는 플랫폼은 이미 현대적인 AI 주도 개발 워크플로우의 중요한 부분으로 자리 잡았습니다. 2026년 3월 기준으로, TestSprite의 더 넓은 테스트 제품군은 약 10만 개의 개발팀이 AI 생성 코드를 배포 전에 검증하는 데 사용하고 있었습니다 . 이 CLI는 이러한 검증 역량을 모든 코딩 에이전트가 실행할 수 있는 간단한 터미널 기반 단계로 확장하여, 자동화된 품질 검증을 에이전트 기반 코딩 파이프라인의 표준 절차로 만들어 줍니다 .
에이전트는 제안된 수정안을 적용하고 테스트를 다시 실행합니다. 이 '코드 작성 → CLI 실행 → 실패 테스트, 근본 원인 및 수정안 획득 → 수정 적용 → 재실행 → 통과' 의 루프는 개발자가 개입하지 않아도 빌드가 성공할 때까지 계속됩니다 . 이때 테스트의 기준은 에이전트의 해석이 아닌 애플리케이션의 요구사항 명세 자체입니다. 즉, 테스트 스위트가 코드가 달성해야 할 목표에 대한 편향되지 않은 '진실 공급원(ground truth)' 역할을 수행하는 셈입니다 .
코더컵은 여러 AI 코딩 에이전트가 동일한 조건에서 같은 애플리케이션을 구축하고, TestSprite CLI가 객관적이고 중립적인 심판 역할을 하는 최초의 공개 경진대회로 설계되었습니다 . 대회에서 사용된 오픈소스 테스트 스위트는 커뮤니티의 풀 리퀘스트(PR)까지 받고 있어, 모든 평가 결과가 공개된 증거와 직결될 수 있도록 했습니다 .
이 대회에서 가장 눈에 띄는 발견은, 최고 성능을 기록한 에이전트조차 이미 정상 작동하던 기능의 12%를 망가뜨렸다는 점입니다. 이는 에이전트 기반 코딩의 '파국적 망각(catastrophic forgetting)' 문제, 즉 AI 에이전트가 새로운 기능을 구축하는 과정에서 자신이 기존 기능에 어떤 손상을 끼치고 있는지 인지하지 못하는 현상을 정량적으로 보여줍니다 . 대회는 결과적으로, AI 코딩 에이전트를 사용하는 모든 워크플로우에서 외부의 자동화된 검증 단계가 '있으면 좋은 것'이 아닌 '필수 요소'임을 공개적으로 입증한 셈이 되었습니다 .
시작은 매우 간단합니다. CLI는 오픈소스 Apache 2.0 라이선스로 출시되었습니다 .
npm install -g @testsprite/testsprite-mcp@latest 명령어를 실행합니다 .npm run dev 명령어로 3000번 포트에서 실행할 수 있습니다 .이번에 오픈소스로 공개된 CLI 도구 자체는 이제 막 시장에 진입했지만, 그 모체가 되는 플랫폼은 이미 현대적인 AI 주도 개발 워크플로우의 중요한 부분으로 자리 잡았습니다. 2026년 3월 기준으로, TestSprite의 더 넓은 테스트 제품군은 약 10만 개의 개발팀이 AI 생성 코드를 배포 전에 검증하는 데 사용하고 있었습니다 . 이 CLI는 이러한 검증 역량을 모든 코딩 에이전트가 실행할 수 있는 간단한 터미널 기반 단계로 확장하여, 자동화된 품질 검증을 에이전트 기반 코딩 파이프라인의 표준 절차로 만들어 줍니다 .