무작위 대조 실험 결과 숙련된 개발자들이 AI 도구 사용 시 작업 시간이 19% 증가했다. 24% 빨라질 거라 예측했지만 정반대 결과가 나온 후에도 개발자들은 AI 없이 코딩하길 거부했다. 실제 깃허브 풀 리퀘스트 470건을 분석한 결과, AI가 생성한 코드는 사람이 작성한 코드보다 결함이 약 1.7배 더 많았고, 보안 취약점은 최대 2.74배 더 높게 나타났다.

Create a landscape editorial hero image for this Studio Global article: What does recent research reveal about the productivity, code quality, and industry dependency effects of AI coding tools, including METR's. Article summary: Here is a synthesis of the recent research on all four fronts.. Topic tags: general, general web, user generated. Reference image context from search candidates: Reference image 1: visual subject "Our early 2025 study found the use of AI causes tasks to take 19% longer, with a confidence interval between +2% and +39%. For the subset of the" source context "We are Changing our Developer Productivity Experiment Design - METR" Reference image 2: visual subject "Three questions conceptualizing increase in value produced due to access to AI tools around March 2026, with estimates for March 2025 and March" source context "Measuring the Self-Reported Impact of Early-20
AI 코딩 도구의 약속은 달콤했다. 주석 몇 줄만 입력하면 함수가 뚝딱 생성되고, 상상 속에서만 존재하던 생산성 향상이 눈앞에 펼쳐질 것 같았다. 그러나 2025년 중반부터 2026년까지 쏟아져 나온 엄격한 연구들은 이 서사를 완전히 뒤흔들어 놓고 있다. 데이터는 AI가 단순한 생산성 증폭기가 아니라, 숙련된 개발자를 더 느리게 만들고, 측정 가능할 만큼 버그가 많은 코드를 양산하며, 숫자가 증명하는 불편한 진실 앞에서조차 끊을 수 없는 의존성을 낳고 있음을 보여준다.
2025년 7월, 비영리 연구 기관 METR는 AI 개발 도구에 관한 가장 충격적인 연구 결과를 발표했다. 16명의 노련한 오픈소스 개발자들을 대상으로 246개의 실제 업무를 배정하고, 일부 작업에만 무작위로 AI 코딩 도구(Cursor Pro와 Claude 3.5/3.7 Sonnet)에 대한 접근 권한을 부여하는 무작위 대조 실험(RCT)을 진행한 것이다.
실험 전, 개발자들은 AI가 작업 속도를 24% 향상시킬 것이라고 예측했다. 하지만 스톱워치로 측정한 현실은 정반대였다. AI 도구를 사용한 개발자들은 그렇지 않을 때보다 작업을 완료하는 데 19% 더 오랜 시간이 걸렸다(95% 신뢰 구간: +2%에서 +39%).
속도 저하의 원인은 노력 부족이 아니었다. 개발자들은 AI가 생성한 결과물을 검토하고, 오류를 수정하고, 모델을 올바른 해결책으로 유도하고, 코드 생성을 기다리는 데 추가 시간을 쏟아부었다. 결정적인 점은, 이 인식과 현실의 괴리가 실험 후에도 그대로 유지되었다는 사실이다. 자신의 작업 속도가 실제로 느려졌다는 측정 결과를 직접 확인한 후에도, 개발자들은 여전히 AI 덕분에 20% 더 빨라졌을 것이라고 믿었다. 시계가 말해주는 결과와 두뇌가 느끼는 감각 사이에는 무려 43% 포인트의 격차가 존재했다.
METR는 2026년 초, 작업의 이질성을 보정하여 연구를 재설계했다. 수정된 분석에서는 샘플 전체에서 평균 6%의 속도 향상이 관찰되었지만, 편차가 극심했다. 어떤 개발자는 특정 작업에서 최대 25%의 시간을 단축한 반면, 다른 개발자들은 여전히 AI를 쓰지 않을 때보다 순수하게 느렸다. 핵심 결론은 변하지 않았다. AI의 효용은 작업의 성격에 크게 좌우되며, 주관적으로 보고하는 속도는 신뢰할 수 있는 지표가 아니라는 점이다.
작업 완료 시간 데이터에 노이즈가 많다면, 코드 품질에 대한 데이터는 훨씬 더 명확하다. CodeRabbit이 발표한 획기적인 보고서 'AI 대 인간 코드 생성 현황(State of AI vs Human Code Generation)'은 오픈소스 프로젝트에서 진행된 470개의 실제 깃허브 풀 리퀘스트(PR)—AI가 공동 작성한 320건과 사람만 작성한 150건—를 분석했다.
결과는 충격적이다. AI가 생성한 PR은 사람이 작성한 코드보다 평균적으로 약 1.7배 더 많은 이슈를 포함하고 있었다(PR당 10.83건 vs 6.45건). 품질 저하는 단순한 스타일이나 형식의 문제가 아니었다. 다음과 같이 실질적인 장애를 일으킬 수 있는 영역에서 두드러졌다.
CodeRabbit의 분석은 AI가 작성한 코드의 '리뷰 꼬리(review tail)'가 더 무겁다는 점도 지적했다. 즉, 사람 리뷰어가 AI 변경 사항에서 문제를 찾고 진단하는 데 훨씬 더 많은 시간을 소비한다는 의미다. 보고서 저자들이 지적했듯, 인간과 AI는 비슷한 유형의 실수를 저지르지만, AI가 더 자주, 그리고 더 큰 규모로 실수를 양산할 뿐이다.
이는 2025년이 'AI의 속도'에 의해 정의되었다면, 2026년은 반드시 'AI의 품질'이 되는 해가 되어야 한다는 CodeRabbit의 보다 넓은 관측과도 맞닿아 있다. 운영 중 발생하는 사고와 포스트모템은 점점 더 AI 도우미가 유발한 미묘한 로직 오류, 구성 실수, 설계 오해에서 비롯되는 사례가 늘고 있다.
코드 품질 저하는 곧바로 금전적 낭비로 이어진다. 개발자 생산성 플랫폼 Entelligence.AI가 2,444개 기업의 데이터를 집계하여 내놓은 분석표는 국내외 엔지니어링 업계에 큰 파문을 일으켰다.
| AI 토큰에 1,000원을 쓰면 | 비용 |
|---|---|
| AI가 만든 버그 수정비 | 440원 |
| 재작업 비용 | 270원 |
| 리뷰 마찰 비용 | 110원 |
| 실제 사용자 가치로 이어지는 돈 | 180원 |
다르게 말하면, AI 토큰에 지출한 모든 비용 중 82%가 버그, 재작업, 리뷰 오버헤드로 사라지고, 단 18%만이 최종 사용자에게 가치를 전달한다는 것이다. 이 비용은 추상적인 숫자에 그치지 않는다. 우버(Uber)는 2026년 AI 코딩 예산 전체를 단 4개월 만에 소진했고, 측정 가능한 생산성 향상은 전혀 기록하지 못했다. 익명의 우버 경영진은 AI 지출과 제품 개선 사이의 연관성이 "아직 존재하지 않는다"고 직설적으로 말했다.
스탠퍼드 대학과 MIT의 공동 연구 또한 AI 에이전트가 코드 버그 하나를 수정할 때 작업당 100만 개가 넘는 토큰을 태울 수 있으며, 이는 일반적인 코드 Q&A 작업의 약 1,000배에 달하는 토큰 소비량이라고 밝혔다. 이러한 경제학적 분석은 많은 조직에서 AI 도입의 후속 비용이 약속된 생산성 향상을 집어삼키고 있음을 시사한다.
아마도 가장 심리적으로 충격적인 발견은 이 모든 데이터를 접한 개발자들이 여전히 AI 없이는 일하려 하지 않는다는 사실일 것이다. 여러 매체는 METR 연구 참가자들이 자신의 작업 속도가 느려졌다는 수치를 보고받은 후에도 AI 없는 코딩으로 돌아가는 것을 거부했다고 보도했다. 이른바 'AI 의존 역설'이다. 한번 AI의 도움에 익숙해진 개발자는, 도구가 명백히 자신을 느리게 만들고 있음에도, 도움 없이 작업할 수 있는 자신의 능력에 대한 확신을 잃는 것이다.
한 개발자는 이렇게 표현했다. AI는 "보일러플레이트나 문법처럼 일처럼 느껴지지만 실제 어려움이 발생하는 지점은 아닌 지루한 부분들을 처리해준다"고. 이 도구는 초고를 작성할 때의 마찰을 꼼꼼한 리뷰 과정으로 옮겨놓기 때문에, 스톱워치가 아니라고 말할 때도 코딩이 더 빠르게 느껴지게 만든다.
METR의 대조 실험, CodeRabbit의 PR 분석, Entelligence.AI의 기업 데이터를 종합하면, 일관된 권고 사항이 도출된다.
이러한 증거들이 AI 코딩 도구가 완전히 무용지물임을 말하는 것은 아니다. 익숙하지 않은 코드베이스에 적응하거나, 보일러플레이트를 생성하거나, 개발자가 사전에 AI가 큰 도움이 될 것이라고 예측한 특정 작업에서는 측정 가능한 속도 향상이 분명히 나타난다. 그러나 자신의 성숙한 코드베이스에서 작업하는 숙련된 개발자라는 넓은 인구 집단을 놓고 보면, 2025년 중반부터 2026년까지의 순효과는 더딘 배포, 더 많은 결함, 그리고 데이터가 제시하는 현실을 거부하는 의존성이라는 형태로 나타나고 있다.
Studio Global AI
Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.
무작위 대조 실험 결과 숙련된 개발자들이 AI 도구 사용 시 작업 시간이 19% 증가했다. 24% 빨라질 거라 예측했지만 정반대 결과가 나온 후에도 개발자들은 AI 없이 코딩하길 거부했다.
무작위 대조 실험 결과 숙련된 개발자들이 AI 도구 사용 시 작업 시간이 19% 증가했다. 24% 빨라질 거라 예측했지만 정반대 결과가 나온 후에도 개발자들은 AI 없이 코딩하길 거부했다. 실제 깃허브 풀 리퀘스트 470건을 분석한 결과, AI가 생성한 코드는 사람이 작성한 코드보다 결함이 약 1.7배 더 많았고, 보안 취약점은 최대 2.74배 더 높게 나타났다.
2,444개 기업의 데이터를 보면 AI 토큰에 1,000원을 쓸 때 실제 사용자 가치로 이어지는 돈은 겨우 180원에 불과하며, 나머지 820원은 AI가 만들어낸 버그 수정과 재작업, 리뷰 마찰에 소모된다.