구글 안드로이드 벤치, 앤트로픽의 클로드 페이블 5가 1위 등극…하버 프레임워크 도입으로 평가 시스템 대격변

페이블 5는 업계 전반의 광범위한 코딩 벤치마크에서도 선두를 달리고 있습니다. 독립적인 보도에 따르면 SWE-bench Verified에서 95.0%, SWE-bench Pro에서 80.0% 를 기록하며 이전 세대 모델들을 크게 앞질렀습니다 . 에이전틱 코딩 벤치마크인 Terminal-Bench 2.0에서는 84.3%의 정확도를 기록했습니다 . 여러 독립 리더보드에서 2026년 7월 기준 페이블 5를 전체 최고 AI 모델로 평가하고 있습니다 .

전체 순위: GPT 5.5, 제미니 3.1 프로 및 기타 모델

이전에 순위가 매겨진 모든 모델은 새로운 하버 기반 방법론으로 재평가되어 사실상 완전히 새로운 순위표가 작성되었습니다 . 안드로이드 벤치에 따른 상위 10개 모델은 다음과 같습니다.

출처: 9to5Google의 안드로이드 벤치 갱신 순위 보도 .

업데이트된 순위에서 주목할 점:

• 앤트로픽(Anthropic)이 상위 6개 중 3개 자리를 차지하며(페이블 5, 소넷 5, 오퍼스 4.8) 가장 강력한 라인업을 보여주고 있습니다 .
• 오픈AI의 GPT 5.5는 80.2점으로 가장 가까운 단일 모델 경쟁자이지만, 4.3점 차이로 뒤져있고 지연 시간은 페이블 5의 거의 두 배에 달합니다 .
• 구글의 자체 모델인 제미니 3.1 프로 프리뷰는 73.7점으로 5위에 그쳐, 앤트로픽의 두 최상위 모델과 두 개의 오픈AI 모델 모두에 뒤쳐집니다 . 더 가벼운 버전인 제미니 3.5 플래시는 71.1점으로 더 낮은 순위에 있으며 비용과 지연 시간도 눈에 띄게 높습니다 .
• 키미 K2.7 코드는 상위 10개 모델 중 가장 낮은 비용($48.10)을 제공하지만 가장 낮은 정확도(70.4)를 기록하여, 비용 대비 정확도의 가장 명확한 트레이드오프를 보여줍니다 .

하버 프레임워크로의 마이그레이션

구글은 안드로이드 벤치를 하버(Harbor) 프레임워크로 표준화했습니다. 하버는 Terminal-Bench를 개발한 라우드 연구소(Laude Institute)가 만든 오픈소스 평가 생태계입니다 . 기존 안드로이드 벤치는 커스텀 미니-swe-agent v1 도구를 사용했지만, 하버는 클라우드 배포, 커뮤니티 과제 제출, 강화 학습(RL) 롤아웃을 지원하는 표준화된 컨테이너 기반 평가 파이프라인을 제공합니다 .

이 마이그레이션으로 인해 모든 이전 모델 점수는 더 이상 비교가 불가능합니다. 위에 나열된 모든 점수는 하버 방법론으로 새롭게 평가된 결과입니다 . 구글은 LLM이 빠르게 발전함에 따라 평가 기준을 최첨단으로 유지하기 위해 이러한 변화가 필요했다고 밝혔습니다 .

개발자 기여 시스템 도입

처음으로 구글은 안드로이드 벤치를 커뮤니티 기여에 개방했습니다 . 개발자는 이제 다음과 같은 활동을 할 수 있습니다.

• 실제 안드로이드 개발 과제 제출: 벤치마크 데이터셋에 추가될 수 있습니다 .
• 자체 벤치마크 평가 공유: 동일한 하버 도구를 사용한 모델 평가를 공유하여 개별 사용 사례에 대한 직접 비교를 가능하게 합니다 .

구글은 이것이 "데이터셋에 대한 피드백을 제공할 방법"을 원하는 개발자들의 요구에 대한 응답이며, 안드로이드 개발 커뮤니티와의 더 깊은 협력을 위한 움직임이라고 설명했습니다 .

비용 대비 정확도 트레이드오프

업데이트된 순위표는 비용 선도 모델과 정확도 선도 모델 간에 상당한 격차가 있는 시장을 보여줍니다 .

• 가장 정확한 모델(클로드 페이블 5, 84.5점)은 1,000개 작업당 133.20달러입니다.
• 상위 10위권 내 가장 저렴한 모델(키미 K2.7 코드, 48.10달러)은 70.4점에 불과해 14.1점의 정확도 차이를 보입니다.
• 제미니 3.5 플래시는 가장 비싼 옵션(165.60달러)이지만 점수는 71.1에 불과합니다.
• GPT 5.5는 높은 정확도(80.2점)와 적당한 비용(138.30달러)의 최상의 균형을 제공합니다.
• 클로드 소넷 5는 중간 가치 옵션입니다: 76.2점에 99.90달러.

경쟁 구도

2026년 7월 업데이트는 앤트로픽, 오픈AI, 구글 간의 3자 경쟁 구도를 강화합니다 .

• 앤트로픽은 순수 정확도 부문에서 확실한 선두주자입니다. 페이블 5의 84.5점과 상위 6위 안에 3개 모델을 보유한 깊이는 안드로이드 특화 코딩 능력에 대한 투자가 성과를 거두고 있음을 의미합니다 .
• 오픈AI는 GPT 5.5(80.2점)로 가장 강력한 단일 모델 경쟁자이며, GPT 5.4(74.1점)도 준수한 위치를 차지하고 있지만, 앤트로픽과 같은 라인업 깊이는 부족합니다 .
• 구글의 제미니 라인은 정확도에서 두 경쟁사에 뒤쳐집니다. 벤치마크의 소유주임에도 불구하고, 구글의 자체 모델은 5위와 8위에 그치고 있습니다. 이는 구글이 벤치마크를 커뮤니티에 개방하고 타사 모델 제출을 초대함으로써 공개적으로 인정하는 경쟁적 약점입니다 .

이는 앤트로픽의 모델이 구글 자체 벤치마크에서 안드로이드 코딩 부문 1위를 차지한 첫 번째 사례로, 모바일 AI 어시스턴트 시장에서 상징적인 변화를 의미합니다.