제미나이 4, 높은 벤치마크 점수에도 코딩 성능 우려…구글은 반박

블룸버그는 제미나이 4가 업계에서 널리 쓰이는 AI 벤치마크에서는 좋은 성적을 거뒀지만, 직원들이 실제 작업에 투입했을 때는 일부 코딩 과제를 잘 처리하지 못했다고 보도했다. 이는 출시를 앞둔 모델을 둘러싼 내부 우려를 전한 것이지, 제미나이 4의 모든 기능을 평가한 확정적 결론은 아니다. 구글은 해당 비판에 반박했고, 같은 날 제미나이 4 아르곤을 공개했다는 보도도 나왔다. 다만 일반 이용자 대상 출시 일정은 발표되지 않았다. 7510

벤치마크 점수와 실제 사용 경험 사이

블룸버그에 따르면 프로젝트에 직접 접근한 직원들은 제미나이 4가 업계 벤치마크에서는 좋은 점수를 받았지만, 실제로 사용하면 특정 코딩 작업에 어려움을 겪는다고 전했다. 이들은 내부 사안에 관해 익명으로 말한 사람들이다. 따라서 해당 보도는 독립적으로 공개된 성능 평가라기보다 직원들의 사용 경험을 전한 것으로 봐야 한다. 7

벤치마크는 정해진 조건과 과제로 모델을 비교하는 시험이고, 실제 사용 경험은 구체적인 작업에서 모델이 어떻게 작동했는지를 보여준다. 두 종류의 근거는 서로 다르다. 블룸버그 보도는 높은 벤치마크 점수만으로 코딩 성능에 관한 내부 우려가 모두 해소된 것은 아니라고 전하지만, 제미나이 4가 모든 실제 업무에서 약하다는 뜻은 아니다. 7

코딩 성능이 구글에 중요한 이유

구글은 AI 코딩 도구 시장에서 경쟁하고 있다. 블룸버그는 앞서 구글 내부에서 경쟁사들의 진전에 대한 우려가 커지고 있다고 보도했다. 특히 앤스로픽이 기업에서 더 효과적이고 인기가 높은 것으로 평가받는 코딩 도구를 제공하고 있다는 내용이 담겼다. 4

7월의 별도 보도에서는 구글이 코딩을 포함한 역량을 개선하는 동안 제미나이 3.5 프로 출시가 수개월 늦어졌다고 전했다. 당시 블룸버그가 인용한 직원들은 앤스로픽과 오픈AI의 모델이 제미나이의 역량을 앞선다고 우려했다. 1 로이터도 제미나이 3.5 프로가 AI 코딩 도구와 에이전트형 AI 작업 분야에서 구글이 경쟁력을 따라잡기 위해 준비한 모델이라고 보도했다. 2

이전 보도는 구글이 처한 경쟁 환경을 보여주는 맥락이지만, 제미나이 3.5 프로에 관한 내용이 제미나이 4의 약점을 입증하는 것은 아니다. 또 제미나이 4의 코딩 성능 우려가 특정 제품이나 고객에게 어떤 영향을 주는지도 현재 자료만으로는 알 수 없다. 코딩 성능은 구글의 코딩 도구와 에이전트형 AI 작업 추진에 중요할 수 있지만, 그 영향의 범위는 별도의 근거가 필요하다. 247

제미나이 3.5 프로는 폐기된 걸까?

확인 가능한 보도는 구글이 제미나이 3.5 프로의 역량, 특히 코딩 성능을 개선하는 동안 출시가 지연됐다는 내용이다. 구글이 이 모델을 폐기했다고 입증하지는 않는다. 12

출시 지연만으로 취소를 단정할 수는 없다. 제미나이 3.5 프로에 관한 보도를 제미나이 4의 성능을 확인하는 근거로 삼아서도 안 된다. 블룸버그가 제미나이 4에 대해 전한 내용은 별도의 내부 우려다. 17

구글의 반박과 출시 상황

블룸버그 보도를 전한 제로헤지에 따르면, 구글은 제미나이 4의 코딩 성능이 저조하다고 묘사하는 것은 “부정확하다”고 밝혔다. 익명의 직원들이 전한 평가와 구글의 입장은 엇갈린다. 제공된 자료에는 이 차이를 판가름할 공개 독립 테스트가 포함돼 있지 않다. 57

시점도 함께 볼 필요가 있다. 블룸버그가 출시를 앞둔 제미나이 4를 둘러싼 내부 회의론을 전한 날, 구글이 제미나이 4 아르곤을 공개했다는 보도가 나왔다. 다만 일반 대중이 이용할 수 있는 시점은 안내하지 않았다. 710

보도 뒤 알파벳 주가 움직임

블룸버그 보도 이후 알파벳 주가는 장중 상승분을 일부 반납했다. 인베스팅닷컴 보도에 따르면 주가는 2% 넘게 올랐다가 장 마감 무렵 약 0.5% 상승으로 내려왔다. 이는 당일 상승폭이 줄어든 것이며, 전일 종가보다 하락했다는 뜻은 아니다. 9

이번 보도로 확인된 것과 확인되지 않은 것

이번 보도는 제미나이 4가 높은 벤치마크 점수를 실제 코딩 작업에서도 재현하는지라는 질문을 던진다. 그러나 근거는 익명의 내부 사용 경험과 구글의 반박이 맞서는 상황이며, 공개된 종합 평가가 아니다. 제미나이 3.5 프로의 지연은 경쟁 상황을 이해하는 맥락을 제공하지만, 모델이 폐기됐다거나 제미나이 4가 경쟁사보다 전반적으로 뒤처진다는 사실을 입증하지는 않는다. 157