Gemini 4 vai bem em benchmarks, mas funcionários relatam dificuldades em tarefas de programação

Uma boa nota em testes padronizados não garante, por si só, o mesmo desempenho em tarefas do dia a dia. Foi essa diferença que ganhou destaque em uma reportagem da Bloomberg sobre o Gemini 4: pessoas com acesso ao projeto disseram que o modelo se saiu bem em benchmarks, mas teve dificuldades em algumas tarefas de programação quando funcionários o colocaram à prova. 7

O relato registra avaliações internas anônimas, não uma análise independente e abrangente do modelo. O Google contestou a caracterização. E, no mesmo dia, outra reportagem informou que a empresa havia apresentado o Gemini 4 Argon, sem divulgar quando ele estaria disponível ao público em geral. 510

O que a Bloomberg relatou sobre o Gemini 4

Segundo pessoas com acesso direto ao projeto ouvidas pela Bloomberg, o Gemini 4 teve bons resultados em benchmarks usados pelo setor para avaliar modelos de inteligência artificial, mas não foi tão bem em algumas tarefas práticas de programação. As fontes pediram anonimato por se tratar de um assunto interno. 7

Benchmarks e relatos de uso em tarefas específicas são tipos diferentes de evidência. A reportagem aponta que as boas notas nos testes não eliminaram todas as dúvidas internas sobre a capacidade de programação do modelo. Mas não prova que o Gemini 4 tenha desempenho fraco em todos os usos reais. 7

Por que a questão importa para o Google

O desempenho em programação é relevante para uma empresa que disputa espaço no desenvolvimento de ferramentas de IA para escrever código. Em abril, a Bloomberg noticiou que havia preocupação dentro do Google com o avanço de concorrentes. Segundo fontes ouvidas pela publicação, ferramentas da Anthropic eram vistas como mais eficazes e populares entre empresas. 4

Em julho, outra reportagem da Bloomberg disse que o Gemini 3.5 Pro estava meses atrasado enquanto o Google trabalhava para melhorar suas capacidades, especialmente em programação. Funcionários citados na matéria temiam que modelos da Anthropic e da OpenAI estivessem superando as capacidades do Gemini. 1 A Reuters também informou que o Gemini 3.5 Pro foi concebido para ajudar o Google a avançar em ferramentas de programação e em tarefas de IA agêntica — aquelas em que sistemas executam etapas de uma tarefa com algum grau de autonomia. 2

Essas reportagens ajudam a entender o contexto competitivo, mas falam do Gemini 3.5 Pro e de preocupações mais amplas — não comprovam que o Gemini 4 tenha as mesmas limitações ou que o Google tenha perdido a disputa. As fontes disponíveis também não mostram como as dificuldades relatadas afetam produtos ou clientes específicos. 247

O Google abandonou o Gemini 3.5 Pro?

As reportagens disponíveis dizem que o Gemini 3.5 Pro atrasou enquanto o Google trabalhava para aprimorar suas capacidades, em particular na área de programação. Elas não estabelecem que a empresa tenha abandonado o modelo. 12

A diferença é importante: atraso não é o mesmo que cancelamento. E os relatos sobre o Gemini 3.5 Pro não confirmam o desempenho do Gemini 4, que aparece na reportagem mais recente em meio a um conjunto separado de dúvidas de funcionários. 17

Como o Google respondeu às críticas

Segundo a Bloomberg, conforme reproduzido pelo ZeroHedge, o Google considerou “inexato” dizer que o Gemini 4 tem desempenho abaixo do esperado em programação. 5 A resposta contradiz os relatos anônimos de funcionários, e as fontes disponíveis não trazem um teste público e independente que resolva a divergência. 7

O momento também merece contexto: enquanto a Bloomberg relatava ceticismo interno às vésperas do lançamento, outra matéria publicada no mesmo dia informou que o Google havia apresentado o Gemini 4 Argon, mas ainda não tinha anunciado uma previsão para a disponibilidade geral. 710

Como as ações da Alphabet reagiram

Depois da reportagem, as ações da Alphabet devolveram parte dos ganhos do dia. De acordo com uma matéria que citou dados do Investing.com, os papéis passaram de uma alta superior a 2% para cerca de 0,5% perto do fechamento. Ou seja, reduziram os ganhos, mas ainda estavam em alta. 9

O que a reportagem mostra — e o que não mostra

A questão levantada é se o bom desempenho do Gemini 4 em benchmarks se traduz nas tarefas de programação que funcionários tentaram executar. A evidência apresentada é formada por relatos internos anônimos e pela contestação do Google, não por uma avaliação pública completa do modelo. O atraso anterior do Gemini 3.5 Pro ajuda a explicar o contexto competitivo, mas não prova que o modelo foi abandonado nem que o Gemini 4 esteja, de forma geral, atrás dos concorrentes. 157