O METR revisou o desenho do estudo no início de 2026, ajustando para a heterogeneidade das tarefas. A análise revisada encontrou um modesto ganho de velocidade de 6% na amostra geral, mas com uma variação extrema: alguns desenvolvedores ganharam até 25% em certas tarefas, enquanto outros permaneceram, na média, mais lentos. A conclusão central se manteve: o benefício da IA é altamente dependente da tarefa, e a velocidade autodeclarada não é uma métrica confiável.
Se os números de tempo até a conclusão são ruidosos, os dados sobre qualidade de código são mais claros. O relatório histórico "Estado da Geração de Código por IA vs. Humano" do CodeRabbit analisou 470 pull requests reais do GitHub — 320 com coautoria de IA e 150 apenas humanas — em projetos de código aberto.
A manchete é gritante: pull requests geradas por IA continham, em média, aproximadamente 1,7x mais problemas do que o código escrito por humanos (10,83 problemas por PR vs. 6,45). O déficit de qualidade não se limitou a estilo ou formatação. Concentrou-se em áreas que causam incidentes reais:
A análise do CodeRabbit também identificou uma "cauda de revisão mais pesada" para o código de IA, o que significa que os revisores humanos gastaram desproporcionalmente mais tempo encontrando e diagnosticando problemas nas alterações geradas pela IA. Como disseram os autores do relatório, humanos e IA cometem os mesmos tipos de erros — a IA apenas os comete com mais frequência e em maior escala.
O padrão se alinha com a observação mais ampla do CodeRabbit de que 2025 foi definido pela velocidade da IA, mas 2026 precisa se tornar o ano da qualidade da IA. Post-mortems e incidentes operacionais cada vez mais remontam a erros sutis de lógica, descuidos de configuração e mal-entendidos de design introduzidos pelos assistentes de IA.
O déficit de qualidade se traduz diretamente em desperdício financeiro. A plataforma de produtividade para desenvolvedores Entelligence.AI agregou dados de 2.444 empresas e produziu um detalhamento que reverberou nos círculos de engenharia:
| Para onde vai o dinheiro | Custo para cada R$ 1 gasto em tokens de IA |
|---|---|
| Corrigindo bugs gerados pela IA | R$ 0,44 |
| Retrabalho | R$ 0,27 |
| Atrito na revisão | R$ 0,11 |
| Valor real que chega ao usuário | R$ 0,18 |
Em outras palavras, 82 centavos de cada real (ou dólar) gasto em tokens de IA vão para bugs, retrabalho e sobrecarga de revisão. Apenas 18 centavos geram valor para o usuário final. O custo não é teórico. A Uber esgotou todo o seu orçamento de codificação com IA para 2026 em quatro meses e registrou zero ganho mensurável de produtividade. Um executivo não identificado da Uber afirmou categoricamente que a ligação entre o gasto com IA e a melhoria do produto "ainda não existe".
Um estudo complementar de Stanford e do MIT descobriu que agentes de IA que corrigem bugs de código podem queimar mais de um milhão de tokens por tarefa — aproximadamente 1.000 vezes o consumo de tokens de tarefas padrão de perguntas e respostas sobre código. A economia sugere que, para muitas organizações, os custos indiretos da adoção da IA estão atualmente consumindo os ganhos de produtividade prometidos.
Talvez a descoberta psicologicamente mais impressionante seja que os desenvolvedores que vivenciam esses dados ainda se recusam a trabalhar sem IA. Vários veículos relataram que os participantes do estudo do METR resistiram a voltar a programar sem assistência, mesmo depois de verem seus próprios números de lentidão. Isso foi descrito como um "paradoxo da dependência da IA" — uma vez que os desenvolvedores se acostumam com a assistência da IA, eles perdem a confiança em sua própria capacidade, mesmo quando a ferramenta comprovadamente os atrasa.
Como um desenvolvedor colocou, a IA "cuida das partes chatas — código boilerplate, sintaxe, as coisas que parecem trabalho, mas não são onde a dificuldade real está". A ferramenta faz a codificação parecer mais rápida, mesmo quando o cronômetro diz o contrário, porque o atrito muda de escrever rascunhos iniciais para conduzir revisões meticulosas.
Dos ensaios controlados do METR, da análise de pull requests do CodeRabbit e dos dados corporativos da Entelligence.AI, emergiu um conjunto consistente de recomendações:
As evidências emergentes não sugerem que as ferramentas de codificação com IA sejam inúteis. Em contextos específicos — integração a bases de código desconhecidas, geração de código boilerplate e tarefas em que os desenvolvedores previam que a IA ajudaria substancialmente — ganhos de velocidade mensuráveis realmente aparecem. Mas, na população mais ampla de desenvolvedores experientes trabalhando em suas próprias bases de código maduras, o efeito líquido de meados de 2025 até 2026 tem sido entregas mais lentas, mais defeitos e uma dependência que resiste aos dados.