GPT-5.4 vs GPT-5.3-Codex vs Claude Opus 4.6 para código

Veredito rápido: escolha pelo tipo de trabalho

A armadilha dos benchmarks: não é tudo a mesma régua

SWE-Bench Verified e SWE-Bench Pro Public medem sinais diferentes

O caso mais forte do Claude Opus 4.6 vem do SWE-Bench Verified. Os relatórios citados colocam o modelo em 79,2%, 79,4% ou 80,8% nessa variante do benchmark ^[3][5][7][9].

Já o GPT-5.3-Codex é mais difícil de resumir em uma única linha. Uma análise do GPT-5.4 lista o GPT-5.3-Codex com 56,8% no SWE-Bench Pro, enquanto comparações entre Opus e Codex citam 78,2% no SWE-Bench Pro Public ^[3][6][7]. Isso é um alerta contra rankings apressados, não um convite para tirar média entre números diferentes. As próprias fontes avisam que SWE-Bench Verified e SWE-Bench Pro Public não são diretamente comparáveis ^[6][7][10].

O avanço mais limpo do GPT-5.4 sobre o GPT-5.3-Codex, dentro da mesma comparação, é estreito: 57,7% no SWE-Bench Pro contra 56,8% do GPT-5.3-Codex ^[3]. Outro resumo também destaca o 57,7% do GPT-5.4 no SWE-Bench Pro Public, mas reforça que a comparação ampla entre Claude e GPT não é de igual para igual ^[10].

No Terminal-Bench, o agente também pesa

O Terminal-Bench 2.0 é fácil de interpretar errado porque o ranking público lista pares de agente e modelo, não pontuações isoladas do modelo-base ^[1]. Nesse ranking, o GPT-5.3-Codex aparece com 78,4% usando SageAgent, 77,3% com Droid e 75,1% com Simple Codex ^[1]. O Claude Opus 4.6 aparece com 79,8% usando ForgeCode, 75,3% com Capy e 62,9% com Terminus 2 ^[1].

Essa variação é grande o suficiente para mudar o aparente vencedor. A comparação focada no GPT-5.4 coloca o GPT-5.3-Codex à frente do Claude Opus 4.6 no Terminal-Bench 2.0, por 77,3% contra 65,4% ^[3]. Mas o ranking público tem uma entrada ForgeCode/Claude Opus 4.6 com 79,8%, acima da entrada SageAgent/GPT-5.3-Codex com 78,4% ^[1]. Na prática: em tarefas de terminal, segure o agente constante antes de concluir que um modelo é melhor que o outro.

Leitura modelo a modelo

Claude Opus 4.6: o melhor sinal em correção de bugs estilo Verified

Se o seu principal proxy de qualidade em código é o SWE-Bench Verified, o Claude Opus 4.6 é o ponto de partida mais bem sustentado por essas fontes. Seus resultados relatados ficam concentrados na faixa de 79% a 81%: 79,2% na análise do GPT-5.4, 79,4% em comparações Opus-vs-Codex e 80,8% em outros resumos de benchmarks ^{[3][5][6][7][9]}.

Isso não prova que o Opus 4.6 vence todo tipo de programação. A história dele no Terminal-Bench é mista: relatórios de comparação citam 65,4%, enquanto o ranking público mostra 79,8% quando o Opus 4.6 é combinado com ForgeCode e 62,9% com Terminus 2 ^[1][3][7][9]. O modelo é o teste inicial mais seguro para reparo de repositórios no estilo Verified, mas não é um campeão universal de código.

GPT-5.3-Codex: o destaque da OpenAI para agentes de terminal

O GPT-5.3-Codex tem o argumento mais forte dentro da OpenAI quando a tarefa parece trabalho agente no shell: executar comandos, inspecionar arquivos e iterar em ambiente de terminal. Ele aparece com 77,3% no Terminal-Bench 2.0 em relatórios comparativos, e o ranking público lista o GPT-5.3-Codex com 78,4% usando SageAgent, 77,3% com Droid e 75,1% com Simple Codex ^[1][3][7][9].

A leitura no SWE-Bench exige mais cautela. Algumas fontes listam o GPT-5.3-Codex com 78,2% no SWE-Bench Pro Public, enquanto outras o colocam com 56,8% no SWE-Bench Pro ^[3][6][7][9]. Como as fontes citadas alertam que as variantes não são intercambiáveis, o correto é avaliar o GPT-5.3-Codex na mesma variante e no mesmo setup que você pretende usar ^[6][7][10].

GPT-5.4: avanço modesto em código, com ângulo forte em ferramentas

Nos benchmarks fornecidos, o GPT-5.4 não parece uma virada dramática em programação. A comparação mais direta mostra uma liderança estreita sobre o GPT-5.3-Codex no SWE-Bench Pro, 57,7% contra 56,8%, mas também mostra resultado menor no Terminal-Bench 2.0, 75,1% contra 77,3% ^[3].

O dado mais distinto do GPT-5.4 está no uso de ferramentas. A análise citada afirma que a busca de ferramentas reduz em 47% o uso de tokens MCP ao carregar definições de ferramentas sob demanda, em vez de colocar todas as definições no contexto ^[3]. Para agentes de código com muitas integrações, isso pode ser uma vantagem real de sistema. Só não deve ser confundido com uma vitória automática em benchmarks de correção de bugs.

Como comparar sem se enganar

1. Escolha a variante antes de escolher o vencedor. SWE-Bench Verified, SWE-Bench Pro e SWE-Bench Pro Public não devem ser misturados em uma tabela única como se fossem a mesma prova ^[6][7][10].
2. Mantenha o agente constante em tarefas de terminal. O ranking público do Terminal-Bench 2.0 mostra que o mesmo modelo pode ter resultados bem diferentes conforme o agente usado ^[1].
3. Separe acurácia de código de eficiência no uso de ferramentas. A redução relatada de 47% em tokens MCP no GPT-5.4 é relevante para sistemas com muitas ferramentas, mas não é a mesma alegação que vencer SWE-Bench ou Terminal-Bench ^[3].
4. Leia rankings de fontes diferentes como sinais direcionais. As fontes apontam vencedores diferentes conforme benchmark, variante e orquestração, por isso um ranking universal exageraria o que os dados sustentam ^{[1][3][6][7][10]}.

Conclusão

Comece pelo Claude Opus 4.6 se sua prioridade é correção de bugs em repositórios no estilo SWE-Bench Verified. Inclua o GPT-5.3-Codex em qualquer bateria de testes com agentes de terminal. E teste o GPT-5.4 se você quer o modelo mais recente da OpenAI ou se a eficiência em busca de ferramentas/MCP pesa no seu sistema ^{[1][3][5][7][9]}.

O veredito mais seguro não é que um deles domina programação em geral. É que o vencedor muda de acordo com a variante do benchmark, o agente usado e a carga de trabalho real que você pretende rodar ^{[1][6][7][10]}.