GPT-5.5, Claude Opus 4.7, Kimi K2.6 e DeepSeek V4 em benchmarks: o que dá para comparar de verdade

Tabela comparativa de benchmarks

Na tabela abaixo, “—” significa apenas que as fontes usadas neste artigo não trazem um número citável para aquele benchmark. Não quer dizer que o modelo seja incapaz naquela tarefa.

Também vale o alerta: resultados de benchmarks diferentes, rodados por organizações diferentes, em ambientes de teste diferentes, não devem ser somados como se formassem uma nota final única.

O que cada benchmark sugere

SWE-Bench Pro: vantagem para Claude Opus 4.7 sobre GPT-5.5

No SWE-Bench Pro, a própria tabela da OpenAI coloca o Claude Opus 4.7 com 64,3% e o GPT-5.5 com 58,6%. Esse é um dos melhores pontos de comparação do artigo, porque os dois modelos aparecem no mesmo quadro de avaliação.

O Kimi K2.6 também aparece com 58,6% no SWE-Bench Pro em um artigo da Kilo AI, o que o deixaria próximo ao GPT-5.5 nesse recorte. Mas há uma diferença importante: esse número não aparece, nas fontes disponíveis aqui, na mesma tabela comparativa usada para GPT-5.5 e Claude Opus 4.7. Portanto, ele é um sinal relevante, não uma prova definitiva de empate em condições idênticas.

Terminal-Bench 2.0: vantagem para GPT-5.5

No Terminal-Bench 2.0, a direção se inverte. A tabela da OpenAI mostra GPT-5.5 com 82,7% e Claude Opus 4.7 com 69,4%.

Isso é especialmente relevante para cenários de agentes de programação que precisam operar em terminal, lidar com fluxos de linha de comando e executar etapas em ambiente parecido com o de desenvolvimento. Não significa que o GPT-5.5 seja melhor em toda tarefa de código, mas indica uma vantagem clara nesse benchmark específico.

Para Kimi K2.6 e DeepSeek V4, as fontes usadas neste artigo não trazem pontuações citáveis no Terminal-Bench 2.0. Por isso, não há como fazer um ranking completo dos quatro modelos nessa coluna.

SWE-Bench Verified: Claude aparece acima do Kimi, mas a comparação é menos limpa

O Claude Opus 4.7 aparece com 87,6% no SWE-Bench Verified em compilações de terceiros; a Verdent identifica esse número como uma avaliação conduzida pela Anthropic e menciona telas de verificação contra memorização.

O Kimi K2.6 aparece com 80,2% no SWE-Bench Verified em artigo da Kilo AI.

Esses números são úteis para montar uma shortlist, mas não têm o mesmo peso comparativo dos dados de SWE-Bench Pro e Terminal-Bench 2.0 que aparecem juntos na tabela da OpenAI para GPT-5.5 e Claude Opus 4.7.

Expert-SWE: sinal interessante, mas não serve como ranking geral

O GPT-5.5 registra 73,1% no Expert-SWE, mas a OpenAI marca esse benchmark como avaliação interna e observa que outros laboratórios relataram evidência de memorização nesse eval.

Por isso, o Expert-SWE pode ser lido como um sinal de capacidade dentro do contexto da OpenAI, mas não deve virar a principal base para ordenar os quatro modelos.

Como usar esses dados na escolha de modelo

Se o seu caso de uso parece com correção de issues reais em repositórios, Claude Opus 4.7 deve entrar cedo nos testes. No recorte mais comparável de SWE-Bench Pro, ele fica à frente do GPT-5.5: 64,3% contra 58,6%. A Vellum também interpreta essa comparação no contexto de resolução de issues reais do GitHub.

Se o fluxo depende muito de terminal e execução de comandos, GPT-5.5 merece prioridade na triagem. Ele lidera o Claude Opus 4.7 no Terminal-Bench 2.0 por margem ampla: 82,7% contra 69,4%.

Se você precisa avaliar modelos abertos, Kimi K2.6 pode entrar na shortlist. A página do Hugging Face descreve o modelo como open-source, multimodal nativo e agente; a Kilo AI lista 58,6% no SWE-Bench Pro e 80,2% no SWE-Bench Verified. O cuidado é não tratar esses números como plenamente equivalentes aos dados comparáveis da tabela da OpenAI sem rodar testes próprios.

Se a opção é DeepSeek V4, o mais prudente é esperar benchmarks verificáveis ou reexecutar avaliações internamente. As fontes disponíveis para este artigo não trazem pontuações suficientes para colocá-lo em uma tabela de desempenho sem risco de induzir o leitor a erro.

Por que este artigo não aponta um “vencedor geral”

Benchmarks de LLMs são fáceis de interpretar mal. Um modelo pode ser excelente em tarefas de engenharia de software e menos forte em operação de terminal; outro pode se sair bem em uma avaliação pública, mas ter dados insuficientes em avaliações independentes ou cruzadas.

Para evitar uma comparação artificial, este artigo separa os dados em três camadas:

1. Benchmarks compartilhados na mesma tabela: é o caso de GPT-5.5 e Claude Opus 4.7 em SWE-Bench Pro e Terminal-Bench 2.0 na página da OpenAI. Esses são os dados mais adequados para comparação direta.
2. Avaliações de fornecedor ou parceiro compiladas por terceiros: é o caso de SWE-Bench Verified e CursorBench para Claude Opus 4.7, que ainda são relevantes, mas exigem atenção ao método e à origem.
3. Dados sem validação cruzada suficiente ou sem número citável: é onde entram Kimi K2.6, quando comparado aos modelos fechados nas mesmas condições, e DeepSeek V4, que neste conjunto de fontes não tem benchmark verificável o bastante.

A conclusão mais honesta é esta: Claude Opus 4.7 lidera o GPT-5.5 no SWE-Bench Pro; GPT-5.5 lidera o Claude Opus 4.7 no Terminal-Bench 2.0; Kimi K2.6 mostra números competitivos em SWE-Bench, mas com evidência mais limitada; e DeepSeek V4 fica como dados insuficientes neste recorte.

Na prática, a tabela deve servir como ponto de partida. A decisão final deve vir de testes com o seu próprio conjunto de tarefas: tipos de repositório, linguagens, ambiente de execução, uso de ferramentas, latência, custo e comportamento quando o agente falha. Isso tende a dizer mais sobre desempenho em produção do que qualquer ranking único de quatro modelos.