Por que os rankings de benchmark do GPT-6 Astra não batem

Manchetes sobre benchmarks podem fazer o GPT-6 Astra parecer, ao mesmo tempo, líder absoluto, empatado ou atrás de concorrentes. A contradição é mais aparente do que real: um índice composto, um teste de agente interativo, um benchmark de matemática formal e a tabela de preços de API avaliam sistemas em condições muito diferentes.

A conclusão prática é simples: não existe um ranking universal de modelos sem informar qual trabalho será feito e como a avaliação foi configurada.

Um placar não mede uma única “inteligência”

Índices compostos transformam vários testes em um número. O resultado depende das tarefas incluídas, do peso dado a cada uma, da configuração do modelo, do esforço de raciocínio, do uso de ferramentas e de como o custo entra — ou não entra — no cálculo. Um modelo forte em cobertura ampla de capacidades pode liderar um agregado e ainda ficar atrás em um índice mais voltado a programação ou agentes.

Os pontos também dependem da data e da configuração. A comparação fornecida da Artificial Analysis, por exemplo, lista o GPT-6 Astra (max) com 55 e o Claude Fable 5.1 com 57 — e não os 61 e 66 divulgados em algumas comparações anteriores. 3 A diferença reforça a necessidade de registrar a data e a configuração exata de cada teste, em vez de tratar um retrato momentâneo como ranking definitivo.

A alegada liderança do Astra em um Capabilities Index de 169 pontos da Epoch AI não está comprovada pelo material primário da Epoch disponível aqui. Sem o placar original, os pesos dos benchmarks, as configurações dos modelos e informações sobre incerteza, esse dado não deve decidir a comparação.

ARC-AGI-3: a estrutura do teste mudou o resultado

O ARC-AGI-3 é um benchmark interativo, não uma coleção de perguntas estáticas. Os agentes precisam explorar ambientes desconhecidos, descobrir objetivos, construir modelos mentais adaptáveis do ambiente e ajustar a estratégia com a experiência. 50

O ARC Prize divulgou dois resultados de destaque do GPT-6 Astra na avaliação Semi-Private:

Condição de avaliação	Melhor resultado informado	Custo informado por execução
Harness Standard, raciocínio máximo	62,7%	US$ 26.098
OpenAI Provider Adapter, raciocínio alto	99,9%	US$ 18.817, cerca de US$ 19 mil

5152

A distância entre os resultados não é um detalhe técnico. No harness Standard, o agente usa uma interface mínima e neutra em relação ao fornecedor; ele só pode levar adiante as anotações que escolher preservar. Já o Provider Adapter pode manter o estado de raciocínio opaco do provedor entre requisições e usar compactação de contexto em conversas mais longas. 5153

Assim, a nota obtida com Provider Adapter mede o desempenho do Astra junto com a integração nativa de gerenciamento de contexto da OpenAI. Isso é uma capacidade relevante do produto, mas não equivale automaticamente a uma comparação direta com modelos testados apenas pela interface neutra. O próprio ARC Prize classifica os dois harnesses como condições distintas, voltadas a perguntas diferentes. 53

O ARC Prize também informou que o Astra usou menos ações do que a mediana dos humanos testados em 96% dos níveis. 52 Trata-se de um resultado de eficiência de ações; não significa que o modelo seja superior a pessoas em todo tipo de trabalho, nem substitui métricas de conclusão da tarefa, confiabilidade e custo total em um fluxo real.

O que o FrontierMath Erdős demonstra — e o que não demonstra

O FrontierMath Erdős reúne 68 problemas difíceis de Erdős que permaneciam em aberto em agosto de 2026. Para resolver uma tarefa, o sistema precisa provar ou refutar a conjectura em Lean, um assistente de provas que permite verificar mecanicamente o resultado submetido. 3337

Esse desenho torna o benchmark especialmente rigoroso para medir correção em matemática formal. Mas uma boa nota em provas formais não vira, por si só, um ranking geral de programação, agentes ou raciocínio amplo. O teste mede sucesso em uma tarefa estreita, muito exigente e submetida a um orçamento de execução específico.

O material primário fornecido não confirma o número total de problemas resolvidos pelo Astra, os orçamentos de execução padronizados e não padronizados, nem quais resultados teriam sido excluídos da avaliação FrontierMath Erdős. Esses detalhes só devem ser divulgados com a tabela de resultados ou o relatório de avaliação específico da Epoch, acompanhado do orçamento e dos critérios de elegibilidade.

Separadamente, uma página da Epoch sobre FrontierMath: Open Problems atribui a uma avaliação pré-lançamento do GPT-6 Astra a descoberta de uma curva de gênero 2 com 648 pontos racionais. É outro resultado de benchmark e não deve ser confundido com uma pontuação no FrontierMath Erdős. 43

Preço por token não é preço por tarefa

A OpenAI lista o GPT-6 Astra por US$ 10 a cada milhão de tokens de entrada e US$ 50 a cada milhão de tokens de saída. 19 Comparações presentes nas fontes informam que o Claude Fable 5.1 tem as mesmas tarifas principais, mas cobra US$ 0,25 por milhão de tokens de entrada em cache, ante US$ 1,00 do Astra. 4

Daí surgem duas perguntas de custo diferentes:

• Agentes de programação longos, com contexto repetido do repositório: a leitura de cache mais barata pode reduzir bastante o gasto, desde que a carga de trabalho realmente se beneficie do cache.
• Custo por tarefa concluída: um modelo ainda pode sair mais barato se chegar ao resultado correto com menos tokens de saída, chamadas de ferramentas, tentativas, ações ou intervenções humanas.

A OpenAI afirma que, em várias de suas avaliações, o Astra obteve menor custo estimado de API por tarefa por usar substancialmente menos tokens de saída. 18 É uma evidência reportada pela fornecedora, não uma garantia geral. Uma nota de benchmark e o preço unitário de token, isoladamente, não provam qual modelo será mais barato para um repositório ou fluxo de agentes específico.

Como comparar modelos sem cair em rankings enganosos

Antes de escolher entre Astra, Claude Fable 5.1 ou GPT-5.6 Sol, vale normalizar a comparação:

1. Comece pela carga de trabalho. Avalie manutenção de repositório, automação em navegador, pesquisa, provas formais e trabalho com documentos separadamente.
2. Fixe a política de inferência. Use esforço de raciocínio, limites de tokens, permissões de ferramentas e regras de repetição equivalentes.
3. Separe qualidade do modelo de qualidade da integração. Publique resultados em harness neutro ao lado dos resultados com integração nativa do fornecedor, sem condensá-los em uma única classificação.
4. Meça sucesso por dólar. Acompanhe entregas corretas, latência, novas tentativas, uso de cache e revisão humana necessária — não apenas preços de entrada e saída.
5. Mantenha a incerteza visível. Diferenças pequenas em índices e mudanças de configuração pedem interpretação cautelosa, sobretudo quando a evidência pública é incompleta.

O resultado do Astra no ARC-AGI-3 com Provider Adapter chama atenção, e seu desempenho no harness Standard também é forte. Mas nenhum dos dois invalida um índice independente que favoreça outro modelo com outra combinação de tarefas e outra configuração. A pergunta útil não é “qual modelo venceu?”, e sim: “qual configuração avaliada se parece mais com o trabalho que esse sistema precisará executar?”