Benchmarks do Claude Mythos: os números que impressionam e os limites da comparação
O destaque é 93,9% no SWE bench Verified, mas o Claude Mythos Preview é listado pela Anthropic como research preview do Project Glasswing com acesso por convite, não como modelo amplamente disponível. Outros números relatados incluem 87,3% no SWE bench Multilingual, 59,0% em avaliação multimodal interna, 0,83 no Cyb...
Claude Mythos Benchmarks: 93,9 % SWE-bench und was dahinterstecktSymbolbild: Die Debatte um Claude Mythos dreht sich weniger um einen einzelnen Score als um die Vergleichbarkeit der Evaluationsbedingungen.
Prompt de IA
Create a landscape editorial hero image for this Studio Global article: Claude Mythos Benchmarks: 93,9 % SWE-bench und was dahintersteckt. Article summary: Claude Mythos Preview wird vor allem durch 93,9 % auf SWE bench Verified auffällig; weitere berichtete Werte sind 87,3 % auf SWE bench Multilingual und 59,0 % in einer internen multimodalen Evaluation.. Topic tags: ai, anthropic, claude, benchmarks, coding. Reference image context from search candidates: Reference image 1: visual subject "# Claude Mythos Preview Benchmarks – The AI That Scored 93.9% on SWE-bench and Still Won’t Be Released. On April 7, 2026, Anthropic quietly released something extraordinary — and t" source context "Claude Mythos Preview Benchmarks - The AI That Scored 93.9% on ..." Reference image 2: visual subject "A score of 93.9% means Claude Mythos correctly resolved approximately 470 of those 500 real-world GitH
openai.com
À primeira vista, o Claude Mythos Preview parece uma bomba de benchmark: 93,9% no SWE-bench Verified. Para quem trabalha com engenharia de software, IA generativa ou segurança, é um número que naturalmente chama atenção. O ponto é que ele não deve ser lido como apenas mais uma linha em um ranking público comum.
Nos documentos da API, a Anthropic apresenta o Claude Mythos Preview como um modelo separado, em research preview, voltado a fluxos de cibersegurança defensiva dentro do Project Glasswing. O acesso é por convite e não há cadastro self-service. Por isso, os resultados abaixo são relevantes, mas precisam de mais contexto do que os scores de um modelo amplamente disponível.
Os principais números relatados
Os valores mais concretos nesta base de fontes aparecem sobretudo em publicações de terceiros que citam dados da Anthropic, avaliações da system card ou resumos próprios.
Studio Global AI
Search, cite, and publish your own answer
Use this topic as a starting point for a fresh source-backed answer, then compare citations before you share it.
Câu trả lời ngắn gọn cho "Benchmarks do Claude Mythos: os números que impressionam e os limites da comparação" là gì?
O destaque é 93,9% no SWE bench Verified, mas o Claude Mythos Preview é listado pela Anthropic como research preview do Project Glasswing com acesso por convite, não como modelo amplamente disponível.
Những điểm chính cần xác nhận đầu tiên là gì?
O destaque é 93,9% no SWE bench Verified, mas o Claude Mythos Preview é listado pela Anthropic como research preview do Project Glasswing com acesso por convite, não como modelo amplamente disponível. Outros números relatados incluem 87,3% no SWE bench Multilingual, 59,0% em avaliação multimodal interna, 0,83 no CyberGym e pass@1 = 1,00 no Cybench.
Tôi nên làm gì tiếp theo trong thực tế?
As pontuações sugerem força em código, agentes e cibersegurança defensiva, mas dependem de fontes de terceiros, setups internos e acesso limitado.
A W&B informa esse valor e compara com 80,8% para o Claude Opus 4.6.
Código multilíngue
SWE-bench Multilingual
87,3%
A W&B cita 77,8% para o Claude Opus 4.6.
Multimodal
Avaliação multimodal interna
59,0%
A W&B descreve o teste como avaliação interna e cita 27,1% para o Opus 4.6.
Cibersegurança
Cybench
pass@1 = 1,00
A Authmind descreve o Cybench como benchmark público com 40 desafios CTF, típicos de competições de segurança, e cita 0,89 para o Opus 4.6.
Cibersegurança
CyberGym
0,83
A Authmind descreve o CyberGym como avaliação de reprodução direcionada de vulnerabilidades em 1.507 tarefas reais de software open source e cita 0,67 para o Opus 4.6.
Raciocínio
GPQA Diamond
94,6%
O llm-stats cita 91,3% para o Claude Opus 4.6.
Raciocínio
Humanity’s Last Exam, sem / com ferramentas
56,8% / 64,7%
O llm-stats cita 40,0% sem ferramentas e 53,1% com ferramentas para o Opus 4.6.
Agentes em terminal
Configuração Terminal-Bench
92,1%
O llm-stats vincula o resultado ao harness Terminus-2, thinking adaptativo no máximo, orçamento de 1 milhão de tokens por tarefa, timeouts de 4 horas e atualizações do Terminal-Bench 2.1.
Conhecimento multitarefa
MMMLU
92,7
A R&D World relata que esse valor se sobrepõe à faixa de 92,6 a 93,6 atribuída ao Gemini 3.1 Pro e foi o único ponto fora da alegação de liderança em 17 de 18 benchmarks.
O que a Anthropic confirma oficialmente
O ponto mais bem documentado oficialmente é o status do modelo. Segundo a Anthropic, o Claude Mythos Preview é um research preview separado para fluxos de cibersegurança defensiva no Project Glasswing, com acesso apenas por convite e sem inscrição self-service.
Na página do Project Glasswing, a empresa descreve o Mythos Preview como um modelo de fronteira de uso geral e como seu modelo mais capaz para coding e tarefas agentivas. A mesma página conecta a força em cibersegurança à capacidade mais ampla de entender e modificar software complexo, inclusive para encontrar e corrigir vulnerabilidades.
A system card fornecida também descreve o Claude Mythos Preview como um novo grande modelo de linguagem, ou modelo de fronteira, com capacidades em áreas como engenharia de software, raciocínio, uso de computador, trabalho de conhecimento e assistência à pesquisa.
Em resumo: as fontes oficiais sustentam a posição do modelo e as áreas em que ele é apresentado como forte. Já os valores exatos da tabela, nesta seleção de fontes, aparecem principalmente por meio de fontes de terceiros.
Por que 93,9% no SWE-bench virou a manchete
Entre todos os números, 93,9% no SWE-bench Verified é o mais chamativo. A W&B relata essa pontuação para o Claude Mythos Preview e a coloca ao lado de um resultado de 80,8% para o Claude Opus 4.6.
Para equipes de software, esse é o benchmark mais fácil de traduzir em expectativa prática: ele mira tarefas de código e correção, justamente o tipo de trabalho em que agentes de programação são avaliados. O resultado em SWE-bench Multilingual também chama atenção: 87,3% para o Mythos Preview, contra 77,8% para o Opus 4.6, segundo a W&B.
Ainda assim, um número alto no SWE-bench não garante desempenho igual em todo repositório, com qualquer stack, qualquer pipeline de revisão ou qualquer conjunto de ferramentas. No caso do Claude Mythos, há ainda uma limitação extra: equipes externas não conseguem simplesmente abrir uma conta e testar o modelo por conta própria, segundo a documentação da Anthropic.
Cibersegurança: resultados fortes em um contexto especial
Os números de cibersegurança também são fortes. A Authmind relata para o Claude Mythos Preview um Cybench perfeito, com pass@1 = 1,00; a mesma fonte descreve o Cybench como um benchmark público formado por 40 desafios CTF. No CyberGym, a Authmind cita 0,83 e descreve a avaliação como reprodução direcionada de vulnerabilidades em 1.507 tarefas reais de software open source.
Esses resultados combinam com a forma como a própria Anthropic posiciona o modelo. Nos documentos da API, o Mythos Preview aparece explicitamente como research preview para fluxos defensivos de cibersegurança dentro do Project Glasswing. Na página do projeto, a empresa vincula o desempenho em segurança à capacidade geral de compreender software complexo, modificá-lo e encontrar ou corrigir vulnerabilidades.
Mas o formato das tarefas importa. Desafios CTF e reprodução de vulnerabilidades são cenários de avaliação bem definidos. Eles são sinais fortes para análise de código e segurança, mas não substituem testes próprios dentro das políticas, restrições de ferramentas e responsabilidades de uma organização real.
Raciocínio, multimodalidade e agentes em terminal
Além de código e segurança, há números robustos em raciocínio. O llm-stats cita 94,6% no GPQA Diamond, além de 56,8% no Humanity’s Last Exam sem ferramentas e 64,7% com ferramentas. Essa separação entre com e sem ferramentas não é detalhe: acesso a ferramentas pode mudar bastante a comparação entre modelos.
No Terminal-Bench, a configuração é parte central da leitura. O llm-stats relata 92,1%, mas amarra o resultado a um setup com harness Terminus-2, thinking adaptativo no máximo, orçamento de 1 milhão de tokens por tarefa, timeouts estendidos de 4 horas e atualizações do Terminal-Bench 2.1. Em benchmarks de agentes, tempo, contexto, ferramentas e orçamento computacional podem pesar tanto quanto o modelo em si.
O resultado multimodal também pede cautela. A W&B relata 59,0% em uma avaliação multimodal interna para o Mythos Preview, contra 27,1% para o Opus 4.6. O llm-stats também observa que o SWE-bench Multimodal usa uma implementação interna e que os resultados não são diretamente comparáveis aos de leaderboards públicos.
Por que esses scores não funcionam como um ranking comum
Há quatro limitações importantes:
Acesso restrito: a Anthropic afirma que o Claude Mythos Preview é um research preview com acesso por convite, sem inscrição self-service. Isso dificulta a reprodução independente por equipes comuns de desenvolvimento.
Fontes misturadas: as fontes oficiais desta base confirmam sobretudo o status, o posicionamento e as áreas de capacidade do modelo. Muitos números específicos de benchmark aparecem aqui por meio de fontes de terceiros.
Configurações internas ou especiais: o valor multimodal é descrito como avaliação interna. O Terminal-Bench aparece com harness específico, thinking no máximo, grande orçamento de tokens e timeouts prolongados.
Escopo das tarefas: o Cybench envolve 40 desafios CTF, enquanto o CyberGym avalia reprodução de vulnerabilidades em 1.507 tarefas reais de software open source, segundo a Authmind. São classes de tarefa relevantes, mas bem delimitadas.
Conclusão
O Claude Mythos Preview parece excepcional nos benchmarks relatados: 93,9% no SWE-bench Verified, 87,3% no SWE-bench Multilingual, 59,0% em avaliação multimodal interna, 0,83 no CyberGym e pass@1 = 1,00 no Cybench.
A interpretação mais importante, porém, não está apenas na altura dos números. Segundo a Anthropic, o Claude Mythos Preview é um research preview do Project Glasswing, com acesso por convite, e não um modelo padrão amplamente disponível. O melhor caminho é ler esses resultados como um sinal forte de capacidade em código, agentes e cibersegurança defensiva — não como uma classificação pública totalmente reproduzível.
