Mas, se a pergunta é se modelos públicos mais baratos não conseguem realizar o mesmo tipo de raciocínio de segurança, a resposta é menos firme. A Aisle testou vulnerabilidades usadas pela Anthropic como demonstração, isolou o código relevante e relatou que modelos pequenos, baratos e de pesos abertos recuperaram boa parte da mesma análise .
O ponto mais forte do Mythos está no trabalho de horizonte longo: descoberta de vulnerabilidades, exploração, engenharia reversa e simulações de intrusão que exigem planejar, usar ferramentas e encadear várias decisões. O AISI destacou desafios de capture-the-flag, ou CTF, e simulações de ataques em várias etapas, enquadrando o Mythos dentro de uma tendência mais ampla de rápida melhora da capacidade cibernética dos modelos de IA .
O relatório de red team da própria Anthropic vai além. Ele afirma que o Mythos tem desempenho forte em tarefas de cibersegurança, descrevendo descoberta de zero-days em bases reais de código aberto, engenharia reversa de exploits em software de código fechado e transformação de vulnerabilidades N-day — falhas já conhecidas, mas ainda não amplamente corrigidas — em exploits funcionais . O mesmo relatório informa que o detalhe público é limitado porque mais de 99% das vulnerabilidades encontradas ainda não haviam sido corrigidas, o que impede leitores externos de inspecionar a maior parte dos exemplos .
O argumento a favor dos modelos mais baratos não é que eles sejam agentes autônomos equivalentes ao Mythos. A questão é que capacidade em cibersegurança pode ser irregular: um modelo pode falhar em tarefas amplas, mas ir surpreendentemente bem em uma análise de vulnerabilidade estreita, com o código certo já separado e o objetivo bem definido. Foi isso que a Aisle relatou ao testar vulnerabilidades selecionadas da vitrine do Mythos em modelos pequenos, baratos e de pesos abertos .
A Tom’s Hardware resumiu o debate pós-anúncio em termos parecidos: o Mythos pode estar entre os modelos de IA mais fortes no conjunto geral de cibersegurança, mas modelos mais baratos conseguem chegar a resultados semelhantes em algumas tarefas de encontrar exploits e produzir correções, enquanto questões de confiabilidade e disponibilidade ainda ficam em aberto .
Essa diferença é crucial. Reproduzir uma análise em um trecho de código isolado não é o mesmo que navegar de forma autônoma por uma rede, encadear etapas, explorar uma falha e concluir uma intrusão simulada. As evidências públicas sustentam com mais força a liderança do Mythos justamente nesses fluxos mais longos e agentivos .
A explicação mais convincente no material público não é “modelo contra modelo” de forma isolada. É o conjunto: modelo, ferramentas, ambiente de execução, acesso, seleção de contexto, prompting, estrutura de agente e revisão de especialistas. A Aisle argumentou explicitamente que o fosso está no sistema em que a expertise profunda de segurança é incorporada, não apenas no modelo em si . A avaliação do AISI também reforça a importância da configuração, porque o comportamento mais forte observado no Mythos ocorreu em condições controladas, com orientação explícita e acesso de rede .
O acesso também pesa. A Bain descreve o Claude Mythos Preview como um modelo de fronteira com capacidades de cibersegurança sérias o bastante para a Anthropic restringir sua liberação a um programa de parceiros avaliados, chamado Project Glasswing . Portanto, a comparação prática não é simplesmente qual API pública custa menos. A pergunta é quanto do mesmo fluxo de trabalho pode ser recriado com modelos disponíveis, ferramentas adequadas e conhecimento especializado .
Ainda não existe um benchmark público, limpo e de igual para igual comparando Mythos, APIs de baixo custo e modelos de pesos abertos sob as mesmas condições. O AISI avaliou o Mythos em cenários controlados e o comparou com o avanço de modelos de fronteira anteriores . A Anthropic oferece evidência detalhada, mas produzida pela própria desenvolvedora . A Aisle apresenta um contra-teste mais estreito, baseado em vulnerabilidades selecionadas da demonstração . São fontes relevantes, mas elas respondem a perguntas diferentes.
A comparação que falta teria de manter constantes acesso a ferramentas, contexto de código, permissões de rede, número de tentativas, orçamento de computação, regras para executar exploits e nível de revisão humana. Sem isso, afirmações muito fortes em qualquer direção são prematuras .
| Caso de uso | Leitura mais segura das evidências |
|---|---|
| Fluxos autônomos de red team | Sistemas no nível do Mythos parecem materialmente à frente, sobretudo quando o modelo precisa planejar e executar várias etapas com ferramentas e acesso de rede . |
| Triagem delimitada de vulnerabilidades em código fornecido | Modelos mais baratos ou de pesos abertos podem ser úteis quando o código relevante já está preparado e o fluxo é estreito . |
| Planejamento de risco em empresas | Não trate o Mythos como uma anomalia única. A Bain avalia que o modelo é sério, mas que outros sistemas de fronteira já têm algumas capacidades comparáveis ou devem avançar nessa direção . |
| Avaliação de modelos | Compare sistemas completos, não apenas nomes de modelos. Ferramentas, scaffolding, contexto e expertise humana podem mudar o resultado . |
As capacidades cibernéticas do Claude Mythos parecem excepcionais quando autonomia e execução em múltiplas etapas fazem diferença. Mas o registro público não prova que o raciocínio de cibersegurança por trás dele esteja indisponível para modelos mais baratos. A conclusão mais segura é: Mythos tem uma liderança real em fluxos cibernéticos complexos, enquanto modelos de menor custo conseguem cobrir partes surpreendentes da análise delimitada quando combinados com boas ferramentas e supervisão especializada .