TRACES testa o processo de descoberta científica da inteligência artificial

Benchmarks de inteligência artificial costumam funcionar como provas com gabarito: o sistema recebe uma pergunta e precisa produzir uma resposta que possa ser comparada a uma solução conhecida. O TRACES, lançado pela Apodex, propõe outro tipo de teste. Em vez de avaliar apenas o resultado final, ele coloca um sistema completo de IA dentro de um ambiente executável e acompanha como ele investiga um problema científico em aberto.

Nesse ambiente, a IA pode usar ferramentas, receber resultados semelhantes aos de experimentos, identificar falhas, revisar etapas anteriores e comparar hipóteses alternativas. A ideia é verificar se a conclusão foi construída com evidências — e não se surgiu por acaso ou por meio de uma resposta apenas convincente.

O que é o TRACES

O TRACES faz parte do Apodex Discovery, uma estrutura voltada ao desenvolvimento e à avaliação do que a empresa chama de “IA descobridora” — sistemas projetados para chegar a conclusões potencialmente novas, em vez de apenas recuperar ou reformular informações já conhecidas. O benchmark transforma investigações abertas em ambientes, episódios e tarefas executáveis, com verificadores ocultos capazes de checar o trabalho realizado.

A unidade avaliada não é somente o modelo de linguagem. O teste considera o chamado “solucionador pesado” (heavy-duty solver): o sistema completo formado pelo modelo-base, pela camada de orquestração, pelas ferramentas, pela memória e pelas políticas de controle usadas durante a investigação.

Por que ele vai além dos benchmarks com gabarito

Em um benchmark tradicional, a pergunta, os dados disponíveis e a resposta esperada geralmente são definidos de antemão. No TRACES, o sistema parte de um objetivo científico do mundo real e precisa convertê-lo em uma investigação viável. Para isso, observa o ambiente, executa ações, aciona ferramentas científicas ou computacionais e recebe feedback ao longo do caminho.

O ciclo de avaliação se aproxima mais do trabalho de pesquisa:

1. Formular ou aperfeiçoar uma hipótese.
2. Escolher uma ação ou ferramenta.
3. Observar os dados, resultados ou feedback obtidos.
4. Identificar erros e pontos fracos.
5. Corrigir a abordagem e testar alternativas.
6. Apresentar uma conclusão compatível com a força e os limites das evidências.

Por isso, o benchmark registra a trajetória da investigação, e não apenas a semelhança entre a resposta final e uma referência. Isso é especialmente importante quando a questão científica ainda não tem uma resposta definitiva que possa servir como “verdade de ground truth”, ou seja, um gabarito previamente estabelecido.

As seis capacidades avaliadas

O nome TRACES corresponde a seis dimensões de verificação do processo, também apresentadas como HDS6:

• Tools (ferramentas): o sistema escolhe, utiliza e interpreta corretamente ferramentas externas, científicas ou computacionais relevantes?
• Repair (reparo): consegue localizar falhas e revisar o próprio trabalho depois de receber feedback?
• Alternatives (alternativas): considera hipóteses concorrentes e sabe mantê-las, descartá-las ou refiná-las com base nas evidências?
• Coherence (coerência): mantém uma linha de raciocínio consistente e conectada durante toda a investigação?
• Evidence (evidências): fundamenta suas afirmações em observações, resultados de ferramentas e achados experimentais?
• Scope (escopo): limita suas conclusões ao que as evidências realmente permitem afirmar?

Em conjunto, essas dimensões procuram separar uma investigação confiável de um palpite bem escrito. Elas também permitem avaliar a qualidade do processo mesmo quando ainda não existe uma resposta final incontestável.

Origem e escala inicial

O Apodex Discovery parte da premissa de que a avaliação de descobertas abertas precisa de quatro elementos: um problema bem formulado, um ambiente baseado na realidade, mecanismos de verificação e ciclos que permitam corrigir o trabalho. O TRACES é a implementação desse modelo em formato de benchmark.

Para mapear problemas possíveis, a Apodex afirma ter analisado 561 setores industriais em 16 áreas e reunido 423 problemas de alto valor no mundo real. A versão inicial selecionou 20 problemas para avaliação executável.

Os materiais disponíveis citam exemplos em áreas como:

• design de capsídeos de AAV, vírus associados a vetores usados em pesquisas biomédicas;
• análise de ensaios clínicos;
• reaproveitamento e reformulação de medicamentos;
• treinamento e sistemas de modelos de linguagem de grande escala (LLMs).

Esses exemplos indicam a amplitude pretendida pelo benchmark, mas as fontes fornecidas não apresentam um inventário público completo de todas as tarefas ou áreas incluídas no lançamento.

Por que avaliar o processo importa

Sistemas autônomos de IA são cada vez mais considerados para tarefas como gerar hipóteses, escolher caminhos de pesquisa, analisar resultados experimentais e ajudar a planejar ciclos de testes. Nesses cenários, produzir texto científico fluente não basta. O sistema precisa decidir o que testar, interpretar o que aconteceu, reagir a erros e evitar afirmações mais abrangentes do que as evidências permitem.

O TRACES tenta preencher essa lacuna ao tratar a descoberta científica como um processo interativo. Uma IA que chega a um resultado útil por meio de evidências rastreáveis e revisões adequadas é diferente de outra que produz uma conclusão parecida sem um caminho sólido para sustentá-la.

Isso não elimina a supervisão humana. Pesquisadores e especialistas continuam sendo necessários para definir objetivos e restrições, avaliar riscos éticos e práticos, validar pressupostos e evidências e decidir se uma conclusão é suficiente para justificar uma ação no mundo real. O foco do TRACES em trajetórias inspecionáveis e afirmações delimitadas é importante justamente porque oferece aos avaliadores mais elementos do que uma declaração final impossível de auditar.

Como participar

O anúncio público da Apodex descreve uma chamada aberta para sistemas solucionadores e problemas científicos.

Uma submissão de sistema deve representar a solução completa usada na investigação — não apenas o modelo subjacente. Isso inclui a camada de orquestração, as ferramentas, a memória e a política de controle que orientam as ações do sistema.

Já uma proposta de problema precisa ser convertida em um ambiente executável e verificável. Na prática, isso exige definir o que o sistema pode observar e fazer, que tipo de feedback receberá e como suas afirmações intermediárias ou finais poderão ser avaliadas por critérios explícitos de sucesso.

O ponto principal

O TRACES muda a pergunta central dos benchmarks de IA: em vez de perguntar apenas “a máquina deu a resposta esperada?”, ele pergunta “a máquina conduziu uma investigação disciplinada e baseada em evidências?”.

Essa abordagem se aproxima mais da pesquisa científica do que os testes estáticos com gabarito. Ainda assim, ela não resolve tudo. Avaliar o processo pode tornar os sistemas mais auditáveis, mas não prova, por si só, que uma descoberta gerada por IA seja segura, útil ou pronta para aplicação. O julgamento científico humano continua indispensável.