TRACES: el benchmark que evalúa cómo descubre una IA, no solo qué responde

Más allá de los benchmarks con respuestas prefijadas

En una prueba convencional, la pregunta, los datos disponibles y la respuesta esperada suelen estar definidos de antemano. TRACES parte, en cambio, de una ambición científica del mundo real que debe transformarse en una investigación abordable. El solver interactúa con un entorno, ejecuta acciones, llama a herramientas científicas o computacionales y recibe comentarios parecidos a los de un experimento o un verificador.

Esto genera un ciclo de evaluación más prolongado:

1. Formular o perfeccionar una hipótesis.
2. Elegir una acción o llamada a una herramienta.
3. Observar las pruebas o los comentarios resultantes.
4. Detectar errores o puntos débiles.
5. Corregir el enfoque y probar alternativas.
6. Presentar una conclusión ajustada a la solidez y los límites de las pruebas.

Por tanto, el benchmark registra la trayectoria de la investigación, no solo si el resultado final se parece a una respuesta de referencia. Esto resulta especialmente relevante cuando la cuestión científica de fondo no tiene una respuesta aceptada que pueda funcionar como verdad de referencia convencional.

Las seis capacidades que evalúa

El nombre TRACES corresponde a seis dimensiones de verificación del proceso, descritas también como HDS6:

• Tools (herramientas): ¿El solver selecciona, utiliza e interpreta correctamente herramientas externas o científicas pertinentes?
• Repair (reparación): ¿Puede localizar fallos y revisar su trabajo después de recibir comentarios?
• Alternatives (alternativas): ¿Considera hipótesis competidoras y decide conservarlas, descartarlas o perfeccionarlas por razones basadas en las pruebas?
• Coherence (coherencia): ¿Mantiene una línea de razonamiento consistente y conectada durante toda la investigación?
• Evidence (evidencia): ¿Sus afirmaciones se apoyan en observaciones, resultados de herramientas y resultados experimentales?
• Scope (alcance): ¿Limita sus afirmaciones a lo que realmente respaldan las pruebas disponibles?

En conjunto, estas dimensiones buscan distinguir una investigación fiable de una conjetura expresada con seguridad, y permiten valorar la calidad del proceso aunque todavía no exista una respuesta definitiva.

Origen y escala inicial

El marco Apodex Discovery establece varios requisitos para evaluar el descubrimiento abierto: un problema bien formulado, un entorno basado en la realidad, mecanismos de verificación y ciclos que permitan al sistema reparar su trabajo. TRACES es la implementación de ese enfoque en forma de benchmark.

Para identificar problemas, Apodex afirma que examinó 561 industrias de 16 sectores y reunió 423 problemas de alto valor del mundo real. De ese conjunto, la versión inicial seleccionó 20 problemas para su evaluación mediante entornos ejecutables.

Los materiales disponibles mencionan ejemplos relacionados con:

• Diseño de cápsides de AAV, un tipo de virus utilizado en investigación y terapias génicas.
• Análisis de ensayos clínicos.
• Reutilización y reformulación de medicamentos.
• Entrenamiento y sistemas de modelos de lenguaje de gran escala (LLM).

Estos ejemplos muestran la amplitud buscada por el benchmark, aunque las fuentes proporcionadas no establecen un inventario público completo de todas las tareas o áreas incluidas en el lanzamiento.

Por qué importa evaluar el proceso

Los sistemas de IA se utilizan cada vez más —o se proponen— para generar hipótesis, elegir líneas de investigación, analizar resultados experimentales y ayudar a diseñar flujos de trabajo iterativos. En esos contextos, la fluidez no basta. Un sistema debe saber qué poner a prueba, interpretar lo ocurrido, recuperarse de sus errores y evitar afirmar más de lo que permiten las pruebas.

TRACES intenta cubrir esa carencia tratando la investigación científica como un proceso interactivo. Un solver que llega a un resultado útil mediante pruebas rastreables y revisiones adecuadas no es equivalente a otro que produce una conclusión parecida sin un camino sólido que la respalde.

El enfoque no elimina la supervisión humana. Los investigadores y especialistas siguen teniendo que fijar objetivos y restricciones, valorar los riesgos éticos y prácticos, validar supuestos y evidencias, y decidir si una conclusión justifica una acción en el mundo real. Precisamente por su énfasis en trayectorias inspeccionables y afirmaciones acotadas, TRACES ofrece a los revisores más elementos que una declaración final aislada.

Cómo pueden participar los equipos

El anuncio público de Apodex describe una convocatoria abierta tanto para sistemas solver como para problemas científicos.

Una propuesta de solver representaría el sistema completo utilizado para investigar una tarea, no solo el modelo subyacente. Incluiría la capa de orquestación, las herramientas, la memoria y la política de control empleadas durante la investigación.

Por su parte, un problema tendría que poder expresarse como un entorno ejecutable y verificable. En la práctica, esto implica definir qué puede observar y hacer el solver, qué comentarios recibe y cómo pueden comprobarse sus afirmaciones intermedias o finales mediante criterios explícitos de éxito.

La conclusión práctica

TRACES cambia la pregunta del benchmark: pasa de «¿La IA dio la respuesta esperada?» a «¿La IA llevó a cabo una investigación disciplinada y basada en evidencias?». Esto lo acerca más a la realidad del descubrimiento científico que las pruebas estáticas con respuestas prefijadas.

También deja clara una limitación central: las puntuaciones del proceso pueden mejorar la evaluación, pero por sí solas no demuestran que un descubrimiento generado por IA sea seguro, útil o esté listo para aplicarse. El criterio científico humano sigue siendo imprescindible.