Pour rendre ces investigations ouvertes évaluables, le benchmark s’appuie sur des environnements exécutables, des épisodes de test, des tâches et des vérificateurs dont certains éléments restent cachés. L’unité évaluée n’est pas simplement un modèle de fondation : c’est un système complet de résolution, comprenant le modèle, le dispositif d’orchestration, les outils, la mémoire et les politiques de contrôle employés pendant l’enquête.

Pourquoi TRACES se démarque des tests à réponse unique

Dans un benchmark classique, la question, les données disponibles et la réponse attendue sont fixées à l’avance. TRACES part plutôt d’un objectif scientifique concret que le système doit transformer en investigation exploitable. Il interagit avec un environnement, choisit des actions, appelle des outils scientifiques ou informatiques et reçoit des retours comparables à ceux d’une expérience ou d’un vérificateur.

Le cycle d’évaluation devient alors plus proche d’une véritable démarche de recherche :

1. Formuler ou préciser une hypothèse.
2. Choisir une action ou appeler un outil.
3. Examiner les observations et le retour obtenu.
4. Repérer les erreurs ou les faiblesses du raisonnement.
5. Corriger l’approche et tester d’autres pistes.
6. Présenter une conclusion proportionnée à la solidité des preuves.

TRACES enregistre ainsi la trajectoire de l’investigation, et non la seule ressemblance entre la réponse finale et une solution de référence. Cette distinction est particulièrement utile lorsque la question scientifique ne possède pas encore de réponse définitive pouvant servir de « vérité terrain » traditionnelle.

Les six capacités évaluées par TRACES

Le nom TRACES correspond à six dimensions de vérification du processus, parfois regroupées sous l’appellation HDS6 :

• Tools — Outils : le système choisit-il les outils pertinents, les utilise-t-il correctement et sait-il interpréter leurs résultats ?
• Repair — Correction : repère-t-il ses échecs et révise-t-il son travail après un retour ou une nouvelle information ?
• Alternatives — Alternatives : examine-t-il plusieurs hypothèses et sait-il conserver, écarter ou affiner chacune pour des raisons fondées sur les preuves ?
• Coherence — Cohérence : maintient-il un fil de raisonnement constant et intelligible pendant toute l’investigation ?
• Evidence — Preuves : ses affirmations sont-elles ancrées dans des observations, des résultats d’outils ou des expériences ?
• Scope — Périmètre : limite-t-il ses conclusions à ce que les éléments disponibles permettent réellement d’affirmer ?

Ensemble, ces critères doivent aider à distinguer une investigation fiable d’une supposition formulée avec assurance. Ils donnent aussi aux évaluateurs la possibilité d’examiner la qualité d’un raisonnement même lorsqu’aucune réponse finale certaine n’est encore disponible.

Une première version issue de centaines de problèmes

Le cadre Apodex Discovery avance que l’évaluation d’une découverte ouverte nécessite plusieurs briques : un problème correctement formulé, un environnement ancré dans le réel, des mécanismes de vérification et des boucles permettant au système de réparer son travail. TRACES constitue la mise en œuvre de ce principe sous la forme d’un benchmark.

Pour repérer les problèmes susceptibles d’être évalués, Apodex indique avoir étudié 561 secteurs industriels dans 16 domaines et constitué une liste de 423 problèmes du monde réel à fort intérêt. La première version du benchmark en a retenu 20 pour une évaluation dans des environnements exécutables.

Les documents disponibles citent notamment des travaux portant sur :

• la conception de capsides d’AAV, des vecteurs utilisés en thérapie génique ;
• l’analyse d’essais cliniques ;
• le repositionnement et la reformulation de médicaments ;
• l’entraînement et les systèmes de grands modèles de langage.

Ces exemples illustrent l’ambition multidisciplinaire du benchmark. Les sources disponibles ne permettent toutefois pas d’établir la liste publique complète de toutes les tâches ni de tous les domaines couverts par cette première version.

Pourquoi évaluer le processus devient essentiel

Les systèmes autonomes sont de plus en plus envisagés pour générer des hypothèses, sélectionner des orientations de recherche, analyser des résultats expérimentaux ou contribuer à la conception de cycles d’essais successifs. Dans ce contexte, la fluidité du texte ne suffit pas. Un système doit savoir quoi tester, comprendre ce qui s’est passé, récupérer après une erreur et éviter de tirer des conclusions plus larges que ne le permettent ses preuves.

TRACES traite donc la recherche scientifique comme un processus interactif. Un système qui obtient un résultat utile grâce à des preuves traçables et à des révisions appropriées n’est pas équivalent à un système qui produit une conclusion similaire sans cheminement solide permettant de la contrôler.

Cette approche ne supprime pas le besoin d’une supervision humaine. Les chercheurs et les spécialistes des domaines concernés doivent encore fixer les objectifs et les contraintes, évaluer les risques éthiques et pratiques, vérifier les hypothèses et les preuves, puis décider si une conclusion justifie une action dans le monde réel. L’intérêt des trajectoires inspectables et des affirmations circonscrites est précisément de donner aux évaluateurs davantage qu’une assertion finale impossible à auditer.

Comment participer à TRACES

L’annonce publique d’Apodex présente un appel ouvert aux contributions de systèmes de résolution et de problèmes scientifiques.

Une équipe qui soumet un solveur doit donc présenter le système complet utilisé pour mener l’investigation, et pas uniquement le modèle sous-jacent. Cela comprend la couche d’orchestration, les outils, la mémoire et la politique de contrôle.

Une proposition de problème doit pouvoir être convertie en un cadre exécutable et vérifiable. Il faut notamment définir ce que le système peut observer et faire, les retours qu’il reçoit et la manière dont ses affirmations intermédiaires ou finales peuvent être confrontées à des critères de réussite explicites.

À retenir

TRACES reformule la question centrale des benchmarks : il ne s’agit plus seulement de demander « l’IA a-t-elle donné la bonne réponse ? », mais aussi « a-t-elle mené une investigation rigoureuse, fondée sur des preuves ? »

Cette logique est mieux adaptée à la découverte scientifique que les tests statiques à réponse prédéfinie. Elle a toutefois une limite essentielle : un bon score de processus ne suffit pas à démontrer qu’une découverte produite par une IA est sûre, utile ou prête à être déployée. Le jugement scientifique humain reste indispensable.

Pour rendre ces investigations ouvertes évaluables, le benchmark s’appuie sur des environnements exécutables, des épisodes de test, des tâches et des vérificateurs dont certains éléments restent cachés. L’unité évaluée n’est pas simplement un modèle de fondation : c’est un système complet de résolution, comprenant le modèle, le dispositif d’orchestration, les outils, la mémoire et les politiques de contrôle employés pendant l’enquête.

Pourquoi TRACES se démarque des tests à réponse unique

Dans un benchmark classique, la question, les données disponibles et la réponse attendue sont fixées à l’avance. TRACES part plutôt d’un objectif scientifique concret que le système doit transformer en investigation exploitable. Il interagit avec un environnement, choisit des actions, appelle des outils scientifiques ou informatiques et reçoit des retours comparables à ceux d’une expérience ou d’un vérificateur.

Le cycle d’évaluation devient alors plus proche d’une véritable démarche de recherche :

1. Formuler ou préciser une hypothèse.
2. Choisir une action ou appeler un outil.
3. Examiner les observations et le retour obtenu.
4. Repérer les erreurs ou les faiblesses du raisonnement.
5. Corriger l’approche et tester d’autres pistes.
6. Présenter une conclusion proportionnée à la solidité des preuves.

TRACES enregistre ainsi la trajectoire de l’investigation, et non la seule ressemblance entre la réponse finale et une solution de référence. Cette distinction est particulièrement utile lorsque la question scientifique ne possède pas encore de réponse définitive pouvant servir de « vérité terrain » traditionnelle.

Les six capacités évaluées par TRACES

Le nom TRACES correspond à six dimensions de vérification du processus, parfois regroupées sous l’appellation HDS6 :

• Tools — Outils : le système choisit-il les outils pertinents, les utilise-t-il correctement et sait-il interpréter leurs résultats ?
• Repair — Correction : repère-t-il ses échecs et révise-t-il son travail après un retour ou une nouvelle information ?
• Alternatives — Alternatives : examine-t-il plusieurs hypothèses et sait-il conserver, écarter ou affiner chacune pour des raisons fondées sur les preuves ?
• Coherence — Cohérence : maintient-il un fil de raisonnement constant et intelligible pendant toute l’investigation ?
• Evidence — Preuves : ses affirmations sont-elles ancrées dans des observations, des résultats d’outils ou des expériences ?
• Scope — Périmètre : limite-t-il ses conclusions à ce que les éléments disponibles permettent réellement d’affirmer ?

Ensemble, ces critères doivent aider à distinguer une investigation fiable d’une supposition formulée avec assurance. Ils donnent aussi aux évaluateurs la possibilité d’examiner la qualité d’un raisonnement même lorsqu’aucune réponse finale certaine n’est encore disponible.

Une première version issue de centaines de problèmes

Le cadre Apodex Discovery avance que l’évaluation d’une découverte ouverte nécessite plusieurs briques : un problème correctement formulé, un environnement ancré dans le réel, des mécanismes de vérification et des boucles permettant au système de réparer son travail. TRACES constitue la mise en œuvre de ce principe sous la forme d’un benchmark.

Pour repérer les problèmes susceptibles d’être évalués, Apodex indique avoir étudié 561 secteurs industriels dans 16 domaines et constitué une liste de 423 problèmes du monde réel à fort intérêt. La première version du benchmark en a retenu 20 pour une évaluation dans des environnements exécutables.

Les documents disponibles citent notamment des travaux portant sur :

• la conception de capsides d’AAV, des vecteurs utilisés en thérapie génique ;
• l’analyse d’essais cliniques ;
• le repositionnement et la reformulation de médicaments ;
• l’entraînement et les systèmes de grands modèles de langage.

Ces exemples illustrent l’ambition multidisciplinaire du benchmark. Les sources disponibles ne permettent toutefois pas d’établir la liste publique complète de toutes les tâches ni de tous les domaines couverts par cette première version.

Pourquoi évaluer le processus devient essentiel

Les systèmes autonomes sont de plus en plus envisagés pour générer des hypothèses, sélectionner des orientations de recherche, analyser des résultats expérimentaux ou contribuer à la conception de cycles d’essais successifs. Dans ce contexte, la fluidité du texte ne suffit pas. Un système doit savoir quoi tester, comprendre ce qui s’est passé, récupérer après une erreur et éviter de tirer des conclusions plus larges que ne le permettent ses preuves.

TRACES traite donc la recherche scientifique comme un processus interactif. Un système qui obtient un résultat utile grâce à des preuves traçables et à des révisions appropriées n’est pas équivalent à un système qui produit une conclusion similaire sans cheminement solide permettant de la contrôler.

Cette approche ne supprime pas le besoin d’une supervision humaine. Les chercheurs et les spécialistes des domaines concernés doivent encore fixer les objectifs et les contraintes, évaluer les risques éthiques et pratiques, vérifier les hypothèses et les preuves, puis décider si une conclusion justifie une action dans le monde réel. L’intérêt des trajectoires inspectables et des affirmations circonscrites est précisément de donner aux évaluateurs davantage qu’une assertion finale impossible à auditer.

Comment participer à TRACES

L’annonce publique d’Apodex présente un appel ouvert aux contributions de systèmes de résolution et de problèmes scientifiques.

Une équipe qui soumet un solveur doit donc présenter le système complet utilisé pour mener l’investigation, et pas uniquement le modèle sous-jacent. Cela comprend la couche d’orchestration, les outils, la mémoire et la politique de contrôle.

Une proposition de problème doit pouvoir être convertie en un cadre exécutable et vérifiable. Il faut notamment définir ce que le système peut observer et faire, les retours qu’il reçoit et la manière dont ses affirmations intermédiaires ou finales peuvent être confrontées à des critères de réussite explicites.

À retenir

TRACES reformule la question centrale des benchmarks : il ne s’agit plus seulement de demander « l’IA a-t-elle donné la bonne réponse ? », mais aussi « a-t-elle mené une investigation rigoureuse, fondée sur des preuves ? »

Cette logique est mieux adaptée à la découverte scientifique que les tests statiques à réponse prédéfinie. Elle a toutefois une limite essentielle : un bon score de processus ne suffit pas à démontrer qu’une découverte produite par une IA est sûre, utile ou prête à être déployée. Le jugement scientifique humain reste indispensable.