In een TRACES-taak doorloopt zo’n systeem in grote lijnen een langere onderzoekscyclus:

1. Een hypothese formuleren of aanscherpen.
2. Een actie kiezen of een tool aanroepen.
3. De verkregen data, uitkomst of feedback interpreteren.
4. Fouten en zwakke plekken herkennen.
5. De aanpak herstellen en alternatieven testen.
6. Een conclusie formuleren die past bij de sterkte én de beperkingen van het bewijs.

De benchmark registreert dus de onderzoekstrajecten, niet alleen de vraag of de einduitkomst op een referentieantwoord lijkt. Dat is vooral relevant wanneer er nog geen definitief antwoord bestaat dat als klassieke ‘ground truth’ kan dienen.

De zes vaardigheden van TRACES

De naam TRACES verwijst naar zes dimensies voor procesverificatie, ook aangeduid als HDS6:

• Tools: kiest de solver geschikte externe, wetenschappelijke of computationele tools, gebruikt hij die correct en begrijpt hij de uitkomsten?
• Repair: kan het systeem fouten opsporen en zijn werk aanpassen nadat het feedback heeft gekregen?
• Alternatives: onderzoekt het concurrerende hypothesen en houdt het die op basis van bewijs aan, verwerpt of verfijnt het ze?
• Coherence: blijft de redenering gedurende het onderzoek consistent en logisch verbonden?
• Evidence: zijn beweringen gebaseerd op waarnemingen, tooluitvoer en experimentele resultaten?
• Scope: beperkt de solver zijn conclusies tot wat het beschikbare bewijs daadwerkelijk ondersteunt?

Samen moeten deze criteria onderscheid maken tussen een betrouwbare onderzoeksaanpak en een zelfverzekerde, maar ongefundeerde gok. Ze maken het bovendien mogelijk om de kwaliteit van het proces te beoordelen wanneer een definitieve oplossing nog niet beschikbaar is.

Waar komt TRACES vandaan?

TRACES is onderdeel van Apodex Discovery, een raamwerk voor wat Apodex ‘discoverative AI’ noemt: AI-systemen die naar mogelijk nieuwe conclusies toewerken, in plaats van uitsluitend bekende informatie op te halen of opnieuw te formuleren.

Volgens het raamwerk zijn voor open wetenschappelijke ontdekkingen meerdere onderdelen nodig: een goed geformuleerd probleem, een omgeving die aansluit op de werkelijkheid, mechanismen om resultaten te verifiëren en lussen waarmee het systeem zijn werk kan herstellen. TRACES is de benchmarkimplementatie van die aanpak.

Voor het zoeken naar geschikte problemen zegt Apodex 561 bedrijfstakken in 16 sectoren te hebben onderzocht. Daaruit werden 423 waardevolle problemen uit de echte wereld samengesteld; voor de eerste uitvoerbare release werden 20 problemen geselecteerd.

De beschikbare materialen noemen onder meer voorbeelden op het gebied van:

• het ontwerpen van AAV-capsiden, virale dragers die onder meer in gentherapie worden onderzocht;
• analyse van klinische onderzoeken;
• herbestemming en herformulering van geneesmiddelen;
• training en systemen voor large language models (LLM’s).

Deze voorbeelden laten de beoogde breedte zien. De aangeleverde bronnen geven echter geen volledig openbaar overzicht van alle taken of domeinen in de release.

Waarom het onderzoeksproces steeds belangrijker wordt

AI-systemen worden in toenemende mate ingezet — of daarvoor voorgesteld — om hypothesen te genereren, onderzoeksrichtingen te kiezen, experimentele resultaten te analyseren en iteratieve werkprocessen te helpen ontwerpen. In zulke situaties is vloeiende tekst niet genoeg. Een systeem moet weten wat het moet testen, kunnen begrijpen wat er is gebeurd, fouten kunnen herstellen en geen grotere claims maken dan het bewijs toelaat.

TRACES behandelt wetenschappelijk onderzoek daarom als een interactief proces. Een solver die via controleerbaar bewijs en passende aanpassingen tot een bruikbaar resultaat komt, verschilt wezenlijk van een systeem dat een vergelijkbare conclusie produceert zonder aantoonbare of betrouwbare onderbouwing.

Dat betekent niet dat menselijke controle overbodig wordt. Onderzoekers en vakspecialisten moeten doelen en randvoorwaarden bepalen, ethische en praktische risico’s beoordelen, aannames en bewijs controleren en beslissen of een conclusie aanleiding geeft tot handelen in de echte wereld. Juist daarom is de nadruk van TRACES op inspecteerbare trajecten en begrensde claims relevant: beoordelaars krijgen meer te zien dan alleen een losse eindbewering.

Hoe kunnen teams meedoen?

De openbare aankondiging van Apodex beschrijft een open oproep voor zowel solver-systemen als wetenschappelijke problemen.

Een solver-inzending staat voor het volledige systeem waarmee een taak wordt onderzocht — dus niet alleen voor het basismodel. Daaronder vallen ook de harness of orkestratielaag, tools, het geheugen en het controlebeleid.

Een voorgesteld probleem moet kunnen worden omgezet in een uitvoerbare en verifieerbare omgeving. In de praktijk betekent dat dat duidelijk moet zijn wat de solver kan waarnemen en doen, welke feedback hij ontvangt en hoe tussentijdse of uiteindelijke claims aan expliciete succescriteria kunnen worden getoetst.

De kern

TRACES verschuift de centrale benchmarkvraag van ‘Gaf de AI het verwachte antwoord?’ naar ‘Heeft de AI een gedisciplineerd onderzoek uitgevoerd dat op bewijs is gebaseerd?’ Daarmee sluit de benchmark beter aan op wetenschappelijke ontdekking dan een statische toets met antwoordmodel.

Tegelijkertijd heeft ook procesbeoordeling grenzen. Een hoge score voor Tools, Repair, Alternatives, Coherence, Evidence en Scope bewijst op zichzelf niet dat een AI-gegenereerde ontdekking veilig, nuttig of klaar voor toepassing is. Menselijk wetenschappelijk oordeel blijft noodzakelijk.

In een TRACES-taak doorloopt zo’n systeem in grote lijnen een langere onderzoekscyclus:

1. Een hypothese formuleren of aanscherpen.
2. Een actie kiezen of een tool aanroepen.
3. De verkregen data, uitkomst of feedback interpreteren.
4. Fouten en zwakke plekken herkennen.
5. De aanpak herstellen en alternatieven testen.
6. Een conclusie formuleren die past bij de sterkte én de beperkingen van het bewijs.

De benchmark registreert dus de onderzoekstrajecten, niet alleen de vraag of de einduitkomst op een referentieantwoord lijkt. Dat is vooral relevant wanneer er nog geen definitief antwoord bestaat dat als klassieke ‘ground truth’ kan dienen.

De zes vaardigheden van TRACES

De naam TRACES verwijst naar zes dimensies voor procesverificatie, ook aangeduid als HDS6:

• Tools: kiest de solver geschikte externe, wetenschappelijke of computationele tools, gebruikt hij die correct en begrijpt hij de uitkomsten?
• Repair: kan het systeem fouten opsporen en zijn werk aanpassen nadat het feedback heeft gekregen?
• Alternatives: onderzoekt het concurrerende hypothesen en houdt het die op basis van bewijs aan, verwerpt of verfijnt het ze?
• Coherence: blijft de redenering gedurende het onderzoek consistent en logisch verbonden?
• Evidence: zijn beweringen gebaseerd op waarnemingen, tooluitvoer en experimentele resultaten?
• Scope: beperkt de solver zijn conclusies tot wat het beschikbare bewijs daadwerkelijk ondersteunt?

Samen moeten deze criteria onderscheid maken tussen een betrouwbare onderzoeksaanpak en een zelfverzekerde, maar ongefundeerde gok. Ze maken het bovendien mogelijk om de kwaliteit van het proces te beoordelen wanneer een definitieve oplossing nog niet beschikbaar is.

Waar komt TRACES vandaan?

TRACES is onderdeel van Apodex Discovery, een raamwerk voor wat Apodex ‘discoverative AI’ noemt: AI-systemen die naar mogelijk nieuwe conclusies toewerken, in plaats van uitsluitend bekende informatie op te halen of opnieuw te formuleren.

Volgens het raamwerk zijn voor open wetenschappelijke ontdekkingen meerdere onderdelen nodig: een goed geformuleerd probleem, een omgeving die aansluit op de werkelijkheid, mechanismen om resultaten te verifiëren en lussen waarmee het systeem zijn werk kan herstellen. TRACES is de benchmarkimplementatie van die aanpak.

Voor het zoeken naar geschikte problemen zegt Apodex 561 bedrijfstakken in 16 sectoren te hebben onderzocht. Daaruit werden 423 waardevolle problemen uit de echte wereld samengesteld; voor de eerste uitvoerbare release werden 20 problemen geselecteerd.

De beschikbare materialen noemen onder meer voorbeelden op het gebied van:

• het ontwerpen van AAV-capsiden, virale dragers die onder meer in gentherapie worden onderzocht;
• analyse van klinische onderzoeken;
• herbestemming en herformulering van geneesmiddelen;
• training en systemen voor large language models (LLM’s).

Deze voorbeelden laten de beoogde breedte zien. De aangeleverde bronnen geven echter geen volledig openbaar overzicht van alle taken of domeinen in de release.

Waarom het onderzoeksproces steeds belangrijker wordt

AI-systemen worden in toenemende mate ingezet — of daarvoor voorgesteld — om hypothesen te genereren, onderzoeksrichtingen te kiezen, experimentele resultaten te analyseren en iteratieve werkprocessen te helpen ontwerpen. In zulke situaties is vloeiende tekst niet genoeg. Een systeem moet weten wat het moet testen, kunnen begrijpen wat er is gebeurd, fouten kunnen herstellen en geen grotere claims maken dan het bewijs toelaat.

TRACES behandelt wetenschappelijk onderzoek daarom als een interactief proces. Een solver die via controleerbaar bewijs en passende aanpassingen tot een bruikbaar resultaat komt, verschilt wezenlijk van een systeem dat een vergelijkbare conclusie produceert zonder aantoonbare of betrouwbare onderbouwing.

Dat betekent niet dat menselijke controle overbodig wordt. Onderzoekers en vakspecialisten moeten doelen en randvoorwaarden bepalen, ethische en praktische risico’s beoordelen, aannames en bewijs controleren en beslissen of een conclusie aanleiding geeft tot handelen in de echte wereld. Juist daarom is de nadruk van TRACES op inspecteerbare trajecten en begrensde claims relevant: beoordelaars krijgen meer te zien dan alleen een losse eindbewering.

Hoe kunnen teams meedoen?

De openbare aankondiging van Apodex beschrijft een open oproep voor zowel solver-systemen als wetenschappelijke problemen.

Een solver-inzending staat voor het volledige systeem waarmee een taak wordt onderzocht — dus niet alleen voor het basismodel. Daaronder vallen ook de harness of orkestratielaag, tools, het geheugen en het controlebeleid.

Een voorgesteld probleem moet kunnen worden omgezet in een uitvoerbare en verifieerbare omgeving. In de praktijk betekent dat dat duidelijk moet zijn wat de solver kan waarnemen en doen, welke feedback hij ontvangt en hoe tussentijdse of uiteindelijke claims aan expliciete succescriteria kunnen worden getoetst.

De kern

TRACES verschuift de centrale benchmarkvraag van ‘Gaf de AI het verwachte antwoord?’ naar ‘Heeft de AI een gedisciplineerd onderzoek uitgevoerd dat op bewijs is gebaseerd?’ Daarmee sluit de benchmark beter aan op wetenschappelijke ontdekking dan een statische toets met antwoordmodel.

Tegelijkertijd heeft ook procesbeoordeling grenzen. Een hoge score voor Tools, Repair, Alternatives, Coherence, Evidence en Scope bewijst op zichzelf niet dat een AI-gegenereerde ontdekking veilig, nuttig of klaar voor toepassing is. Menselijk wetenschappelijk oordeel blijft noodzakelijk.