Bewertet wird dabei nicht nur ein Basismodell. Der Prüfling ist ein vollständiges Solver-System: Dazu gehören das Modell, die Orchestrierungs- oder Harness-Schicht, Werkzeuge, Speicher sowie die Steuerungslogik, mit der die Untersuchung durchgeführt wird.

Der Untersuchungsprozess statt eines Einmal-Outputs

Bei einer typischen Benchmark-Aufgabe sind Problem, Daten und erwartete Antwort vorab definiert. TRACES beginnt dagegen mit einem realen Forschungsziel, das zunächst in eine bearbeitbare Untersuchung übersetzt werden muss. Das KI-System beobachtet seine Umgebung, führt Aktionen aus, ruft wissenschaftliche oder rechnerische Werkzeuge auf und erhält experimentähnliche oder prüfende Rückmeldungen.

Der Ablauf ähnelt damit eher einem Forschungsprozess als einer Prüfung mit Multiple-Choice-Lösungsschlüssel:

1. Eine Hypothese formulieren oder präzisieren.
2. Eine Aktion auswählen oder ein Werkzeug aufrufen.
3. Die daraus entstehenden Daten oder Rückmeldungen auswerten.
4. Fehler und Schwachstellen erkennen.
5. Den Ansatz reparieren und Alternativen testen.
6. Eine Schlussfolgerung formulieren, deren Reichweite zur Stärke der Belege passt.

TRACES zeichnet daher die Entwicklung der Untersuchung auf – nicht nur, ob die abschließende Antwort einer Referenz ähnelt. Das ist besonders relevant, wenn es für die wissenschaftliche Frage noch keine gesicherte Ground Truth gibt.

Die sechs TRACES-Kriterien

Das Akronym steht für sechs Dimensionen der Prozessüberprüfung, die teilweise auch als HDS6 bezeichnet werden:

• Tools: Wählt das System passende externe oder wissenschaftliche Werkzeuge aus, nutzt sie korrekt und interpretiert ihre Ergebnisse richtig?
• Repair: Erkennt es Fehler und überarbeitet seinen Ansatz, sobald es Rückmeldung erhält?
• Alternatives: Berücksichtigt es konkurrierende Hypothesen und verwirft, behält oder verfeinert diese aus nachvollziehbaren, evidenzbasierten Gründen?
• Coherence: Bleibt die Argumentation über die gesamte Untersuchung hinweg konsistent und in sich verbunden?
• Evidence: Stützen sich die Behauptungen auf Beobachtungen, Werkzeugausgaben und Versuchsergebnisse?
• Scope: Beschränkt das System seine Aussagen auf das, was die vorhandenen Belege tatsächlich tragen?

Zusammen sollen diese Kriterien eine belastbare Untersuchung von einer selbstsicheren, aber unbegründeten Vermutung unterscheiden. Zugleich können sie die Qualität des Vorgehens einschätzbar machen, wenn eine endgültige Antwort noch nicht verfügbar ist.

Herkunft und Umfang des Benchmarks

Apodex Discovery geht davon aus, dass offene Entdeckungsaufgaben mehrere Bausteine benötigen: ein klar formuliertes Problem, eine realitätsnahe Umgebung, überprüfbare Kriterien und Schleifen, in denen das System seine Arbeit korrigieren kann. TRACES ist die Benchmark-Umsetzung dieses Ansatzes.

Für die Suche nach geeigneten Problemen habe Apodex nach eigenen Angaben 561 Branchen in 16 Sektoren untersucht und 423 besonders wertvolle reale Probleme zusammengestellt. Für die erste ausführbare Veröffentlichung wurden daraus 20 Probleme ausgewählt.

Die verfügbaren Materialien nennen unter anderem Aufgaben aus diesen Bereichen:

• Design von AAV-Kapsiden – AAV steht für adenoassoziierte Viren,
• Analyse klinischer Studien,
• Wiederverwendung und Neuentwicklung von Medikamenten,
• Training und Systeme großer Sprachmodelle (LLMs).

Diese Beispiele zeigen die angestrebte thematische Breite. Eine vollständige öffentliche Liste aller Aufgaben und abgedeckten Fachgebiete lässt sich aus den vorliegenden Materialien jedoch nicht ableiten.

Warum das für autonome KI wichtig ist

KI-Systeme werden zunehmend dafür eingesetzt oder vorgeschlagen, Hypothesen zu entwickeln, Forschungsrichtungen auszuwählen, Versuchsergebnisse zu analysieren und iterative Arbeitsabläufe mitzugestalten. In solchen Szenarien reicht sprachliche Gewandtheit nicht aus. Ein System muss wissen, was als Nächstes getestet werden sollte, Rückmeldungen richtig deuten, Fehler korrigieren und vermeiden, aus dünnen Belegen zu weitreichende Schlüsse zu ziehen.

TRACES behandelt wissenschaftliche Arbeit deshalb als interaktiven Prozess. Ein Solver, der über nachvollziehbare Belege und angemessene Überarbeitungen zu einem nützlichen Ergebnis gelangt, ist etwas anderes als ein System, das zufällig zu einer ähnlichen Aussage kommt, ohne einen tragfähigen Weg dorthin zu zeigen.

Der Ansatz macht menschliche Kontrolle nicht überflüssig. Forschende und Fachleute müssen weiterhin Ziele und Grenzen festlegen, ethische und praktische Risiken bewerten, Annahmen und Belege prüfen und entscheiden, ob eine Schlussfolgerung konkrete Maßnahmen rechtfertigt. Gerade deshalb ist der Fokus auf überprüfbare Untersuchungspfade und begrenzte Aussagen relevant: Prüfer erhalten mehr als eine isolierte, schwer nachvollziehbare Behauptung.

Wie Teams teilnehmen können

In der öffentlichen Ankündigung beschreibt Apodex einen offenen Aufruf für Solver-Systeme und wissenschaftliche Probleme.

Eine Solver-Einreichung soll demnach das vollständige System abbilden, mit dem eine Aufgabe untersucht wird – nicht nur das zugrunde liegende Modell. Dazu zählen die Orchestrierungs- beziehungsweise Harness-Schicht, Werkzeuge, Speicher und Steuerungslogik.

Ein eingereichtes Problem müsste sich in eine ausführbare und überprüfbare Umgebung übersetzen lassen. Praktisch bedeutet das: Es muss festgelegt werden, was der Solver beobachten und tun kann, welche Rückmeldungen er erhält und wie Zwischen- oder Endaussagen anhand klarer Erfolgskriterien überprüft werden können.

Das wichtigste Fazit

TRACES verschiebt die zentrale Benchmark-Frage von „Hat die KI die erwartete Antwort geliefert?“ zu „Hat sie eine disziplinierte, evidenzbasierte Untersuchung durchgeführt?“ Damit passt der Ansatz besser zu wissenschaftlicher Entdeckung als statische Tests mit festem Lösungsschlüssel.

Er löst aber nicht alle Bewertungsprobleme. Prozesswerte können die Beurteilung verbessern, beweisen allein jedoch nicht, dass eine KI-generierte Entdeckung sicher, nützlich oder für den praktischen Einsatz bereit ist. Menschliches wissenschaftliches Urteil bleibt unverzichtbar.

Bewertet wird dabei nicht nur ein Basismodell. Der Prüfling ist ein vollständiges Solver-System: Dazu gehören das Modell, die Orchestrierungs- oder Harness-Schicht, Werkzeuge, Speicher sowie die Steuerungslogik, mit der die Untersuchung durchgeführt wird.

Der Untersuchungsprozess statt eines Einmal-Outputs

Bei einer typischen Benchmark-Aufgabe sind Problem, Daten und erwartete Antwort vorab definiert. TRACES beginnt dagegen mit einem realen Forschungsziel, das zunächst in eine bearbeitbare Untersuchung übersetzt werden muss. Das KI-System beobachtet seine Umgebung, führt Aktionen aus, ruft wissenschaftliche oder rechnerische Werkzeuge auf und erhält experimentähnliche oder prüfende Rückmeldungen.

Der Ablauf ähnelt damit eher einem Forschungsprozess als einer Prüfung mit Multiple-Choice-Lösungsschlüssel:

1. Eine Hypothese formulieren oder präzisieren.
2. Eine Aktion auswählen oder ein Werkzeug aufrufen.
3. Die daraus entstehenden Daten oder Rückmeldungen auswerten.
4. Fehler und Schwachstellen erkennen.
5. Den Ansatz reparieren und Alternativen testen.
6. Eine Schlussfolgerung formulieren, deren Reichweite zur Stärke der Belege passt.

TRACES zeichnet daher die Entwicklung der Untersuchung auf – nicht nur, ob die abschließende Antwort einer Referenz ähnelt. Das ist besonders relevant, wenn es für die wissenschaftliche Frage noch keine gesicherte Ground Truth gibt.

Die sechs TRACES-Kriterien

Das Akronym steht für sechs Dimensionen der Prozessüberprüfung, die teilweise auch als HDS6 bezeichnet werden:

• Tools: Wählt das System passende externe oder wissenschaftliche Werkzeuge aus, nutzt sie korrekt und interpretiert ihre Ergebnisse richtig?
• Repair: Erkennt es Fehler und überarbeitet seinen Ansatz, sobald es Rückmeldung erhält?
• Alternatives: Berücksichtigt es konkurrierende Hypothesen und verwirft, behält oder verfeinert diese aus nachvollziehbaren, evidenzbasierten Gründen?
• Coherence: Bleibt die Argumentation über die gesamte Untersuchung hinweg konsistent und in sich verbunden?
• Evidence: Stützen sich die Behauptungen auf Beobachtungen, Werkzeugausgaben und Versuchsergebnisse?
• Scope: Beschränkt das System seine Aussagen auf das, was die vorhandenen Belege tatsächlich tragen?

Zusammen sollen diese Kriterien eine belastbare Untersuchung von einer selbstsicheren, aber unbegründeten Vermutung unterscheiden. Zugleich können sie die Qualität des Vorgehens einschätzbar machen, wenn eine endgültige Antwort noch nicht verfügbar ist.

Herkunft und Umfang des Benchmarks

Apodex Discovery geht davon aus, dass offene Entdeckungsaufgaben mehrere Bausteine benötigen: ein klar formuliertes Problem, eine realitätsnahe Umgebung, überprüfbare Kriterien und Schleifen, in denen das System seine Arbeit korrigieren kann. TRACES ist die Benchmark-Umsetzung dieses Ansatzes.

Für die Suche nach geeigneten Problemen habe Apodex nach eigenen Angaben 561 Branchen in 16 Sektoren untersucht und 423 besonders wertvolle reale Probleme zusammengestellt. Für die erste ausführbare Veröffentlichung wurden daraus 20 Probleme ausgewählt.

Die verfügbaren Materialien nennen unter anderem Aufgaben aus diesen Bereichen:

• Design von AAV-Kapsiden – AAV steht für adenoassoziierte Viren,
• Analyse klinischer Studien,
• Wiederverwendung und Neuentwicklung von Medikamenten,
• Training und Systeme großer Sprachmodelle (LLMs).

Diese Beispiele zeigen die angestrebte thematische Breite. Eine vollständige öffentliche Liste aller Aufgaben und abgedeckten Fachgebiete lässt sich aus den vorliegenden Materialien jedoch nicht ableiten.

Warum das für autonome KI wichtig ist

KI-Systeme werden zunehmend dafür eingesetzt oder vorgeschlagen, Hypothesen zu entwickeln, Forschungsrichtungen auszuwählen, Versuchsergebnisse zu analysieren und iterative Arbeitsabläufe mitzugestalten. In solchen Szenarien reicht sprachliche Gewandtheit nicht aus. Ein System muss wissen, was als Nächstes getestet werden sollte, Rückmeldungen richtig deuten, Fehler korrigieren und vermeiden, aus dünnen Belegen zu weitreichende Schlüsse zu ziehen.

TRACES behandelt wissenschaftliche Arbeit deshalb als interaktiven Prozess. Ein Solver, der über nachvollziehbare Belege und angemessene Überarbeitungen zu einem nützlichen Ergebnis gelangt, ist etwas anderes als ein System, das zufällig zu einer ähnlichen Aussage kommt, ohne einen tragfähigen Weg dorthin zu zeigen.

Der Ansatz macht menschliche Kontrolle nicht überflüssig. Forschende und Fachleute müssen weiterhin Ziele und Grenzen festlegen, ethische und praktische Risiken bewerten, Annahmen und Belege prüfen und entscheiden, ob eine Schlussfolgerung konkrete Maßnahmen rechtfertigt. Gerade deshalb ist der Fokus auf überprüfbare Untersuchungspfade und begrenzte Aussagen relevant: Prüfer erhalten mehr als eine isolierte, schwer nachvollziehbare Behauptung.

Wie Teams teilnehmen können

In der öffentlichen Ankündigung beschreibt Apodex einen offenen Aufruf für Solver-Systeme und wissenschaftliche Probleme.

Eine Solver-Einreichung soll demnach das vollständige System abbilden, mit dem eine Aufgabe untersucht wird – nicht nur das zugrunde liegende Modell. Dazu zählen die Orchestrierungs- beziehungsweise Harness-Schicht, Werkzeuge, Speicher und Steuerungslogik.

Ein eingereichtes Problem müsste sich in eine ausführbare und überprüfbare Umgebung übersetzen lassen. Praktisch bedeutet das: Es muss festgelegt werden, was der Solver beobachten und tun kann, welche Rückmeldungen er erhält und wie Zwischen- oder Endaussagen anhand klarer Erfolgskriterien überprüft werden können.

Das wichtigste Fazit

TRACES verschiebt die zentrale Benchmark-Frage von „Hat die KI die erwartete Antwort geliefert?“ zu „Hat sie eine disziplinierte, evidenzbasierte Untersuchung durchgeführt?“ Damit passt der Ansatz besser zu wissenschaftlicher Entdeckung als statische Tests mit festem Lösungsschlüssel.

Er löst aber nicht alle Bewertungsprobleme. Prozesswerte können die Beurteilung verbessern, beweisen allein jedoch nicht, dass eine KI-generierte Entdeckung sicher, nützlich oder für den praktischen Einsatz bereit ist. Menschliches wissenschaftliches Urteil bleibt unverzichtbar.