BootLoops 1.0: KI kann rechnen, aber nicht allein entscheiden, was wissenschaftlich zählt

BootLoops 1.0 ist ein quelloffenes Werkzeugpaket, das Sprachmodelle bei präzisen wissenschaftlichen Berechnungen unterstützt und Prüfungen in den Arbeitsablauf einbaut. Entwickelt hat es der Harvard-Physiker Matthew Schwartz gemeinsam mit Claude. Das System ist jedoch nicht an ein bestimmtes Modell gebunden. Sein Anspruch ist nicht, jede KI-Antwort automatisch verlässlich zu machen, sondern konkrete Ergebnisse gezielter überprüfbar zu gestalten. 112

So werden Berechnungen überprüfbar

BootLoops bündelt wissenschaftliche Software mit Protokollen, die festlegen, wann ein Ergebnis als geprüft gelten kann. Dazu gehört, es über einen unabhängigen Rechenweg zu vergleichen – auch an Stellen, die nicht zum Anpassen des Ergebnisses verwendet wurden. Außerdem soll ein Positivkontrolltest zeigen, dass die Prüfung ein fehlerhaftes Resultat tatsächlich erkennen kann. Die Vorgaben berücksichtigen auch die Herkunft der Ergebnisse: Ein Werkzeug, das beim Anpassen eines Resultats mitgewirkt hat, soll nicht einfach dasselbe Resultat beglaubigen. 211

Der Ansatz passt besonders zu Aufgaben mit klar definiertem Ergebnis, etwa Berechnungen aus der mathematischen Physik. Er kann belegen, dass ein Resultat bestimmte Tests bestanden hat. Er beweist weder, dass jede von einem Modell erzeugte Aussage stimmt, noch, dass die untersuchte Frage wissenschaftlich bedeutsam ist. 25

Welche Ergebnisse mit Claude berichtet wurden

Schwartz’ Team berichtet von 30 berechneten Integralen aus der mathematischen Physik. 15 davon seien neue Ergebnisse gewesen, darunter elliptische Feynman-Integrale. Die Arbeit umfasste zudem eine Lösung für das, was Schwartz George Watsons „letztes Problem“ nennt – eine Berechnung, die an frühere Arbeiten des Mathematikers anknüpft. 14164

Für das größere, über drei Monate laufende Vorhaben wurden 36 Manuskripte mit 19 Mitautorinnen und Mitautoren aus 18 Fachgebieten gemeldet, darunter Ökologie und Populationsgenetik. Das sind berichtete Forschungsergebnisse – kein Beleg dafür, dass jedes Resultat bereits unabhängig verifiziert wurde: Schwartz zufolge waren mehrere Ergebnisse noch in Prüfung. 3154

Warum menschliche Fachkenntnis weiter zählt

Schwartz beschreibt die schwierige Passung zwischen den Stärken heutiger Sprachmodelle und den Anforderungen wissenschaftlicher Arbeit als „Impedanzfehlanpassung“. Der Begriff stammt aus der Physik und bezeichnet Systeme, die für sich funktionieren, aber schlecht zusammenpassen. Modelle können bei klar umrissenen Aufgaben mit eindeutigen Prüfkriterien nützlich sein. Wissenschaft verlangt jedoch auch, relevante Fragen auszuwählen und die Bedeutung einer Antwort einzuschätzen. 15

Schwartz zufolge entdeckte Claude Verbindungen zwischen verschiedenen Fachgebieten, die technisch korrekt, aber wissenschaftlich zunächst wenig bemerkenswert waren. Fachleute aus den jeweiligen Disziplinen halfen, die Arbeit auf Fragen auszurichten, die in diesen Feldern tatsächlich wichtig sind. Genau darin liegt der Unterschied: Rechnerische Prüfungen können zeigen, ob eine Berechnung festgelegte Tests besteht. Wissenschaftliches Urteilsvermögen entscheidet mit darüber, was berechnet werden sollte – und was das Ergebnis bedeutet. 5

Was BootLoops leistet – und was nicht

BootLoops bietet einen Rahmen für KI-gestützte Forschung, der auf überprüfbare Aufgaben, unabhängige Kontrollen und fachliche Begleitung setzt. Die berichteten Ergebnisse zeigen das Potenzial dieses Ansatzes, sind aber weder eine pauschale Korrektheitsgarantie noch ein Ersatz für weitere Prüfungen. Eine kontrollierte Berechnung allein reicht nicht aus, um eine Entscheidung mit weitreichenden Folgen zu begründen: Auch Fragestellung, Annahmen und Konsequenzen müssen Menschen kritisch bewerten. 245