AI-agents falen op basale biologie: de dataleidingencrisis

Mens-eerst ontwerp, agent-laatst prestaties

NCBI Virus en veel andere openbare biologische databanken zijn gebouwd voor interactieve, browsergerichte workflows. Wetenschappers klikken door filters, inspecteren resultaten handmatig en vertrouwen op visuele aanwijzingen. Deze interface-logica is onverenigbaar met autonome agents die gestructureerde, programmeerbare opdrachten verwachten .

Radicaal niet-deterministische resultaten

De meest vernietigende bevinding was de inconsistentie. Toen onderzoekers Claude Sonnet 4 drie keer vroegen om ebolavirussequenties op te halen die vergeleken werden met een geverifieerde set van 266 sequenties, retourneerde het er 106 bij de eerste poging, 15 bij de tweede en slechts 5 bij de derde. De prompts veranderden niet – alleen de output .

Het gaat hier niet alleen om een paar gemiste records. In één simulatie vertekende een foutieve ophaalactie een fylogenetische analyse zo sterk dat deze de oorsprong van een Ebola-uitbraak schatte op 1922 in plaats van de correcte datum in 2014. De AI had de wetenschap niet verzonnen – het had een kapotte dataset gevoed gekregen en bouwde daar plichtsgetrouw een valse conclusie op .

Brokkelige, gefragmenteerde infrastructuur

Biologische data is verspreid over tientallen databanken met incompatibele identificatienummers, uiteenlopende metadatastandaarden en geen versiegecontroleerde API's. Software-ontwikkelaars vertrouwen op pakketbeheerders en versiegebonden eindpunten; computationele biologen zitten vaak vast aan het scripten tegen inconsistente webinterfaces die onaangekondigd kunnen veranderen .

De deterministische oplossing: gget virus

In plaats van een beter model te trainen, bouwde het team een betere ophaallaag. gget virus is een lichtgewicht, deterministisch raamwerk dat de filterlogica van NCBI Virus formaliseert in een reproduceerbaar programmeerbaar systeem .

Het werkt door metadata-beperkingen toe te passen vóórdat sequenties worden gedownload, door selectief alleen de gestructureerde GenBank-records op te halen die eraan voldoen, en door de data-overdracht voor hoogvolume-query's met meer dan 98% te verminderen, met behoud van exacte overeenkomsten. Het resultaat is elke keer dezelfde dataset – een eigenschap die AI-agents wanhopig nodig hebben, maar die de oude infrastructuur niet kon leveren .

De impact was direct en dramatisch. Toen autonome AI-systemen gget virus als hun ophaalbasis gebruikten:

• Steeg de nauwkeurigheid naar ten minste 90,0% voor alle geteste modellen, waarbij GPT-5.5 een score van 99,7% bereikte.
• Kwamen de stabiliteitsmetrieken over de hele linie uit op 0,92–1,00.
• Stortte de foutenmarge in, vooral de catastrofale fouten die wetenschappelijke conclusies verschuiven .

De conclusie is ondubbelzinnig: de beperkende factor voor AI-ondersteunde biologie is niet het redeneervermogen van het model – het is de deterministische datatoegang. Voeg de juiste ophaallaag toe, en de huidige agents kunnen nu al betrouwbaar werk leveren .

Biologische data-infrastructuur herontwerpen voor het agent-tijdperk

Het succesverhaal van gget virus is een proof of concept voor een veel grotere verschuiving. De onderzoekers stellen dat dit patroon niet beperkt is tot virologie – alleen al het NCBI herbergt meer dan 30 databanken die baat zouden hebben bij vergelijkbare deterministische 'wrappers' .

Van mensgericht naar agent-native ontwerp

Biologische databanken moeten evolueren naar het blootleggen van goed gedocumenteerde, versiegecontroleerde API's met gestandaardiseerde filtering en reproduceerbare query-semantiek. Dit is het equivalent van wat softwareontwikkelaars krijgen van pakketbeheerders en versiebeheersystemen – een kritieke infrastructuur die de biologische wetenschap momenteel mist .

De drang naar gefedereerde, AI-schaalbare data

In een parallelle publicatie presenteerde het Chan Zuckerberg Initiative een routekaart die pleit voor interoperabele, gebundelde biologische datasets die via command-line interfaces en machinaal leesbare standaarden te doorzoeken zijn. Hun visie: een wereld waar wetenschappers multimodale data kunnen doorzoeken, analyseren en downloaden met één enkele gefedereerde query, waardoor AI-schaalbare ontdekkingen mogelijk zijn zonder de huidige ophaalchaos .

Het CZI werkt hier al actief aan door een CLI voor gefedereerde datatoegang te ontwikkelen en het Billion Cells Project op te zetten, een baanbrekende single-cell dataset bedoeld om de volgende generatie AI-modellen te trainen. Het doel is fundamentele infrastructuur die biologische data net zo toegankelijk maakt voor machines als codeopslagplaatsen zijn voor ontwikkelaars .

De les is niet beperkt tot biologie

De kernboodschap – dat verouderde, mens-eerst interfaces AI-agents breken – is universeel toepasbaar in de computationele wetenschap. Deterministische, programmeerbare toegangslagen zijn geen luxe; ze zijn een absolute voorwaarde om autonome systemen betrouwbaar aan onderzoek te laten deelnemen. De oplossing is niet wachten op een slimmer model. Het is het verbeteren van de infrastructuur. Het upgraden van de snelweg, in plaats van te wachten op een betere auto.