Apodex vill testa hur AI upptäcker – inte bara vad den svarar

Ett AI-test där vägen till svaret räknas

Traditionella AI-benchmarktester brukar jämföra ett systems svar med ett känt facit. Apodex TRACES väljer en annan väg: ett komplett AI-system – en så kallad ”heavy-duty solver” – placeras i en körbar och tillståndsbaserad miljö, där systemets sätt att undersöka ett öppet vetenskapligt problem följs över tid. Det kan använda verktyg, få återkoppling, rätta misslyckanden och arbeta mot slutsatser som ännu inte är fastställda.

Skillnaden är viktig. Ett plausibelt slutsvar kan vara en lyckträff, ha svagt stöd eller vara omöjligt att återskapa. TRACES är utformat för att bedöma både resultatet och undersökningen som ledde fram till det.

Vad TRACES ska mäta

TRACES ingår i Apodex Discovery, ett ramverk för att bygga och utvärdera det Apodex kallar ”discoverative AI” – system som ska nå potentiellt nya slutsatser, inte bara hitta eller formulera om redan känd information. Benchmarken använder körbara miljöer, episoder, uppgifter och dolda verifierare för att göra öppna undersökningar möjliga att testa.

Det som utvärderas är inte bara en grundmodell. Enheten som bedöms är hela lösningssystemet: modellen tillsammans med orkestreringslager, verktyg, minne och styrprinciper för hur undersökningen genomförs.

Så skiljer det sig från benchmarktester med facit

I ett vanligt benchmark är frågan, indata och det förväntade svaret ofta definierade på förhand. TRACES börjar i stället med en verklig ambition som måste omvandlas till en hanterbar undersökning. Systemet interagerar med en miljö, väljer åtgärder, anropar vetenskapliga eller beräkningsmässiga verktyg och får återkoppling som liknar experimentresultat eller verifierarkontroller.

Undersökningen följer därför en längre loop:

1. Formulera eller förfina en hypotes.
2. Välja en åtgärd eller ett verktygsanrop.
3. Studera den evidens eller återkoppling som kommer tillbaka.
4. Identifiera fel och svagheter.
5. Reparera metoden och testa alternativ.
6. Dra en slutsats som motsvarar evidensens styrka och begränsningar.

Benchmarken sparar alltså undersökningens förlopp – inte bara ett slutresultat som råkar likna ett referenssvar. Det är särskilt relevant när den vetenskapliga frågan saknar ett etablerat facit som kan fungera som traditionell ground truth.

TRACES sex förmågor

Namnet syftar på sex dimensioner för processverifiering, ibland kallade HDS6:

• Tools – verktyg: Väljer, använder och tolkar systemet relevanta externa eller vetenskapliga verktyg korrekt?
• Repair – reparation: Kan det hitta fel och ändra sitt arbetssätt efter återkoppling?
• Alternatives – alternativ: Överväger det konkurrerande hypoteser och behåller, avfärdar eller förfinar dem av evidensbaserade skäl?
• Coherence – sammanhang: Upprätthåller det en konsekvent och sammanhängande tankelinje under hela undersökningen?
• Evidence – evidens: Är påståendena förankrade i observationer, verktygsresultat och experimentella utfall?
• Scope – räckvidd: Begränsar det sina slutsatser till vad den tillgängliga evidensen faktiskt stöder?

Tillsammans ska dimensionerna göra det möjligt att skilja en tillförlitlig undersökning från en övertygande men ogrundad gissning. De ger också granskare möjlighet att bedöma kvaliteten i processen när ett definitivt svar ännu inte finns.

Ursprung och omfattning

Apodex Discoverys ramverk utgår från att öppna upptäcktsproblem behöver flera delar på plats: en välformulerad uppgift, en verklighetsbaserad miljö, mekanismer för verifiering och loopar som låter systemet reparera sitt arbete. TRACES är benchmarkversionen av detta upplägg.

I arbetet med att hitta problem uppger Apodex att företaget kartlade 561 branscher i 16 sektorer och sammanställde 423 högvärderade verkliga problem. Den första utgåvan valde ut 20 problem för körbar utvärdering.

Det material som finns tillgängligt nämner bland annat uppgifter inom:

• design av AAV-kapsider
• analys av kliniska prövningar
• återanvändning och omformulering av läkemedel
• träning av stora språkmodeller och AI-system

Exemplen visar vilken bredd benchmarken är tänkt att ha, men det tillgängliga underlaget fastställer inte en fullständig offentlig lista över samtliga uppgifter eller alla områden i lanseringen.

Varför processbedömning blir viktigare

AI-system används eller föreslås allt oftare för att generera hypoteser, välja forskningsinriktningar, analysera experimentresultat och bidra till iterativa arbetsflöden. I sådana situationer räcker det inte att formulera sig övertygande. Systemet måste förstå vad som bör testas, tolka resultatet, kunna återhämta sig efter misstag och undvika att hävda mer än evidensen stöder.

TRACES försöker täppa till den luckan genom att behandla vetenskaplig undersökning som en interaktiv process. Ett system som når ett användbart resultat genom spårbar evidens och rimliga korrigeringar skiljer sig väsentligt från ett system som kommer fram till samma slutsats utan en hållbar väg dit.

Metoden ersätter inte mänsklig kontroll. Forskare och ämnesexperter behöver fortfarande formulera mål och begränsningar, bedöma etiska och praktiska risker, kontrollera antaganden och evidens samt avgöra om en slutsats motiverar åtgärder i verkligheten. TRACES fokus på granskbara förlopp och avgränsade påståenden är värdefullt just eftersom granskaren får mer att undersöka än ett isolerat slutpåstående.

Så kan team delta

Apodex offentliga tillkännagivande beskriver en öppen inbjudan för både lösningssystem och vetenskapliga problem.

Den som skickar in ett lösningssystem förväntas representera hela systemet som används i undersökningen – inte bara den underliggande modellen. Det omfattar bland annat orkestreringslager, verktyg, minne och styrpolicy.

Ett problemförslag behöver kunna uttryckas i en körbar och verifierbar miljö. I praktiken innebär det att beskriva vad systemet kan observera och göra, vilken återkoppling det får och hur mellanliggande eller slutliga påståenden kan kontrolleras mot tydliga kriterier för framgång.

Slutsatsen

TRACES ändrar benchmarkfrågan från ”gav AI:n rätt förväntat svar?” till ”genomförde AI:n en disciplinerad undersökning som bygger på evidens?”. Det gör testet mer relevant för vetenskaplig upptäckt än statiska facitbaserade benchmarktester.

Samtidigt finns en viktig gräns: bättre processpoäng kan förbättra utvärderingen, men de kan inte ensamma visa att en AI-genererad upptäckt är säker, användbar eller redo att tas i bruk. Mänskligt vetenskapligt omdöme är fortfarande avgörande.