TRACES testuje cestu AI k objevu, ne pouze její finální odpověď

Běžné benchmarky umělé inteligence většinou položí otázku a kontrolují, zda výstup odpovídá známé správné odpovědi. TRACES od společnosti Apodex jde jinou cestou: kompletní AI systém – takzvaný „heavy-duty solver“ – umístí do spustitelného a stavového prostředí a sleduje, jak postupuje při zkoumání otevřeného vědeckého problému. Systém může používat nástroje, získávat zpětnou vazbu, opravovat neúspěšné pokusy a docházet k závěrům, které dosud nejsou definitivně potvrzené.

Rozdíl není jen akademický. Přesvědčivá finální odpověď může být náhodně správná, nedostatečně podložená nebo prakticky nereprodukovatelná. TRACES proto hodnotí nejen výsledek, ale i samotný proces, který k němu vedl.

Co TRACES měří

TRACES je součástí rámce Apodex Discovery, jenž má podporovat a vyhodnocovat takzvanou „discoverative AI“, tedy AI zaměřenou na formulování potenciálně nových závěrů, nikoli pouze na vyhledávání či přeformulování známých informací. Benchmark využívá spustitelná prostředí, jednotlivé epizody, úlohy a skryté ověřovače, aby bylo možné otevřené vědecké zkoumání systematicky testovat.

Hodnoceným objektem přitom není samotný základní model. Posuzuje se celý řešitelský systém: model spolu s orchestracém neboli řídicí vrstvou, nástroji, pamětí a pravidly, podle nichž řídí své kroky.

V čem se liší od testů s odpovědním klíčem

Klasické benchmarky obvykle předem určují otázku, vstupní data i očekávanou odpověď. TRACES naproti tomu vychází z reálného cíle, který musí systém nejprve převést do konkrétního a zvládnutelného výzkumného postupu. Poté pracuje s prostředím, volí akce, spouští vědecké či výpočetní nástroje a dostává zpětnou vazbu podobnou výsledku experimentu nebo ověření.

Vyhodnocení tak probíhá v delší smyčce:

1. Formulovat nebo zpřesnit hypotézu.
2. Zvolit další krok či volání nástroje.
3. Vyhodnotit získané důkazy a zpětnou vazbu.
4. Odhalit chyby nebo slabá místa.
5. Opravit postup a otestovat alternativy.
6. Vyvodit závěr odpovídající síle i omezením dostupných důkazů.

Benchmark proto zaznamenává celou trajektorii zkoumání, ne jen to, zda se závěrečný výstup podobá referenční odpovědi. To je důležité zejména u vědeckých otázek, na něž zatím neexistuje ustálená pravdivá odpověď, s níž by šel výsledek jednoduše porovnat.

Šest schopností podle zkratky TRACES

Zkratka označuje šest rozměrů ověřování procesu, někdy shrnovaných jako HDS6:

• Tools (nástroje): Dokáže systém vybrat vhodné externí či vědecké nástroje, správně je použít a interpretovat jejich výstupy?
• Repair (oprava): Umí po obdržení zpětné vazby najít vlastní selhání a upravit postup?
• Alternatives (alternativy): Zvažuje konkurenční hypotézy a dokáže je na základě důkazů ponechat, odmítnout nebo dále zpřesnit?
• Coherence (soudržnost): Udržuje po celou dobu konzistentní a propojenou linii uvažování?
• Evidence (důkazy): Opírá svá tvrzení o pozorování, výstupy nástrojů a výsledky experimentů?
• Scope (rozsah): Omezuje závěry na to, co dostupné důkazy skutečně podporují?

Cílem je odlišit spolehlivé vědecké zkoumání od sebejistého, ale nepodloženého odhadu. Tyto rozměry zároveň umožňují hodnotit kvalitu postupu i tehdy, když zatím není k dispozici definitivní odpověď.

Odkud benchmark pochází a jak je velký

Rámec Apodex Discovery vychází z předpokladu, že otevřené vědecké objevy potřebují několik základních prvků: dobře formulovaný problém, prostředí odpovídající realitě, mechanismy ověřování a smyčky umožňující opravu postupu. TRACES je praktickou benchmarkovou podobou tohoto přístupu.

Apodex uvádí, že při hledání vhodných problémů zkoumal 561 odvětví v 16 sektorech a sestavil seznam 423 vysoce hodnotných problémů z reálného světa. Do prvního vydání benchmarku vybral 20 problémů.

V dostupných materiálech jsou uvedeny například oblasti:

• návrhu kapsid AAV, tedy adeno-asociovaných virových vektorů,
• analýzy klinických studií,
• nového využití a přeformulování léčiv,
• trénování a systémů velkých jazykových modelů.

Z poskytnutých podkladů však nelze odvodit úplný veřejný seznam všech úloh ani celkový rozsah jednotlivých domén v daném vydání.

Proč na hodnocení procesu záleží

Umělá inteligence se stále častěji používá – nebo se o jejím použití uvažuje – při formulování hypotéz, výběru směrů výzkumu, analýze experimentálních výsledků a návrhu opakovaných pracovních postupů. V takových situacích nestačí plynulý text. Systém musí vědět, co testovat, správně vyhodnotit výsledek, reagovat na chyby a nepřisuzovat svým důkazům větší váhu, než si zaslouží.

TRACES proto chápe vědecké zkoumání jako interaktivní proces. Systém, který k užitečnému výsledku dospěje prostřednictvím dohledatelných důkazů a smysluplných oprav, se výrazně liší od systému, jenž vysloví podobný závěr bez spolehlivé cesty, jak jej ověřit.

Tento přístup ale nenahrazuje lidský dohled. Výzkumníci a odborníci z daných oborů musí dál stanovovat cíle a omezení, posuzovat etická a praktická rizika, ověřovat předpoklady i důkazy a rozhodovat, zda závěr opravňuje ke skutečnému použití. Důraz TRACES na kontrolovatelnou trajektorii a omezené, přesně vymezené závěry je cenný právě proto, že hodnotitelům nabízí víc než izolované tvrzení bez možnosti auditu.

Jak se mohou týmy zapojit

Veřejné oznámení Apodexu popisuje otevřenou výzvu pro řešitelské systémy i vědecké problémy.

Přihlášený řešitelský systém by měl představovat celý nástroj používaný při zkoumání úlohy, nikoli jen základní model. Zahrnuje tedy orchestracé neboli řídicí prostředí, nástroje, paměť a kontrolní pravidla.

Návrh problému by zase musel být převeditelný do spustitelného a ověřitelného prostředí. V praxi to znamená popsat, co může systém pozorovat a dělat, jakou zpětnou vazbu dostane a jak lze průběžná či závěrečná tvrzení porovnat s jasně stanovenými kritérii úspěchu.

Praktický závěr

TRACES mění základní otázku benchmarku z „Dokázala AI uvést očekávanou odpověď?“ na „Vedla AI disciplinované zkoumání opřené o důkazy?“ Díky tomu se více přibližuje skutečné vědecké práci než statické testy s odpovědním klíčem.

Zároveň má tento přístup jasnou hranici: lepší skóre za proces samo o sobě nedokazuje, že objev vytvořený AI je bezpečný, užitečný nebo připravený k nasazení. Lidský vědecký úsudek proto zůstává nezbytnou součástí celého procesu.