L’unità sottoposta al test non è soltanto il modello di base. È il sistema completo impiegato nell’indagine: modello, infrastruttura di orchestrazione, strumenti, memoria e politiche di controllo.

Dalle risposte a scelta obbligata a un’indagine interattiva

Nei benchmark tradizionali, la domanda, gli input disponibili e la risposta attesa sono generalmente definiti in anticipo. TRACES parte invece da un obiettivo del mondo reale che deve essere trasformato in un’indagine concreta e gestibile.

Il sistema interagisce con l’ambiente, compie azioni, richiama strumenti scientifici o computazionali e riceve riscontri simili a quelli di un esperimento o di un verificatore. Il ciclo di valutazione può quindi seguire diversi passaggi:

1. formulare o precisare un’ipotesi;
2. scegliere un’azione o uno strumento;
3. osservare le prove o il feedback ottenuto;
4. individuare errori e punti deboli;
5. correggere il metodo e mettere alla prova alternative;
6. formulare una conclusione proporzionata alla solidità e ai limiti delle prove.

Il benchmark registra così la traiettoria dell’indagine, non soltanto la somiglianza dell’output finale con una risposta di riferimento. È un’impostazione particolarmente rilevante quando la domanda scientifica non ha ancora una soluzione definitiva che possa fungere da “verità a terra” convenzionale.

Le sei capacità valutate

Il nome TRACES richiama sei dimensioni della verifica del processo, indicate anche come HDS6:

• Tools — Strumenti: il sistema seleziona, utilizza e interpreta correttamente gli strumenti scientifici o computazionali pertinenti?
• Repair — Correzione: sa individuare i propri fallimenti e modificare il lavoro dopo aver ricevuto un riscontro?
• Alternatives — Alternative: considera ipotesi concorrenti e le conserva, respinge o perfeziona sulla base delle prove?
• Coherence — Coerenza: mantiene un ragionamento consistente e collegato lungo tutta l’indagine?
• Evidence — Evidenze: fonda le proprie affermazioni su osservazioni, risultati degli strumenti e dati sperimentali?
• Scope — Portata: limita le conclusioni a ciò che le prove disponibili consentono effettivamente di sostenere?

Nel loro insieme, questi criteri dovrebbero aiutare a distinguere un’indagine affidabile da un’ipotesi espressa con sicurezza ma priva di adeguato sostegno. Permettono inoltre di valutare la qualità del processo anche quando non è ancora disponibile una risposta definitiva.

Origini e dimensioni del progetto

Il framework Apodex Discovery sostiene che la valutazione della scoperta aperta richieda almeno quattro elementi: un problema ben formulato, un ambiente ancorato alla realtà, meccanismi di verifica e cicli che consentano al sistema di correggere il proprio lavoro. TRACES è l’implementazione di benchmark di questo approccio.

Per individuare i problemi da includere, Apodex afferma di aver analizzato 561 industrie in 16 settori e raccolto 423 problemi reali ad alto valore. La prima pubblicazione ne ha selezionati 20 per la valutazione in ambienti eseguibili.

I materiali disponibili citano esempi relativi a:

• progettazione di capside AAV, cioè particelle utilizzate come vettori nella terapia genica;
• analisi di studi clinici;
• riposizionamento e riformulazione di farmaci;
• addestramento e sistemi basati su grandi modelli linguistici, o LLM.

Questi esempi mostrano l’ampiezza prevista dal benchmark, ma le fonti disponibili non permettono di ricostruire un inventario pubblico completo di tutte le attività o di tutti i domini inclusi nella versione iniziale.

Perché valutare il processo è importante

I sistemi autonomi di IA vengono sempre più spesso proposti per generare ipotesi, scegliere direzioni di ricerca, analizzare risultati sperimentali e contribuire alla progettazione di flussi di lavoro iterativi. In questi contesti, la scioltezza linguistica non basta. Un sistema deve capire che cosa testare, interpretare il risultato, recuperare dagli errori ed evitare di attribuire alle prove un significato che non hanno.

TRACES affronta il problema trattando la ricerca scientifica come un processo interattivo. Un sistema che raggiunge un risultato utile attraverso prove tracciabili e revisioni appropriate è sostanzialmente diverso da uno che produce una conclusione simile senza un percorso verificabile.

Questo approccio non elimina la supervisione umana. Ricercatori ed esperti di settore devono ancora definire obiettivi e vincoli, valutare i rischi etici e pratici, verificare ipotesi ed evidenze e decidere se una conclusione sia abbastanza solida da giustificare un’azione nel mondo reale. L’attenzione di TRACES alle traiettorie ispezionabili e alle affermazioni circoscritte è utile proprio perché offre ai revisori più elementi di una singola dichiarazione finale difficile da controllare.

Come partecipare

L’annuncio pubblico di Apodex descrive una call aperta sia ai sistemi solver sia ai problemi scientifici.

Una candidatura come solver dovrebbe rappresentare l’intero sistema utilizzato per affrontare un’attività, non soltanto il modello sottostante. Sono quindi inclusi il livello di orchestrazione, gli strumenti, la memoria e la politica di controllo che guidano l’indagine.

Una proposta di problema, invece, dovrebbe poter essere tradotta in un ambiente eseguibile e verificabile. In concreto, occorre definire che cosa il sistema può osservare e fare, quali riscontri riceve e come controllare le affermazioni intermedie o finali attraverso criteri di successo espliciti.

Il punto chiave

TRACES sposta la domanda del benchmark da “l’IA ha fornito la risposta attesa?” a “l’IA ha condotto un’indagine disciplinata e fondata sulle evidenze?”. Questo lo rende più adatto a valutare la scoperta scientifica rispetto ai test statici basati su una soluzione predefinita.

Resta però un limite essenziale: un buon punteggio sul processo non dimostra da solo che una scoperta generata dall’IA sia sicura, utile o pronta per essere applicata. Il giudizio scientifico umano rimane indispensabile.

L’unità sottoposta al test non è soltanto il modello di base. È il sistema completo impiegato nell’indagine: modello, infrastruttura di orchestrazione, strumenti, memoria e politiche di controllo.

Dalle risposte a scelta obbligata a un’indagine interattiva

Nei benchmark tradizionali, la domanda, gli input disponibili e la risposta attesa sono generalmente definiti in anticipo. TRACES parte invece da un obiettivo del mondo reale che deve essere trasformato in un’indagine concreta e gestibile.

Il sistema interagisce con l’ambiente, compie azioni, richiama strumenti scientifici o computazionali e riceve riscontri simili a quelli di un esperimento o di un verificatore. Il ciclo di valutazione può quindi seguire diversi passaggi:

1. formulare o precisare un’ipotesi;
2. scegliere un’azione o uno strumento;
3. osservare le prove o il feedback ottenuto;
4. individuare errori e punti deboli;
5. correggere il metodo e mettere alla prova alternative;
6. formulare una conclusione proporzionata alla solidità e ai limiti delle prove.

Il benchmark registra così la traiettoria dell’indagine, non soltanto la somiglianza dell’output finale con una risposta di riferimento. È un’impostazione particolarmente rilevante quando la domanda scientifica non ha ancora una soluzione definitiva che possa fungere da “verità a terra” convenzionale.

Le sei capacità valutate

Il nome TRACES richiama sei dimensioni della verifica del processo, indicate anche come HDS6:

• Tools — Strumenti: il sistema seleziona, utilizza e interpreta correttamente gli strumenti scientifici o computazionali pertinenti?
• Repair — Correzione: sa individuare i propri fallimenti e modificare il lavoro dopo aver ricevuto un riscontro?
• Alternatives — Alternative: considera ipotesi concorrenti e le conserva, respinge o perfeziona sulla base delle prove?
• Coherence — Coerenza: mantiene un ragionamento consistente e collegato lungo tutta l’indagine?
• Evidence — Evidenze: fonda le proprie affermazioni su osservazioni, risultati degli strumenti e dati sperimentali?
• Scope — Portata: limita le conclusioni a ciò che le prove disponibili consentono effettivamente di sostenere?

Nel loro insieme, questi criteri dovrebbero aiutare a distinguere un’indagine affidabile da un’ipotesi espressa con sicurezza ma priva di adeguato sostegno. Permettono inoltre di valutare la qualità del processo anche quando non è ancora disponibile una risposta definitiva.

Origini e dimensioni del progetto

Il framework Apodex Discovery sostiene che la valutazione della scoperta aperta richieda almeno quattro elementi: un problema ben formulato, un ambiente ancorato alla realtà, meccanismi di verifica e cicli che consentano al sistema di correggere il proprio lavoro. TRACES è l’implementazione di benchmark di questo approccio.

Per individuare i problemi da includere, Apodex afferma di aver analizzato 561 industrie in 16 settori e raccolto 423 problemi reali ad alto valore. La prima pubblicazione ne ha selezionati 20 per la valutazione in ambienti eseguibili.

I materiali disponibili citano esempi relativi a:

• progettazione di capside AAV, cioè particelle utilizzate come vettori nella terapia genica;
• analisi di studi clinici;
• riposizionamento e riformulazione di farmaci;
• addestramento e sistemi basati su grandi modelli linguistici, o LLM.

Questi esempi mostrano l’ampiezza prevista dal benchmark, ma le fonti disponibili non permettono di ricostruire un inventario pubblico completo di tutte le attività o di tutti i domini inclusi nella versione iniziale.

Perché valutare il processo è importante

I sistemi autonomi di IA vengono sempre più spesso proposti per generare ipotesi, scegliere direzioni di ricerca, analizzare risultati sperimentali e contribuire alla progettazione di flussi di lavoro iterativi. In questi contesti, la scioltezza linguistica non basta. Un sistema deve capire che cosa testare, interpretare il risultato, recuperare dagli errori ed evitare di attribuire alle prove un significato che non hanno.

TRACES affronta il problema trattando la ricerca scientifica come un processo interattivo. Un sistema che raggiunge un risultato utile attraverso prove tracciabili e revisioni appropriate è sostanzialmente diverso da uno che produce una conclusione simile senza un percorso verificabile.

Questo approccio non elimina la supervisione umana. Ricercatori ed esperti di settore devono ancora definire obiettivi e vincoli, valutare i rischi etici e pratici, verificare ipotesi ed evidenze e decidere se una conclusione sia abbastanza solida da giustificare un’azione nel mondo reale. L’attenzione di TRACES alle traiettorie ispezionabili e alle affermazioni circoscritte è utile proprio perché offre ai revisori più elementi di una singola dichiarazione finale difficile da controllare.

Come partecipare

L’annuncio pubblico di Apodex descrive una call aperta sia ai sistemi solver sia ai problemi scientifici.

Una candidatura come solver dovrebbe rappresentare l’intero sistema utilizzato per affrontare un’attività, non soltanto il modello sottostante. Sono quindi inclusi il livello di orchestrazione, gli strumenti, la memoria e la politica di controllo che guidano l’indagine.

Una proposta di problema, invece, dovrebbe poter essere tradotta in un ambiente eseguibile e verificabile. In concreto, occorre definire che cosa il sistema può osservare e fare, quali riscontri riceve e come controllare le affermazioni intermedie o finali attraverso criteri di successo espliciti.

Il punto chiave

TRACES sposta la domanda del benchmark da “l’IA ha fornito la risposta attesa?” a “l’IA ha condotto un’indagine disciplinata e fondata sulle evidenze?”. Questo lo rende più adatto a valutare la scoperta scientifica rispetto ai test statici basati su una soluzione predefinita.

Resta però un limite essenziale: un buon punteggio sul processo non dimostra da solo che una scoperta generata dall’IA sia sicura, utile o pronta per essere applicata. Il giudizio scientifico umano rimane indispensabile.