L’obiettivo è affrontare un problema pratico: le aziende che vogliono controllare un modello o un’applicazione di IA spesso faticano a capire quali fornitori di test abbiano davvero le competenze necessarie. I servizi specializzati di assurance, cioè di verifica tecnica e gestione dei rischi dell’IA, sono ancora relativamente rari.

AI TAP dovrebbe quindi contribuire a creare una rete di società qualificate capaci di valutare sistemi utilizzati in settori come:

• sanità;
• finanza;
• selezione e assunzione del personale;
• servizi pubblici.

Le aziende accreditate saranno riconosciute per le competenze dimostrate entro un ambito di test chiaramente definito. Potranno inoltre essere messe in contatto con organizzazioni alla ricerca di tester qualificati. L’intento è rendere più semplice la scelta di un fornitore indipendente e aumentare la fiducia di imprese, portatori di interesse e utenti finali.

Che cosa testeranno queste aziende

I fornitori potranno eseguire valutazioni avversariali di tipo red team: proveranno cioè ad attaccare il sistema in modo controllato per far emergere i suoi punti deboli.

Tra le tecniche rientrano i tentativi di prompt injection, in cui istruzioni manipolate cercano di alterare il comportamento del modello, e i jailbreak, progettati per aggirare i meccanismi di sicurezza e indurre l’IA a produrre contenuti vietati o comunque pericolosi.

L’ambito dei test potrà includere:

• errori di sicurezza e affidabilità, come risposte inesatte o informazioni inventate;
• contenuti dannosi o indesiderati;
• distorsioni e discriminazioni nei processi decisionali;
• problemi di privacy e sicurezza, compresa la divulgazione involontaria di dati;
• vulnerabilità agli attacchi basati su prompt, particolarmente rilevanti per le applicazioni generative e per i sistemi di IA dotati di capacità autonome.

I requisiti per ottenere l’accreditamento

La valutazione non riguarderà soltanto la capacità di eseguire un singolo test. Le società dovranno dimostrare anche di possedere una struttura organizzativa adeguata e sostenibile.

I criteri previsti comprendono:

• Competenza tecnica: il fornitore dovrà dimostrare di saper svolgere i servizi di test specifici che dichiara di offrire. La valutazione potrà basarsi anche sullo Starter Kit for Testing LLM-Based Applications for Safety and Reliability dell’IMDA.
• Governance e affidabilità aziendale: saranno considerati il percorso professionale, la reputazione e l’impegno a svolgere attività commerciali a Singapore.
• Solidità finanziaria: l’azienda dovrà avere risorse sufficienti per operare in modo sostenibile.
• Preparazione operativa: dovrà dimostrare di disporre della capacità organizzativa necessaria a fornire i servizi proposti.
• Coerenza dell’offerta: l’ambito di attività dichiarato dovrà corrispondere alle competenze effettivamente dimostrate.

I cinque rischi indicati dallo Starter Kit dell’IMDA

Lo Starter Kit è una guida volontaria pensata per fornire una base comune ai test di sicurezza e affidabilità delle applicazioni basate su LLM, cioè modelli linguistici di grandi dimensioni. Identifica cinque aree di rischio principali:

1. allucinazioni e inesattezze;
2. bias nei processi decisionali;
3. contenuti indesiderati;
4. fuga o divulgazione di dati;
5. vulnerabilità, comprese quelle legate a prompt avversariali.

La guida non costituisce, da sola, una certificazione di sicurezza. Serve piuttosto a definire un punto di partenza per identificare i rischi rilevanti, stabilire quanto approfonditi debbano essere i controlli e svolgere test strutturati.

Nessun costo per le domande, accreditamento valido un anno

Secondo la AI Verify Foundation, non saranno applicate né tariffe di candidatura né costi di accreditamento. La scelta punta a ridurre le barriere di ingresso e a favorire la crescita del mercato dei servizi di assurance sull’IA.

L’accreditamento avrà una durata di 12 mesi. Al momento del rinnovo, le società dovranno dimostrare di mantenere le proprie competenze, così da tenere conto dell’evoluzione degli standard e delle nuove minacce.

Tra le aziende che hanno mostrato un interesse iniziale figurano Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro e Vulcan.

Che cosa cambia per le aziende che adottano l’IA

Il vantaggio atteso è la creazione di un mercato dei test esterni più uniforme e credibile. Le organizzazioni dovrebbero poter contare su:

• criteri più chiari per valutare la competenza dei tester;
• verifiche documentate e basate su evidenze;
• ambiti di test esplicitamente definiti;
• valutazioni adattate al caso d’uso e al profilo di rischio della singola applicazione.

L’accreditamento, tuttavia, non significa che il sistema di IA testato sia privo di rischi. Possono rimanere problemi legati alla specifica implementazione, all’integrazione con altri strumenti o a minacce emergenti. La responsabilità per la governance, l’accettazione del rischio e l’adozione di ulteriori misure di mitigazione resta all’organizzazione che implementa il sistema.

Le evidenze disponibili non riportano dichiarazioni specifiche di rappresentanti del settore su personalizzazione, governance o fiducia. Il disegno del programma, però, è orientato a questi risultati: aiutare gli acquirenti a individuare tester competenti, rendere trasparente ciò che viene verificato e offrire una valutazione indipendente aggiuntiva prima o durante l’adozione dell’IA.

L’obiettivo è affrontare un problema pratico: le aziende che vogliono controllare un modello o un’applicazione di IA spesso faticano a capire quali fornitori di test abbiano davvero le competenze necessarie. I servizi specializzati di assurance, cioè di verifica tecnica e gestione dei rischi dell’IA, sono ancora relativamente rari.

AI TAP dovrebbe quindi contribuire a creare una rete di società qualificate capaci di valutare sistemi utilizzati in settori come:

• sanità;
• finanza;
• selezione e assunzione del personale;
• servizi pubblici.

Le aziende accreditate saranno riconosciute per le competenze dimostrate entro un ambito di test chiaramente definito. Potranno inoltre essere messe in contatto con organizzazioni alla ricerca di tester qualificati. L’intento è rendere più semplice la scelta di un fornitore indipendente e aumentare la fiducia di imprese, portatori di interesse e utenti finali.

Che cosa testeranno queste aziende

I fornitori potranno eseguire valutazioni avversariali di tipo red team: proveranno cioè ad attaccare il sistema in modo controllato per far emergere i suoi punti deboli.

Tra le tecniche rientrano i tentativi di prompt injection, in cui istruzioni manipolate cercano di alterare il comportamento del modello, e i jailbreak, progettati per aggirare i meccanismi di sicurezza e indurre l’IA a produrre contenuti vietati o comunque pericolosi.

L’ambito dei test potrà includere:

• errori di sicurezza e affidabilità, come risposte inesatte o informazioni inventate;
• contenuti dannosi o indesiderati;
• distorsioni e discriminazioni nei processi decisionali;
• problemi di privacy e sicurezza, compresa la divulgazione involontaria di dati;
• vulnerabilità agli attacchi basati su prompt, particolarmente rilevanti per le applicazioni generative e per i sistemi di IA dotati di capacità autonome.

I requisiti per ottenere l’accreditamento

La valutazione non riguarderà soltanto la capacità di eseguire un singolo test. Le società dovranno dimostrare anche di possedere una struttura organizzativa adeguata e sostenibile.

I criteri previsti comprendono:

• Competenza tecnica: il fornitore dovrà dimostrare di saper svolgere i servizi di test specifici che dichiara di offrire. La valutazione potrà basarsi anche sullo Starter Kit for Testing LLM-Based Applications for Safety and Reliability dell’IMDA.
• Governance e affidabilità aziendale: saranno considerati il percorso professionale, la reputazione e l’impegno a svolgere attività commerciali a Singapore.
• Solidità finanziaria: l’azienda dovrà avere risorse sufficienti per operare in modo sostenibile.
• Preparazione operativa: dovrà dimostrare di disporre della capacità organizzativa necessaria a fornire i servizi proposti.
• Coerenza dell’offerta: l’ambito di attività dichiarato dovrà corrispondere alle competenze effettivamente dimostrate.

I cinque rischi indicati dallo Starter Kit dell’IMDA

Lo Starter Kit è una guida volontaria pensata per fornire una base comune ai test di sicurezza e affidabilità delle applicazioni basate su LLM, cioè modelli linguistici di grandi dimensioni. Identifica cinque aree di rischio principali:

1. allucinazioni e inesattezze;
2. bias nei processi decisionali;
3. contenuti indesiderati;
4. fuga o divulgazione di dati;
5. vulnerabilità, comprese quelle legate a prompt avversariali.

La guida non costituisce, da sola, una certificazione di sicurezza. Serve piuttosto a definire un punto di partenza per identificare i rischi rilevanti, stabilire quanto approfonditi debbano essere i controlli e svolgere test strutturati.

Nessun costo per le domande, accreditamento valido un anno

Secondo la AI Verify Foundation, non saranno applicate né tariffe di candidatura né costi di accreditamento. La scelta punta a ridurre le barriere di ingresso e a favorire la crescita del mercato dei servizi di assurance sull’IA.

L’accreditamento avrà una durata di 12 mesi. Al momento del rinnovo, le società dovranno dimostrare di mantenere le proprie competenze, così da tenere conto dell’evoluzione degli standard e delle nuove minacce.

Tra le aziende che hanno mostrato un interesse iniziale figurano Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro e Vulcan.

Che cosa cambia per le aziende che adottano l’IA

Il vantaggio atteso è la creazione di un mercato dei test esterni più uniforme e credibile. Le organizzazioni dovrebbero poter contare su:

• criteri più chiari per valutare la competenza dei tester;
• verifiche documentate e basate su evidenze;
• ambiti di test esplicitamente definiti;
• valutazioni adattate al caso d’uso e al profilo di rischio della singola applicazione.

L’accreditamento, tuttavia, non significa che il sistema di IA testato sia privo di rischi. Possono rimanere problemi legati alla specifica implementazione, all’integrazione con altri strumenti o a minacce emergenti. La responsabilità per la governance, l’accettazione del rischio e l’adozione di ulteriori misure di mitigazione resta all’organizzazione che implementa il sistema.

Le evidenze disponibili non riportano dichiarazioni specifiche di rappresentanti del settore su personalizzazione, governance o fiducia. Il disegno del programma, però, è orientato a questi risultati: aiutare gli acquirenti a individuare tester competenti, rendere trasparente ciò che viene verificato e offrire una valutazione indipendente aggiuntiva prima o durante l’adozione dell’IA.