Pourquoi Singapour crée l’AI TAP

Le programme est porté par l’AI Verify Foundation, une organisation à but non lucratif détenue à 100 % par l’Infocomm Media Development Authority (IMDA), l’autorité singapourienne chargée du développement des technologies de l’information et des médias.

Selon la Fondation, les entreprises disposent encore de peu de repères pour distinguer les prestataires réellement qualifiés dans le domaine de l’« assurance IA », c’est-à-dire l’ensemble des méthodes utilisées pour évaluer les risques, la fiabilité et la conformité d’un système. L’offre de tests spécialisés reste également limitée.

L’AI TAP doit donc contribuer à constituer un réseau d’entreprises capables d’évaluer des systèmes utilisés dans des secteurs variés, notamment :

• la santé ;
• la finance ;
• le recrutement ;
• les services publics.

Les entreprises accréditées seront reconnues pour leurs compétences techniques et leur capacité opérationnelle dans un périmètre de tests clairement défini. Elles pourront aussi être mises en relation avec des organisations à la recherche d’évaluateurs qualifiés.

Cette reconnaissance ne signifie toutefois pas qu’un système d’IA particulier est sûr, exempt de risques ou « certifié » par Singapour. Les risques liés au contexte de déploiement, à l’intégration avec d’autres outils ou à de nouvelles menaces peuvent subsister. L’organisation qui utilise le système reste responsable de sa gouvernance, de l’acceptation des risques et des mesures de protection supplémentaires.

Quels types de failles les testeurs rechercheront-ils ?

Les prestataires pourront mener des évaluations offensives de type red teaming. Ils chercheront notamment à contourner les garde-fous d’un modèle au moyen d’injections de prompts ou de jailbreaks.

En pratique, ces tests consistent à envoyer des instructions conçues pour faire ignorer au système ses consignes de sécurité ou le pousser à produire un comportement interdit, dangereux ou imprévu.

Le périmètre des évaluations pourra notamment couvrir :

• les erreurs et les problèmes de fiabilité, notamment les réponses inexactes ou les informations fabriquées par le modèle ;
• les contenus dangereux, nuisibles ou indésirables ;
• les biais dans la prise de décision et les autres problèmes d’équité ;
• les fuites de données et les vulnérabilités de sécurité ;
• la résistance aux injections de prompts et aux jailbreaks, un enjeu particulièrement important pour les applications d’IA générative et les systèmes agentiques.

Les critères d’accréditation

Les candidates et candidats seront évalués à la fois sur leur capacité à réaliser les tests annoncés et sur la solidité de leur organisation. Les principaux critères prévus sont les suivants :

• Compétence technique : l’entreprise devra démontrer qu’elle sait fournir les services de test qu’elle revendique, notamment au regard de recommandations telles que le Starter Kit for Testing LLM-Based Applications for Safety and Reliability de l’IMDA.
• Gouvernance et réputation : elle devra présenter une expérience pertinente, être en règle et s’engager à exercer une activité à Singapour.
• Solidité financière : elle devra disposer de ressources suffisantes pour fonctionner de manière durable.
• Préparation opérationnelle : elle devra montrer qu’elle possède les moyens et l’organisation nécessaires pour fournir les services proposés.
• Périmètre déclaré : les services annoncés devront correspondre aux compétences effectivement démontrées.

Les cinq risques du Starter Kit de l’IMDA

Le Starter Kit constitue une série de recommandations volontaires pour les tests de sécurité et de fiabilité de base des applications fondées sur de grands modèles de langage, ou LLM. Il met l’accent sur cinq catégories de risques :

1. les hallucinations et les inexactitudes ;
2. les biais dans la prise de décision ;
3. les contenus indésirables ;
4. les fuites de données ;
5. les vulnérabilités, notamment face aux prompts adverses.

Ce guide doit fournir une base commune, sans imposer que chaque application fasse l’objet exactement des mêmes tests. Le niveau d’évaluation peut varier selon l’usage prévu, les données traitées et les risques propres au système.

Aucun frais de candidature, mais un renouvellement annuel

L’AI Verify Foundation indique qu’aucun frais de candidature ni d’accréditation ne sera demandé. L’objectif est de limiter les barrières à l’entrée et de favoriser le développement du marché des services d’assurance IA.

L’accréditation sera valable 12 mois. Les entreprises devront ensuite la renouveler et démontrer qu’elles maintiennent leur niveau de compétence, alors que les standards techniques et les menaces évoluent.

Plusieurs entreprises auraient déjà manifesté un intérêt précoce pour le programme : Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro et Vulcan.

Ce que l’AI TAP pourrait changer pour les acheteurs

Le bénéfice recherché est l’émergence d’un marché de tests externes plus homogène et plus crédible. Pour les organisations qui déploient de l’IA, cela pourrait faciliter la comparaison entre prestataires, clarifier le périmètre d’une mission et encourager des évaluations fondées sur des éléments documentés.

Le programme est également conçu pour que les tests soient adaptés au cas d’usage et au niveau de risque de chaque organisation, plutôt que réduits à une vérification standardisée. En donnant davantage de visibilité sur les compétences et le champ d’intervention des prestataires, l’accréditation doit fournir un niveau supplémentaire d’assurance aux entreprises, aux parties prenantes et aux utilisateurs finaux.

Les éléments disponibles ne rapportent pas de déclarations précises de représentants du secteur établissant directement que l’AI TAP améliorera la personnalisation, la gouvernance ou la confiance dans la sécurité de l’IA. Ces effets correspondent plutôt aux résultats attendus de la conception annoncée du programme : mieux identifier les testeurs compétents, expliciter les méthodes utilisées et compléter les contrôles internes par une évaluation indépendante.

Pourquoi Singapour crée l’AI TAP

Le programme est porté par l’AI Verify Foundation, une organisation à but non lucratif détenue à 100 % par l’Infocomm Media Development Authority (IMDA), l’autorité singapourienne chargée du développement des technologies de l’information et des médias.

Selon la Fondation, les entreprises disposent encore de peu de repères pour distinguer les prestataires réellement qualifiés dans le domaine de l’« assurance IA », c’est-à-dire l’ensemble des méthodes utilisées pour évaluer les risques, la fiabilité et la conformité d’un système. L’offre de tests spécialisés reste également limitée.

L’AI TAP doit donc contribuer à constituer un réseau d’entreprises capables d’évaluer des systèmes utilisés dans des secteurs variés, notamment :

• la santé ;
• la finance ;
• le recrutement ;
• les services publics.

Les entreprises accréditées seront reconnues pour leurs compétences techniques et leur capacité opérationnelle dans un périmètre de tests clairement défini. Elles pourront aussi être mises en relation avec des organisations à la recherche d’évaluateurs qualifiés.

Cette reconnaissance ne signifie toutefois pas qu’un système d’IA particulier est sûr, exempt de risques ou « certifié » par Singapour. Les risques liés au contexte de déploiement, à l’intégration avec d’autres outils ou à de nouvelles menaces peuvent subsister. L’organisation qui utilise le système reste responsable de sa gouvernance, de l’acceptation des risques et des mesures de protection supplémentaires.

Quels types de failles les testeurs rechercheront-ils ?

Les prestataires pourront mener des évaluations offensives de type red teaming. Ils chercheront notamment à contourner les garde-fous d’un modèle au moyen d’injections de prompts ou de jailbreaks.

En pratique, ces tests consistent à envoyer des instructions conçues pour faire ignorer au système ses consignes de sécurité ou le pousser à produire un comportement interdit, dangereux ou imprévu.

Le périmètre des évaluations pourra notamment couvrir :

• les erreurs et les problèmes de fiabilité, notamment les réponses inexactes ou les informations fabriquées par le modèle ;
• les contenus dangereux, nuisibles ou indésirables ;
• les biais dans la prise de décision et les autres problèmes d’équité ;
• les fuites de données et les vulnérabilités de sécurité ;
• la résistance aux injections de prompts et aux jailbreaks, un enjeu particulièrement important pour les applications d’IA générative et les systèmes agentiques.

Les critères d’accréditation

Les candidates et candidats seront évalués à la fois sur leur capacité à réaliser les tests annoncés et sur la solidité de leur organisation. Les principaux critères prévus sont les suivants :

• Compétence technique : l’entreprise devra démontrer qu’elle sait fournir les services de test qu’elle revendique, notamment au regard de recommandations telles que le Starter Kit for Testing LLM-Based Applications for Safety and Reliability de l’IMDA.
• Gouvernance et réputation : elle devra présenter une expérience pertinente, être en règle et s’engager à exercer une activité à Singapour.
• Solidité financière : elle devra disposer de ressources suffisantes pour fonctionner de manière durable.
• Préparation opérationnelle : elle devra montrer qu’elle possède les moyens et l’organisation nécessaires pour fournir les services proposés.
• Périmètre déclaré : les services annoncés devront correspondre aux compétences effectivement démontrées.

Les cinq risques du Starter Kit de l’IMDA

Le Starter Kit constitue une série de recommandations volontaires pour les tests de sécurité et de fiabilité de base des applications fondées sur de grands modèles de langage, ou LLM. Il met l’accent sur cinq catégories de risques :

1. les hallucinations et les inexactitudes ;
2. les biais dans la prise de décision ;
3. les contenus indésirables ;
4. les fuites de données ;
5. les vulnérabilités, notamment face aux prompts adverses.

Ce guide doit fournir une base commune, sans imposer que chaque application fasse l’objet exactement des mêmes tests. Le niveau d’évaluation peut varier selon l’usage prévu, les données traitées et les risques propres au système.

Aucun frais de candidature, mais un renouvellement annuel

L’AI Verify Foundation indique qu’aucun frais de candidature ni d’accréditation ne sera demandé. L’objectif est de limiter les barrières à l’entrée et de favoriser le développement du marché des services d’assurance IA.

L’accréditation sera valable 12 mois. Les entreprises devront ensuite la renouveler et démontrer qu’elles maintiennent leur niveau de compétence, alors que les standards techniques et les menaces évoluent.

Plusieurs entreprises auraient déjà manifesté un intérêt précoce pour le programme : Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro et Vulcan.

Ce que l’AI TAP pourrait changer pour les acheteurs

Le bénéfice recherché est l’émergence d’un marché de tests externes plus homogène et plus crédible. Pour les organisations qui déploient de l’IA, cela pourrait faciliter la comparaison entre prestataires, clarifier le périmètre d’une mission et encourager des évaluations fondées sur des éléments documentés.

Le programme est également conçu pour que les tests soient adaptés au cas d’usage et au niveau de risque de chaque organisation, plutôt que réduits à une vérification standardisée. En donnant davantage de visibilité sur les compétences et le champ d’intervention des prestataires, l’accréditation doit fournir un niveau supplémentaire d’assurance aux entreprises, aux parties prenantes et aux utilisateurs finaux.

Les éléments disponibles ne rapportent pas de déclarations précises de représentants du secteur établissant directement que l’AI TAP améliorera la personnalisation, la gouvernance ou la confiance dans la sécurité de l’IA. Ces effets correspondent plutôt aux résultats attendus de la conception annoncée du programme : mieux identifier les testeurs compétents, expliciter les méthodes utilisées et compléter les contrôles internes par une évaluation indépendante.