Na prática, o AI TAP pretende formar uma rede de empresas capazes de avaliar sistemas usados em setores como saúde, finanças, recrutamento e serviços públicos. Também deve estabelecer uma referência prática para o que pode ser considerado um teste técnico adequado de IA.

As empresas acreditadas serão reconhecidas por sua competência em um escopo de testes definido e documentado. Elas também poderão ser conectadas a organizações que procuram avaliadores qualificados, facilitando a contratação de testes independentes antes ou durante a implantação de uma solução de IA.

É importante fazer uma distinção: a acreditação não significa que um sistema específico seja totalmente seguro ou livre de riscos. Problemas relacionados à integração, ao contexto de uso e a ameaças novas ainda podem existir. A organização que implementa a IA continuará responsável pela governança, pela aceitação dos riscos e pela adoção de medidas adicionais de proteção.

Que tipos de problemas serão investigados

Os testes poderão incluir avaliações adversariais, conhecidas como red teaming. Nelas, os avaliadores tentam explorar o sistema de forma controlada para descobrir como ele reage a entradas maliciosas ou situações inesperadas. Isso pode incluir injeção de prompt e jailbreak — tentativas de contornar as salvaguardas do modelo e induzi-lo a produzir respostas proibidas, inseguras ou fora do comportamento previsto.

O escopo de avaliação poderá abranger:

• Falhas de segurança e confiabilidade, como respostas imprecisas, informações inventadas e conteúdo prejudicial ou indesejado.
• Problemas de equidade, incluindo vieses em processos de tomada de decisão.
• Riscos de privacidade e segurança, como vazamento de dados e vulnerabilidades técnicas.
• Resistência a injeções de prompt e jailbreaks, especialmente relevante para aplicações de IA generativa e sistemas com agentes capazes de executar tarefas.

Quais são os requisitos para obter a acreditação

As candidatas serão avaliadas tanto pela capacidade técnica de testar IA quanto pela estrutura necessária para oferecer esses serviços de maneira consistente. Entre os critérios estão:

• Competência técnica: a empresa deverá demonstrar que consegue executar os serviços específicos de teste que declara oferecer, com referência a orientações como o Starter Kit for Testing LLM-Based Applications for Safety and Reliability, da IMDA.
• Governança e reputação empresarial: serão considerados o histórico relevante, a situação regular da empresa e o compromisso de manter atividade comercial em Singapura.
• Sustentabilidade financeira: a organização deverá ter condições financeiras suficientes para operar de forma sustentável.
• Preparação operacional: será necessário demonstrar capacidade operacional e disponibilidade para prestar os serviços propostos.
• Escopo de atuação preciso: o que a empresa declara fazer deverá corresponder às capacidades comprovadas durante a avaliação.

Os cinco riscos do Starter Kit da IMDA

O Starter Kit é uma orientação voluntária para testes básicos de segurança e confiabilidade em aplicações baseadas em grandes modelos de linguagem, ou LLMs. Ele destaca cinco áreas de risco:

1. Alucinações e imprecisões.
2. Vieses na tomada de decisões.
3. Conteúdo indesejado.
4. Vazamento de dados.
5. Vulnerabilidades, incluindo a exposição a prompts adversariais.

Essas diretrizes não substituem uma avaliação específica para cada produto. O sistema, seus dados, integrações e finalidade de uso podem exigir testes adicionais.

Quanto custará e por quanto tempo valerá

Segundo a AI Verify Foundation, não haverá taxas de inscrição nem de acreditação. A decisão busca reduzir as barreiras de entrada e estimular o crescimento do mercado de garantia e avaliação de IA.

A acreditação terá validade de 12 meses. Depois desse período, as empresas precisarão renová-la e demonstrar que continuam competentes, em um cenário no qual padrões técnicos e ameaças podem mudar rapidamente.

As empresas apontadas como interessadas inicialmente são Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro e Vulcan.

O que o AI TAP pode mudar no mercado

A proposta é tornar o mercado de testes externos mais consistente e confiável. Para as organizações que adotam IA, isso pode significar maior facilidade para comparar prestadores, entender exatamente o que será testado e escolher uma empresa com capacidades compatíveis com o caso de uso e o nível de risco envolvido.

O desenho do programa também favorece avaliações mais documentadas e baseadas em evidências. Ao reconhecer empresas independentes com escopo definido, o AI TAP pretende dar aos responsáveis pela implantação, às partes interessadas e aos usuários uma camada adicional de confiança — sem transformar a acreditação em uma garantia absoluta de segurança.

As evidências disponíveis não incluem declarações específicas de representantes do setor sobre ganhos de personalização, governança ou confiança. Esses possíveis benefícios, portanto, decorrem do funcionamento planejado do programa: facilitar a identificação de testadores competentes, explicitar o escopo das avaliações e ampliar o acesso a análises independentes.

Na prática, o AI TAP pretende formar uma rede de empresas capazes de avaliar sistemas usados em setores como saúde, finanças, recrutamento e serviços públicos. Também deve estabelecer uma referência prática para o que pode ser considerado um teste técnico adequado de IA.

As empresas acreditadas serão reconhecidas por sua competência em um escopo de testes definido e documentado. Elas também poderão ser conectadas a organizações que procuram avaliadores qualificados, facilitando a contratação de testes independentes antes ou durante a implantação de uma solução de IA.

É importante fazer uma distinção: a acreditação não significa que um sistema específico seja totalmente seguro ou livre de riscos. Problemas relacionados à integração, ao contexto de uso e a ameaças novas ainda podem existir. A organização que implementa a IA continuará responsável pela governança, pela aceitação dos riscos e pela adoção de medidas adicionais de proteção.

Que tipos de problemas serão investigados

Os testes poderão incluir avaliações adversariais, conhecidas como red teaming. Nelas, os avaliadores tentam explorar o sistema de forma controlada para descobrir como ele reage a entradas maliciosas ou situações inesperadas. Isso pode incluir injeção de prompt e jailbreak — tentativas de contornar as salvaguardas do modelo e induzi-lo a produzir respostas proibidas, inseguras ou fora do comportamento previsto.

O escopo de avaliação poderá abranger:

• Falhas de segurança e confiabilidade, como respostas imprecisas, informações inventadas e conteúdo prejudicial ou indesejado.
• Problemas de equidade, incluindo vieses em processos de tomada de decisão.
• Riscos de privacidade e segurança, como vazamento de dados e vulnerabilidades técnicas.
• Resistência a injeções de prompt e jailbreaks, especialmente relevante para aplicações de IA generativa e sistemas com agentes capazes de executar tarefas.

Quais são os requisitos para obter a acreditação

As candidatas serão avaliadas tanto pela capacidade técnica de testar IA quanto pela estrutura necessária para oferecer esses serviços de maneira consistente. Entre os critérios estão:

• Competência técnica: a empresa deverá demonstrar que consegue executar os serviços específicos de teste que declara oferecer, com referência a orientações como o Starter Kit for Testing LLM-Based Applications for Safety and Reliability, da IMDA.
• Governança e reputação empresarial: serão considerados o histórico relevante, a situação regular da empresa e o compromisso de manter atividade comercial em Singapura.
• Sustentabilidade financeira: a organização deverá ter condições financeiras suficientes para operar de forma sustentável.
• Preparação operacional: será necessário demonstrar capacidade operacional e disponibilidade para prestar os serviços propostos.
• Escopo de atuação preciso: o que a empresa declara fazer deverá corresponder às capacidades comprovadas durante a avaliação.

Os cinco riscos do Starter Kit da IMDA

O Starter Kit é uma orientação voluntária para testes básicos de segurança e confiabilidade em aplicações baseadas em grandes modelos de linguagem, ou LLMs. Ele destaca cinco áreas de risco:

1. Alucinações e imprecisões.
2. Vieses na tomada de decisões.
3. Conteúdo indesejado.
4. Vazamento de dados.
5. Vulnerabilidades, incluindo a exposição a prompts adversariais.

Essas diretrizes não substituem uma avaliação específica para cada produto. O sistema, seus dados, integrações e finalidade de uso podem exigir testes adicionais.

Quanto custará e por quanto tempo valerá

Segundo a AI Verify Foundation, não haverá taxas de inscrição nem de acreditação. A decisão busca reduzir as barreiras de entrada e estimular o crescimento do mercado de garantia e avaliação de IA.

A acreditação terá validade de 12 meses. Depois desse período, as empresas precisarão renová-la e demonstrar que continuam competentes, em um cenário no qual padrões técnicos e ameaças podem mudar rapidamente.

As empresas apontadas como interessadas inicialmente são Advai, AIDX, Ernst & Young, Knovel Engineering, PwC, Resaro e Vulcan.

O que o AI TAP pode mudar no mercado

A proposta é tornar o mercado de testes externos mais consistente e confiável. Para as organizações que adotam IA, isso pode significar maior facilidade para comparar prestadores, entender exatamente o que será testado e escolher uma empresa com capacidades compatíveis com o caso de uso e o nível de risco envolvido.

O desenho do programa também favorece avaliações mais documentadas e baseadas em evidências. Ao reconhecer empresas independentes com escopo definido, o AI TAP pretende dar aos responsáveis pela implantação, às partes interessadas e aos usuários uma camada adicional de confiança — sem transformar a acreditação em uma garantia absoluta de segurança.

As evidências disponíveis não incluem declarações específicas de representantes do setor sobre ganhos de personalização, governança ou confiança. Esses possíveis benefícios, portanto, decorrem do funcionamento planejado do programa: facilitar a identificação de testadores competentes, explicitar o escopo das avaliações e ampliar o acesso a análises independentes.