AI TAP 的目標包括：

• 建立一批可信、具能力的 AI 測試服務商；
• 為「良好 AI 保證測試」建立較實用的基準；
• 協助企業在採用 AI 前，找出適合其應用場景及風險範圍的外部測試機構；
• 支援醫療、金融、招聘及公共服務等不同產業進行 AI 評估。

獲認證機構會按照一個已界定並記錄在案的測試範圍獲得認可，並可能與尋找合資格測試服務商的企業對接。這項安排旨在提升部署 AI 的機構、相關持份者及最終使用者對測試結果和測試機構的信心。

不過，AI TAP 認證並不等於某個 AI 系統已獲證明完全安全，亦不代表系統不存在風險。實際部署環境、系統整合方式及新出現的威脅，仍可能帶來額外問題。最終，部署 AI 的機構仍須自行負責治理、風險承擔及採取額外緩解措施。

測試機構會檢查哪些問題？

獲委託的測試機構可能進行具對抗性的「紅隊測試」（red-team testing），即模擬攻擊者嘗試找出系統弱點。其中包括：

• 提示注入（prompt injection）：在輸入內容或相關資料中加入惡意指令，試圖令 AI 偏離原定指示；
• 越獄（jailbreak）：嘗試繞過模型的安全防護，使系統產生違反政策或其他不安全的回應。

測試範圍可涵蓋以下風險：

• 安全性及可靠性失效：例如錯誤、虛構或不準確的輸出，以及有害或不適當內容；
• 公平性問題：例如決策過程出現偏見；
• 私隱及保安問題：例如資料外洩和系統漏洞；
• 抵禦提示注入及越獄的能力：對生成式 AI 及具代理能力的 AI 應用尤其重要。

申請認證要符合哪些條件？

AI TAP 不只看測試技術，也會評估申請機構的整體營運能力。主要要求包括：

• 技術能力：申請機構須證明自己確實能提供所申報的特定測試服務，評估時可參考 IMDA 的《基於大型語言模型應用程式安全性及可靠性測試入門套件》（Starter Kit for Testing LLM-Based Applications for Safety and Reliability）。
• 治理及商業信譽：具備相關業績記錄、良好信譽，並承諾在新加坡進行商業活動。
• 財務可持續性：具備足夠財務能力，維持服務穩定運作。
• 營運準備：擁有足夠的人員、流程及營運能力，能提供所申報的服務。
• 申報範圍準確：機構所列出的服務範圍，必須與其實際展示的能力相符。

IMDA Starter Kit 列出的五大大型語言模型風險

Starter Kit 是一套自願性指引，提供測試大型語言模型（LLM）應用程式基本安全性和可靠性的實務方法。當中列出的五項主要風險為：

1. 幻覺及不準確：模型產生虛構或錯誤資訊；
2. 決策偏見：模型在判斷或推薦時出現不公平偏差；
3. 不適當內容：產生有害、冒犯性或其他不符合要求的內容；
4. 資料外洩：模型洩露不應公開的資料；
5. 漏洞：系統容易受到對抗性提示或其他攻擊手法影響。

申請要收費嗎？認證維持多久？

AI Verify Foundation 表示，AI TAP 將不收取申請費或認證費，目的是降低參與門檻，並協助 AI 保證測試市場發展。

認證有效期為 12 個月。期滿後，機構須申請續期，並證明自己仍然具備持續提供相關服務的能力，因為測試標準及威脅環境都可能隨時間改變。

截至目前，據報已表示有早期興趣的機構包括 Advai、AIDX、Ernst & Young、Knovel Engineering、PwC、Resaro 及 Vulcan。

對 AI 行業有何影響？

AI TAP 的設計方向，是令外部 AI 測試市場更一致、更具可信度：測試機構需要符合較清晰的能力要求，測試範圍和方法要有文件記錄，評估也應配合企業的實際 AI 用途及風險程度。

這種制度可望令企業更容易比較不同測試服務商，也有助於把「測試過 AI」與「以有系統、可重現及符合能力範圍的方式測試 AI」區分開來。對部署 AI 的機構而言，獨立第三方評估可提供額外保障；但它不會取代企業本身的治理責任、風險判斷或安全措施。

現有資料並未收錄業界代表對測試客製化、治理或信心提升的具體引述。因此，這些效果應理解為計劃設計所支持的預期結果，而非已被獨立證實的行業成效。

AI TAP 的目標包括：

• 建立一批可信、具能力的 AI 測試服務商；
• 為「良好 AI 保證測試」建立較實用的基準；
• 協助企業在採用 AI 前，找出適合其應用場景及風險範圍的外部測試機構；
• 支援醫療、金融、招聘及公共服務等不同產業進行 AI 評估。

獲認證機構會按照一個已界定並記錄在案的測試範圍獲得認可，並可能與尋找合資格測試服務商的企業對接。這項安排旨在提升部署 AI 的機構、相關持份者及最終使用者對測試結果和測試機構的信心。

不過，AI TAP 認證並不等於某個 AI 系統已獲證明完全安全，亦不代表系統不存在風險。實際部署環境、系統整合方式及新出現的威脅，仍可能帶來額外問題。最終，部署 AI 的機構仍須自行負責治理、風險承擔及採取額外緩解措施。

測試機構會檢查哪些問題？

獲委託的測試機構可能進行具對抗性的「紅隊測試」（red-team testing），即模擬攻擊者嘗試找出系統弱點。其中包括：

• 提示注入（prompt injection）：在輸入內容或相關資料中加入惡意指令，試圖令 AI 偏離原定指示；
• 越獄（jailbreak）：嘗試繞過模型的安全防護，使系統產生違反政策或其他不安全的回應。

測試範圍可涵蓋以下風險：

• 安全性及可靠性失效：例如錯誤、虛構或不準確的輸出，以及有害或不適當內容；
• 公平性問題：例如決策過程出現偏見；
• 私隱及保安問題：例如資料外洩和系統漏洞；
• 抵禦提示注入及越獄的能力：對生成式 AI 及具代理能力的 AI 應用尤其重要。

申請認證要符合哪些條件？

AI TAP 不只看測試技術，也會評估申請機構的整體營運能力。主要要求包括：

• 技術能力：申請機構須證明自己確實能提供所申報的特定測試服務，評估時可參考 IMDA 的《基於大型語言模型應用程式安全性及可靠性測試入門套件》（Starter Kit for Testing LLM-Based Applications for Safety and Reliability）。
• 治理及商業信譽：具備相關業績記錄、良好信譽，並承諾在新加坡進行商業活動。
• 財務可持續性：具備足夠財務能力，維持服務穩定運作。
• 營運準備：擁有足夠的人員、流程及營運能力，能提供所申報的服務。
• 申報範圍準確：機構所列出的服務範圍，必須與其實際展示的能力相符。

IMDA Starter Kit 列出的五大大型語言模型風險

Starter Kit 是一套自願性指引，提供測試大型語言模型（LLM）應用程式基本安全性和可靠性的實務方法。當中列出的五項主要風險為：

1. 幻覺及不準確：模型產生虛構或錯誤資訊；
2. 決策偏見：模型在判斷或推薦時出現不公平偏差；
3. 不適當內容：產生有害、冒犯性或其他不符合要求的內容；
4. 資料外洩：模型洩露不應公開的資料；
5. 漏洞：系統容易受到對抗性提示或其他攻擊手法影響。

申請要收費嗎？認證維持多久？

AI Verify Foundation 表示，AI TAP 將不收取申請費或認證費，目的是降低參與門檻，並協助 AI 保證測試市場發展。

認證有效期為 12 個月。期滿後，機構須申請續期，並證明自己仍然具備持續提供相關服務的能力，因為測試標準及威脅環境都可能隨時間改變。

截至目前，據報已表示有早期興趣的機構包括 Advai、AIDX、Ernst & Young、Knovel Engineering、PwC、Resaro 及 Vulcan。

對 AI 行業有何影響？

AI TAP 的設計方向，是令外部 AI 測試市場更一致、更具可信度：測試機構需要符合較清晰的能力要求，測試範圍和方法要有文件記錄，評估也應配合企業的實際 AI 用途及風險程度。

這種制度可望令企業更容易比較不同測試服務商，也有助於把「測試過 AI」與「以有系統、可重現及符合能力範圍的方式測試 AI」區分開來。對部署 AI 的機構而言，獨立第三方評估可提供額外保障；但它不會取代企業本身的治理責任、風險判斷或安全措施。

現有資料並未收錄業界代表對測試客製化、治理或信心提升的具體引述。因此，這些效果應理解為計劃設計所支持的預期結果，而非已被獨立證實的行業成效。