Nvidia OSAA成立一星期即推SAFE：由游說開放式AI轉攻安全

簡單講，SAFE想將一宗個別的提示注入、資料外洩，或者失控代理人事故，變成業界共同的防禦情報，而不是每間公司都要由零開始摸索。

OSAA不是單一產品，而是逐層砌出的安全「工具箱」

SAFE只是OSAA其中一環。聯盟同時整合一批可檢視、可研究的開放技術，覆蓋AI代理人由身份到運行時控制的不同層面。

目前被提及的貢獻包括：

• Nvidia：開放權重模型系列、用來限制代理人可以存取和執行甚麼的OpenShell運行時控制工具、代理人測試及審計工具，以及開源漏洞掃描器Garak。Garak可檢查資料外洩、提示注入及越獄等風險。
• **Okta：**以Cross App Access協議為基礎的代理人身份及存取權限參考實作，目標是在較受控的環境下，讓代理人連接企業應用程式。
• Red Hat：開源治理項目asago，旨在將機構政策連接到運行時權限，並建立由政策落實到控制措施的可審計軌跡。
• Amazon：****Strands Agents開源工具包，用於建立及評估代理人，另加授權語言Cedar。
• **其他成員：**包括Agent Guard及Agent Watch等以身份安全為重點的項目，反映代理人安全不能只靠模型掃描。

合併來看，這些項目涵蓋身份、權限、代理人執行框架、運行時行為、評測、資料、治理及韌性。假以時日，它們或可形成一套較統一的企業控制層，用來限制及監察AI代理人，包括行為惡意或超出原定範圍的代理人。但這仍然是未來可能出現的結果，並非OSAA目前已經證明的成果。

誰加入了OSAA？哪些名字仍然不見？

報道指OSAA成立首星期已吸引逾120間機構。被點名的主要參與者包括Nvidia、Adobe、BlackRock、Cisco、CrowdStrike、Hugging Face、Intel、Microsoft、Red Hat及Visa；Amazon則被形容為較新的成員。

OSAA的成立背景，與一封在7月24日發布的公開信有關。當時25間公司，包括Nvidia、Microsoft、Meta、IBM、Dell、Palantir及Hugging Face，促請美國政策制定者不要對開放權重AI模型施加廣泛或過早限制。公開信認為，限制可下載模型可能削弱競爭，亦可能令更多用戶轉向中國AI系統，正值華盛頓考慮如何回應中國模型的國家安全問題。

截至Black Hat相關報道刊出時，Anthropic、OpenAI及Google仍未加入OSAA。至於它們與上述公開信的關係，資料並不完全一致：有報道指OpenAI及Google其後加入簽署名單，亦有報道形容它們未在最初名單之內。現有來源沒有解釋它們未加入OSAA的原因，因此不應自行替它們的缺席賦予動機。

點解這麼快行動值得關注？

OSAA背後的核心說法是：開放與安全未必互相矛盾。只要模型、工具、評測方法及事故教訓較容易被檢視，更多防守者便可以研究失敗原因、重現漏洞，再調整和推廣修補方案。SAFE嘗試在兩者之間取平衡：事故收集及分析階段保持保密，同時將概括化、以證據為本的教訓分享給更廣泛的業界。

聯盟的跨行業組成亦可能有助建立共同介面和做法，將模型開發商、雲端及基礎設施供應商、身份專家、網絡安全公司及企業用戶拉到同一個安全框架內。如果這些工作最終成熟，開放式AI系統或會更容易讓企業評估、管控和負責任地部署。

這種結果可以支持另一個更大的政策論點：開放權重AI不只是技術選擇，亦可能被視為美國保持競爭力的一部分，尤其在美國政策制定者討論如何應對中國AI實驗室之際。不過，到目前為止，OSAA尚未證明自己已經提升美國競爭力，或者降低了系統性AI風險。

現階段較實在的成果，是一個逾120名成員的聯盟已由開放AI倡議，走到公開發布協調AI安全事故報告的草案；而成員提供的各項工具，則有機會逐步砌成一層更互通的AI防禦基礎。