Nvidia představila SAFE. Její aliance chce během týdne nastavit pravidla pro bezpečnost AI

Nvidia během jediného týdne proměnila svou novou politicko-technologickou koalici v první konkrétní bezpečnostní iniciativu. Open Secure AI Alliance (OSAA), která už sdružuje více než 120 organizací, představila na konferenci Black Hat návrh Shared AI Findings Exchange, zkráceně SAFE. Linux Foundation k němu zveřejnila výzvu k připomínkám a řídí proces projednávání návrhu.

Jde o rychlejší posun než pouhé vydání společného prohlášení. SAFE je ale zatím raný rámec a návrh pravidel, nikoli prokázaný systém pro sdílení incidentů v reálném provozu.

Co má SAFE řešit

V oblasti bezpečnosti AI se opakuje stejný problém: jedna organizace odhalí útok, selhání nebo jen „těsně uniklý“ incident, zatímco jiné firmy čelí podobnému riziku bez přístupu k získaným poznatkům.

Návrh SAFE se zaměřuje na čtyři navzájem propojené postupy:

• důvěrný sběr a analýzu bezpečnostních incidentů a téměř proběhlých incidentů;
• upozornění dotčených organizací, pokud se jich konkrétní událost týká;
• odhalování opakujících se nedostatků v kontrolních mechanismech a bezpečnostních postupech;
• vytváření věcných poučení bez hledání viníka, která lze využít napříč celým ekosystémem.

Cílem je vytvořit sdílené obranné zpravodajství. Útoky typu prompt injection, úniky dat nebo chování autonomního agenta mimo stanovený rozsah by se nemusely řešit pokaždé izolovaně. Zkušenost jedné organizace by se mohla proměnit v ochranu pro další účastníky.

OSAA nestaví jeden produkt, ale bezpečnostní vrstvu

SAFE představuje pouze jednu část širšího přístupu OSAA. Aliance propojuje otevřené a kontrolovatelné technologie určené pro různé vrstvy zabezpečení AI agentů.

Mezi uváděné příspěvky členů patří:

• Nvidia: modelové rodiny s otevřenými vahami, runtime OpenShell omezující, k čemu agent smí přistupovat a co může dělat, nástroje pro testování a audit agentů a Garak, open source skener rizik včetně úniku dat, prompt injection a obcházení bezpečnostních omezení neboli jailbreaků.
• Okta: referenční implementace identity a přístupových práv agentů využívající protokol Cross App Access. Jejich účelem je bezpečněji propojovat agenty s podnikovými aplikacemi v kontrolovaném prostředí.
• Red Hat: asago, open source projekt, který má propojit organizační pravidla s oprávněními platnými za běhu agenta a vytvořit auditovatelnou cestu od interní politiky ke konkrétní kontrole.
• Amazon: Strands Agents, open source nástroj pro tvorbu a vyhodnocování agentů, a Cedar, jazyk pro autorizaci.
• Další členové: projekty zaměřené na identitu, například Agent Guard a Agent Watch. Ty podporují představu, že zabezpečení agentů vyžaduje více než jen skenování samotných modelů.

Dohromady tyto projekty pokrývají identitu, oprávnění, agentní frameworky, chování za běhu, vyhodnocování, data, správu i odolnost. Pokud se jejich vývoj skutečně propojí, mohly by podnikům nabídnout společnou sadu nástrojů pro omezení a monitorování AI agentů — včetně těch, kteří se chovají škodlivě nebo překračují zamýšlený rozsah. Zatím jde ale o možný budoucí výsledek, nikoli o doložený stav.

Kdo se přidal a kdo chybí

Podle dostupných zpráv měla OSAA během prvního týdne více než 120 organizací. Mezi významné účastníky patří Nvidia, Adobe, BlackRock, Cisco, CrowdStrike, Hugging Face, Intel, Microsoft, Red Hat a Visa. Amazon byl popisován jako novější člen.

Aliance navázala na otevřený dopis z 24. července, který vyzýval americké představitele, aby se vyhnuli širokým nebo předčasným omezením modelů s otevřenými vahami. Tyto modely lze stáhnout, kontrolovat, upravovat a provozovat na vlastní infrastruktuře. Dopis původně podpořilo 25 společností včetně Nvidie, Microsoftu, Mety, IBM, Dellu, Palantiru a Hugging Face. Varoval, že omezení těchto modelů by mohla oslabit konkurenci a přimět uživatele obracet se k čínským systémům AI, zatímco Washington zvažoval reakci z hlediska národní bezpečnosti.

V době zpráv z konference Black Hat však v OSAA podle dostupných informací chyběly Anthropic, OpenAI a Google. Situace kolem původního dopisu je méně jednoznačná: některé zprávy uvádějí, že OpenAI a Google byly na pozdější seznam signatářů doplněny, jiné je popisují jako nepřítomné v původní skupině. Dostupné zdroje nevysvětlují, proč se tyto společnosti k OSAA nepřipojily, a jejich absenci proto nelze připisovat konkrétní motiv.

Proč na rychlosti záleží

Základní argument OSAA zní, že otevřenost a bezpečnost nemusí stát proti sobě. Otevřené modely, nástroje, testování a sdílené poznatky o incidentech mohou více obráncům umožnit zkoumat selhání, reprodukovat zranitelnosti a rychleji upravovat ochranná opatření. SAFE se snaží tento přístup spojit s důvěrností při sběru a analýze incidentů a zároveň s širším sdílením zobecněných poučení.

Mezioborové složení aliance by navíc mohlo pomoci sjednotit rozhraní a postupy napříč vývojáři modelů, cloudovými a infrastrukturními firmami, poskytovateli identit, bezpečnostními společnostmi a podnikovými uživateli. Pokud tyto snahy dozrají, otevřené AI systémy by se mohly stát pro firmy snáze kontrolovatelnými, vyhodnotitelnými a bezpečněji nasaditelnými.

To by podpořilo širší politický argument, že otevřené modely jsou otázkou americké technologické konkurenceschopnosti — zvlášť v době, kdy Washington řeší, jak reagovat na čínské laboratoře AI. OSAA však zatím neprokázala, že zvýšila konkurenceschopnost Spojených států nebo snížila systémová rizika AI.

Její dosavadní měřitelný výsledek je užší, ale konkrétní: koalice čítající přes 120 organizací se od lobbingu za otevřenou AI posunula k veřejně připomínkovanému návrhu koordinovaného hlášení bezpečnostních incidentů a její členové poskytují nástroje, které by časem mohly vytvořit lépe propojenou obrannou vrstvu.