Nvidias OSAA går från AI-politik till konkret säkerhetsarbete

SAFE-förslaget fokuserar på fyra närliggande arbetssätt:

• att konfidentiellt samla in och analysera AI-relaterade säkerhetsincidenter och tillbud;
• att meddela berörda organisationer när en incident är relevant för dem;
• att identifiera återkommande brister i säkerhetskontroller och arbetsmetoder; och
• att ta fram skuldfria, evidensbaserade lärdomar som kan användas av hela ekosystemet.

Målet är att omvandla enskilda misslyckanden till gemensam försvarsinformation. I stället för att varje företag på egen hand ska behöva upptäcka samma typ av promptinjektion, dataläcka eller så kallade autonoma agenter som går utanför sitt uppdrag, ska erfarenheterna kunna omsättas i bredare skyddsåtgärder.

En säkerhetsstack – inte en enskild produkt

SAFE är bara en del av OSAA:s modell. Alliansen samlar också öppna och granskbara tekniker för olika lager av säkerheten kring AI-agenter.

Bland bidragen som lyfts fram finns:

• Nvidia: öppna modellfamiljer, OpenShell för att begränsa vad en agent får se, komma åt och göra, verktyg för testning och granskning samt Garak, en öppen skanner för bland annat dataläckor, promptinjektioner och så kallade jailbreaks.
• Okta: referensimplementationer för agentidentitet och åtkomst med protokollet Cross App Access. Tanken är att koppla agenter till företagsapplikationer under mer kontrollerade former.
• Red Hat: asago, ett öppet styrningsprojekt som ska kunna koppla organisationens policyer till körningsbehörigheter och skapa en granskningsbar kedja från regel till kontroll.
• Amazon: Strands Agents, ett öppet verktyg för att bygga och utvärdera AI-agenter, samt Cedar, ett språk för auktorisering.
• Andra medlemmar: identitetsinriktade projekt som Agent Guard och Agent Watch, vilket understryker att agentsäkerhet kräver mer än enbart skanning av modeller.

Tillsammans täcker bidragen identitet, behörigheter, agentramverk, körningsbeteende, utvärdering, data, styrning och motståndskraft. På sikt skulle de kunna ge företag en gemensam uppsättning öppna kontroller för att begränsa och övervaka AI-agenter – även när en agent beter sig skadligt eller utanför sitt avsedda område. Men det är fortfarande ett möjligt framtida resultat, inte något OSAA har bevisat.

Vilka har gått med – och vilka saknas?

OSAA uppges ha samlat över 120 organisationer under sin första vecka. Bland de större deltagarna som nämns finns Nvidia, Adobe, BlackRock, Cisco, CrowdStrike, Hugging Face, Intel, Microsoft, Red Hat och Visa. Amazon beskrivs som en nyare medlem.

Alliansen bildades efter ett öppet brev den 24 juli där teknikföretag uppmanade amerikanska beslutsfattare att undvika breda eller för tidiga begränsningar av AI-modeller med öppna vikter. Brevet stöddes ursprungligen av 25 företag, däribland Nvidia, Microsoft, Meta, IBM, Dell, Palantir och Hugging Face. Argumentet var att nedladdningsbara modeller kunde stärka konkurrensen och att begränsningar riskerade att få fler användare att välja kinesiska AI-system, samtidigt som Washington övervägde sin nationella säkerhetspolitik.

Vid rapporteringen från Black Hat beskrevs Anthropic, OpenAI och Google som framträdande frånvarande från OSAA. Bilden är dock mer komplicerad när det gäller det ursprungliga policybrevet. Olika rapporter skiljer sig åt om den senare listan över undertecknare: vissa uppger att OpenAI och Google tillkom senare, medan andra beskriver dem som frånvarande från den ursprungliga gruppen. De tillgängliga källorna förklarar inte varför bolagen inte hade anslutit sig till OSAA, och deras frånvaro bör därför inte tillskrivas någon viss avsikt.

Varför tempot spelar roll

OSAA:s centrala argument är att öppenhet och säkerhet inte behöver stå i motsats till varandra. Öppna modeller, verktyg, utvärderingar och incidentrapporter kan göra det möjligt för fler försvarare att granska fel, återskapa sårbarheter och anpassa skydd snabbare. SAFE försöker förena den öppenheten med sekretess under insamling och analys, medan generaliserade lärdomar delas bredare.

Alliansens sammansättning över branschgränserna kan också bidra till gemensamma gränssnitt och arbetssätt mellan modellutvecklare, moln- och infrastrukturföretag, identitetsspecialister, säkerhetsbolag och företagskunder. Om projekten mognar kan öppna AI-system bli lättare att utvärdera, kontrollera och införa på ett ansvarsfullt sätt.

Det skulle i sin tur kunna stärka argumentet att AI med öppna vikter är en fråga om amerikansk konkurrenskraft, särskilt när USA diskuterar hur landet ska förhålla sig till kinesiska AI-labb. Men OSAA har ännu inte visat att alliansen har stärkt USA:s konkurrenskraft eller minskat systemiska AI-risker.

Det mätbara resultatet är än så länge mer begränsat – men också konkret: en koalition på över 120 organisationer har gått från att försvara öppen AI politiskt till att lägga fram ett offentligt utkast för samordnad rapportering av AI-säkerhetsincidenter. Samtidigt bidrar medlemmarna med verktyg som över tid kan bilda ett mer kompatibelt lager av försvar.