Hvad skal SAFE løse?

AI-sikkerhed har et velkendt koordinationsproblem: En organisation kan opdage et angreb, en fejl eller en næsten-hændelse, mens andre virksomheder kæmper med samme risiko uden adgang til den viden, der allerede findes.

Det aktuelle udkast fokuserer på fire beslægtede områder:

• fortrolig indsamling og analyse af AI-sikkerhedshændelser og næsten-hændelser;
• besked til berørte organisationer, når en hændelse er relevant for dem;
• identifikation af tilbagevendende svigt i sikkerhedskontroller og praksisser; samt
• evidensbaserede, skyldfri læringspunkter, der kan bruges på tværs af branchen.

Målet er at skabe fælles defensiv efterretning. I stedet for at behandle hvert tilfælde af promptinjektion, datalæk eller en agent, der opfører sig uautoriseret, som en isoleret hændelse, skal deltagerne kunne omsætte konkrete fejl til bredere sikkerhedsforanstaltninger.

OSAA bygger en sikkerhedsstak – ikke ét enkelt produkt

SAFE er kun én del af OSAA’s tilgang. Alliancen samler også open source-teknologier, der kan inspiceres og ændres, og som er rettet mod forskellige lag af agentsikkerhed.

De bidrag, der er blevet fremhævet, omfatter:

• Nvidia: åbne modelvægte, OpenShell-kontroller, der begrænser, hvad en agent kan tilgå eller gøre, værktøjer til test og revision af agenter samt Garak, en open source-scanner for blandt andet datalæk, promptinjektioner og jailbreaks.
• Okta: referenceimplementeringer til agentidentitet og adgang ved hjælp af protokollen Cross App Access. Formålet er at forbinde agenter med virksomheders applikationer i mere kontrollerede miljøer.
• Red Hat: asago, et open source-projekt, der skal koble organisationens styringspolitikker sammen med rettigheder under kørsel og skabe en revisionssporbar vej fra politik til kontrol.
• Amazon: Strands Agents, et open source-værktøj til at bygge og evaluere agenter, samt Cedar, et sprog til autorisation.
• Andre medlemmer: identitetsorienterede projekter som Agent Guard og Agent Watch, hvilket understreger, at agentsikkerhed kræver mere end scanning af selve modellen.

Samlet dækker projekterne identitet, tilladelser, agent-rammeværk, runtime-adfærd, evaluering, data, styring og modstandsdygtighed. På længere sigt kan de give virksomheder et fælles sæt kontroller til at begrænse og overvåge AI-agenter – også når agenter opfører sig ondsindet eller bevæger sig uden for deres tiltænkte område. Men det er fortsat en mulighed, ikke et dokumenteret resultat.

Hvem er med – og hvem mangler?

OSAA beskrives i rapporteringen som en alliance med over 120 organisationer allerede i den første uge. Blandt de større deltagere nævnes Nvidia, Adobe, BlackRock, Cisco, CrowdStrike, Hugging Face, Intel, Microsoft, Red Hat og Visa. Amazon blev omtalt som et nyere medlem.

Alliancen fulgte efter et åbent brev fra 24. juli, hvor teknologivirksomheder opfordrede amerikanske politikere til at undgå brede eller for tidlige begrænsninger af AI-modeller med åbne modelvægte. Brevet havde oprindeligt 25 underskrivere, blandt andre Nvidia, Microsoft, Meta, IBM, Dell, Palantir og Hugging Face. Budskabet var, at begrænsninger på modeller, der kan downloades, kunne svække konkurrencen og sende flere brugere i retning af kinesiske AI-systemer, mens Washington overvejede sin nationale sikkerhedsreaktion.

På tidspunktet for Black Hat-rapporteringen var Anthropic, OpenAI og Google bemærkelsesværdige fraværende fra OSAA. Forholdet til det politiske brev er dog mere kompliceret: Kilderne er ikke enige om den senere liste over underskrivere. Nogle beskriver OpenAI og Google som tilføjet senere, mens andre omtaler dem som fraværende fra den oprindelige gruppe. De tilgængelige kilder forklarer ikke, hvorfor virksomhederne ikke var med i OSAA, og deres fravær bør derfor ikke tillægges en bestemt motivering.

Hvorfor er tempoet vigtigt?

OSAA’s centrale argument er, at åbenhed og sikkerhed ikke nødvendigvis er hinandens modsætninger. Åbne modeller, værktøjer, evalueringer og delte erfaringer med hændelser kan give flere forsvarere mulighed for at undersøge fejl, genskabe sårbarheder og tilpasse løsninger. SAFE forsøger at forene denne åbenhed med fortrolighed under indsamling og analyse af hændelser, mens mere generelle læringspunkter kan deles bredere.

Alliancens sammensætning på tværs af branchen kan også bidrage til fælles grænseflader og arbejdsmetoder mellem modeludviklere, cloud- og infrastrukturselskaber, identitetsspecialister, sikkerhedsvirksomheder og erhvervskunder. Hvis projekterne modnes, kan åbne AI-systemer blive lettere for organisationer at evaluere, kontrollere og implementere på ansvarlig vis.

Det kan understøtte den bredere politiske argumentation for åbne modelvægte som et spørgsmål om amerikansk konkurrenceevne, mens amerikanske politikere diskuterer, hvordan de skal forholde sig til kinesiske AI-laboratorier. OSAA har dog endnu ikke vist, at alliancen har styrket USA’s konkurrenceevne eller reduceret den systemiske AI-risiko.

Det målbare resultat er indtil videre mere begrænset – men også mere konkret: En koalition på over 120 organisationer har bevæget sig fra fortalervirksomhed for åben AI til et offentligt udkast om koordineret rapportering af AI-sikkerhedshændelser, samtidig med at medlemmerne bidrager med værktøjer, der med tiden kan danne et mere sammenhængende forsvarslag.

Hvad skal SAFE løse?

AI-sikkerhed har et velkendt koordinationsproblem: En organisation kan opdage et angreb, en fejl eller en næsten-hændelse, mens andre virksomheder kæmper med samme risiko uden adgang til den viden, der allerede findes.

Det aktuelle udkast fokuserer på fire beslægtede områder:

• fortrolig indsamling og analyse af AI-sikkerhedshændelser og næsten-hændelser;
• besked til berørte organisationer, når en hændelse er relevant for dem;
• identifikation af tilbagevendende svigt i sikkerhedskontroller og praksisser; samt
• evidensbaserede, skyldfri læringspunkter, der kan bruges på tværs af branchen.

Målet er at skabe fælles defensiv efterretning. I stedet for at behandle hvert tilfælde af promptinjektion, datalæk eller en agent, der opfører sig uautoriseret, som en isoleret hændelse, skal deltagerne kunne omsætte konkrete fejl til bredere sikkerhedsforanstaltninger.

OSAA bygger en sikkerhedsstak – ikke ét enkelt produkt

SAFE er kun én del af OSAA’s tilgang. Alliancen samler også open source-teknologier, der kan inspiceres og ændres, og som er rettet mod forskellige lag af agentsikkerhed.

De bidrag, der er blevet fremhævet, omfatter:

• Nvidia: åbne modelvægte, OpenShell-kontroller, der begrænser, hvad en agent kan tilgå eller gøre, værktøjer til test og revision af agenter samt Garak, en open source-scanner for blandt andet datalæk, promptinjektioner og jailbreaks.
• Okta: referenceimplementeringer til agentidentitet og adgang ved hjælp af protokollen Cross App Access. Formålet er at forbinde agenter med virksomheders applikationer i mere kontrollerede miljøer.
• Red Hat: asago, et open source-projekt, der skal koble organisationens styringspolitikker sammen med rettigheder under kørsel og skabe en revisionssporbar vej fra politik til kontrol.
• Amazon: Strands Agents, et open source-værktøj til at bygge og evaluere agenter, samt Cedar, et sprog til autorisation.
• Andre medlemmer: identitetsorienterede projekter som Agent Guard og Agent Watch, hvilket understreger, at agentsikkerhed kræver mere end scanning af selve modellen.

Samlet dækker projekterne identitet, tilladelser, agent-rammeværk, runtime-adfærd, evaluering, data, styring og modstandsdygtighed. På længere sigt kan de give virksomheder et fælles sæt kontroller til at begrænse og overvåge AI-agenter – også når agenter opfører sig ondsindet eller bevæger sig uden for deres tiltænkte område. Men det er fortsat en mulighed, ikke et dokumenteret resultat.

Hvem er med – og hvem mangler?

OSAA beskrives i rapporteringen som en alliance med over 120 organisationer allerede i den første uge. Blandt de større deltagere nævnes Nvidia, Adobe, BlackRock, Cisco, CrowdStrike, Hugging Face, Intel, Microsoft, Red Hat og Visa. Amazon blev omtalt som et nyere medlem.

Alliancen fulgte efter et åbent brev fra 24. juli, hvor teknologivirksomheder opfordrede amerikanske politikere til at undgå brede eller for tidlige begrænsninger af AI-modeller med åbne modelvægte. Brevet havde oprindeligt 25 underskrivere, blandt andre Nvidia, Microsoft, Meta, IBM, Dell, Palantir og Hugging Face. Budskabet var, at begrænsninger på modeller, der kan downloades, kunne svække konkurrencen og sende flere brugere i retning af kinesiske AI-systemer, mens Washington overvejede sin nationale sikkerhedsreaktion.

På tidspunktet for Black Hat-rapporteringen var Anthropic, OpenAI og Google bemærkelsesværdige fraværende fra OSAA. Forholdet til det politiske brev er dog mere kompliceret: Kilderne er ikke enige om den senere liste over underskrivere. Nogle beskriver OpenAI og Google som tilføjet senere, mens andre omtaler dem som fraværende fra den oprindelige gruppe. De tilgængelige kilder forklarer ikke, hvorfor virksomhederne ikke var med i OSAA, og deres fravær bør derfor ikke tillægges en bestemt motivering.

Hvorfor er tempoet vigtigt?

OSAA’s centrale argument er, at åbenhed og sikkerhed ikke nødvendigvis er hinandens modsætninger. Åbne modeller, værktøjer, evalueringer og delte erfaringer med hændelser kan give flere forsvarere mulighed for at undersøge fejl, genskabe sårbarheder og tilpasse løsninger. SAFE forsøger at forene denne åbenhed med fortrolighed under indsamling og analyse af hændelser, mens mere generelle læringspunkter kan deles bredere.

Alliancens sammensætning på tværs af branchen kan også bidrage til fælles grænseflader og arbejdsmetoder mellem modeludviklere, cloud- og infrastrukturselskaber, identitetsspecialister, sikkerhedsvirksomheder og erhvervskunder. Hvis projekterne modnes, kan åbne AI-systemer blive lettere for organisationer at evaluere, kontrollere og implementere på ansvarlig vis.

Det kan understøtte den bredere politiske argumentation for åbne modelvægte som et spørgsmål om amerikansk konkurrenceevne, mens amerikanske politikere diskuterer, hvordan de skal forholde sig til kinesiske AI-laboratorier. OSAA har dog endnu ikke vist, at alliancen har styrket USA’s konkurrenceevne eller reduceret den systemiske AI-risiko.

Det målbare resultat er indtil videre mere begrænset – men også mere konkret: En koalition på over 120 organisationer har bevæget sig fra fortalervirksomhed for åben AI til et offentligt udkast om koordineret rapportering af AI-sikkerhedshændelser, samtidig med at medlemmerne bidrager med værktøjer, der med tiden kan danne et mere sammenhængende forsvarslag.