OpenAI vill släppa in oberoende säkerhetsgranskare tidigare

OpenAI säger att företaget ska möjliggöra oberoende tekniska säkerhetsbedömningar tidigare i utvecklingen av så kallade frontier-modeller, alltså de mest kapabla AI-modellerna. Granskningarna ska kunna ske under träning, utvärdering och driftsättning – i stället för främst i slutskedet före en lansering. Syftet är enligt OpenAI att externa organisationer ska kunna pröva säkerhetspåståenden, upptäcka blinda fläckar och undersöka om skyddsåtgärder faktiskt fungerar. 5

Det är en tydlig utvidgning av den vanliga modellen med tester och så kallad red teaming före lansering. Men det offentliga förslaget är frivilligt: det är varken ett externt licenssystem eller en bindande regel som tvingar bolaget att stoppa en utrullning. Därför avgörs dess praktiska värde av villkoren för tillgång, granskarnas självständighet och vad som händer när de hittar allvarliga risker.

Vad externa granskare ska få bedöma

OpenAI beskriver tredjepartsbedömningar som ett sätt att oberoende pröva underlaget bakom påståenden om frontier-modellers kapacitet, risker och skyddsåtgärder. Företaget säger att granskningen ska få djup tillgång genom träning, utvärdering och driftsättning. 5

Enligt rapportering om ramverket är en prioritet att oberoende bedöma ett AI-labs säkerhetsunderlag genom träning, intern användning och extern driftsättning. Ramverket beskriver också fyra granskningsområden och sju principer. Laboratorier ska få tid att åtgärda fynd före publicering och kan begära maskning av uppgifter. 2

Tidigare tillgång spelar roll eftersom en granskning först i slutet av utvecklingen kan hitta problem när stora tekniska och kommersiella beslut redan är svåra att göra ogjorda. Samtidigt kan tillgång i tidiga skeden innebära exponering av känsliga modellvikter, kapaciteter och testmaterial. Det är en verklig säkerhetsfråga som varje granskningsprogram måste hantera.

Fyra villkor för trovärdig granskning

OpenAI anger fyra centrala krav: starka mekanismer för oberoende, vetenskaplig stringens, robusta säkerhetsrutiner och tydligt ansvar. 5

Oberoende

En granskning är inte meningsfullt oberoende om utvecklaren kan styra metoderna, begränsa åtkomsten efter ett obekvämt resultat eller avsluta finansieringen därför att slutsatsen inte passar. Oberoende handlar alltså om styrning, finansiering, omfattning och kommunikation – inte bara om att utvärderaren formellt arbetar utanför företaget.

En sammanslutning av utvärderare har på liknande sätt efterlyst substantiellt oberoende: skydd mot kontroll från de bolag som granskas och rätt att publicera huvudresultaten, med endast snävt definierade maskningar. 1734

Vetenskaplig stringens

Bedömningarna behöver kvalificerade granskare, hållbara metoder och underlag som kan granskas eller reproduceras. Future of Life Institutes AI Safety Index argumenterar för starkare metodik och större oberoende, bland annat genom trovärdiga externa utvärderare i stället för splittrade tester med svag giltighet. 812

Säkerhet

Att ge externa aktörer tidigare tillgång till frontier-system kan i sig skapa risker. OpenAI säger att utvecklare måste möjliggöra meningsfull insyn och samtidigt skydda känslig information. 5 Säkerhetskontroller bör begränsa onödig exponering, men får inte bli en generell förevändning för att hindra granskning eller dölja väsentliga resultat.

Tydligt ansvar och ansvarsutkrävande

En trovärdig process kräver tydliga roller: vem som ger tillgång, vem som väljer metoder, vem som tar emot resultaten, vem som avgör om åtgärder räcker och vad som sker om en allvarlig risk kvarstår. Det behövs också klara rapporterings- och eskaleringsvägar. Annars riskerar en granskning att bli ett råd som ledningen kan välja att ignorera.

Inte samma sak som alignment eller självförbättrande AI

Tredjepartsgranskning är en tillsynsmekanism, inte en teknisk lösning på AI-alignment – frågan om att få AI-system att agera i linje med mänskliga mål och begränsningar. Den ska pröva om ett företags påståenden om risker och skyddsåtgärder stöds av evidens.

I ett separat federalt policyförslag säger OpenAI att utvecklare av frontier-AI bör utvärdera och minska risker kopplade till cyberförmåga, CBRN-risker (kemiska, biologiska, radiologiska och nukleära risker), förlust av kontroll, felriktning samt framsteg mot rekursiv självförbättring, RSI. Förslaget efterlyser också offentliga säkerhetsramverk och transparensrapporter, med lämpliga maskningar av säkerhets- och företagskänslig information. 7

I det sammanhanget kan externa granskare bidra till att kontrollera om utvecklarens tester och skydd är trovärdiga. Men de kan inte på egen hand lösa risker kring förlust av kontroll, felriktning eller RSI.

OpenAI jämfört med Anthropics inbäddade granskare

Anthropics vd Dario Amodei har förespråkat en mer kontinuerlig modell: externa granskare med löpande tillgång som liknar anställdas tillgång inne i frontier-laboratorier. De skulle då granska inte bara färdiga modeller, utan också träningsprocesser, driftsättningspraxis, interna skydd och betydande säkerhetsincidenter. 1821

Anthropic har meddelat ett upplägg där personal från Accenture ska arbeta inbäddat i företaget för att granska modeller och verksamhetsrutiner. Bolaget diskuterar även pilotprojekt med andra organisationer. Samtidigt har Anthropic konstaterat att standarder för granskarnas tillgång och kommunikation ännu inte har fastställts. 1922

OpenAIs ramverk överlappar med målet om tidigare och djupare insyn, men den offentliga beskrivningen fokuserar på tekniska bedömningar genom utvecklingens olika steg. Om modellen också ger den uthålliga tillgång som förknippas med inbäddad tillsyn beror på detaljer som ännu inte är fullt offentliga. 5

Gemensamma standarder kan bli viktiga – men är ingen garanti

Rapporter pekar på att Anthropic, OpenAI och Google DeepMind har diskuterat ett gemensamt, frivilligt organ för AI-säkerhetsstandarder. 20 Gemensamma standarder skulle kunna göra det lättare att jämföra testmetoder, definiera risktrösklar och skapa konsekventa krav på incidentrapportering.

Men ett standardorgan löser inte automatiskt intressekonflikter och skapar inte i sig verkställighet. Frivilliga standarder blir starkast när de kombineras med transparenta mätningar, oberoende verifiering och meningsfulla följder vid avvikelser.

Därför är kritikerna skeptiska

Kritiken handlar inte nödvändigtvis om att extern testning saknar värde. Frågan är om ett upplägg som i slutänden kontrolleras av bolaget självt kan ge verklig tillsyn. Utvecklaren kan fortfarande välja granskare, avgöra åtkomsten, fördröja arbetet, begära maskningar eller gå vidare med en lansering trots negativa resultat.

De viktigaste invändningarna är:

• Finansiering och institutionellt oberoende: Utvärderare behöver skydd mot ekonomiska påtryckningar eller att avtal avslutas efter obekväma slutsatser. 1734
• Tillräcklig och tidig tillgång: Testningen måste omfatta relevanta modeller, system och utvecklingsbeslut i tid för att kunna påverka utfallet.
• Frihet att kommunicera resultat: Säkerhetsmaskningar kan vara rimliga, men de bör vara snäva och styras av regler som inte låter företag dölja kärnan i ett negativt resultat. 217
• Eskalering och konsekvenser: En granskning behöver en väg till beslutsfattarna och en definierad respons när riskerna passerar en tröskel.

Den tidigare OpenAI-forskaren Daniel Kokotajlo har kritiserat ledande AI-labb för att röra sig snabbt i jakten på marknadsandelar. Det speglar en bredare oro för att konkurrens och ekonomiska incitament gör frivilliga förseningar kostsamma. 3640 Den strukturella invändningen är enkel: om företagen ensidigt kontrollerar tillgång, publicering och beslut om driftsättning kan tredjepartsgranskning förbättra beslutsunderlaget utan att bli verkligt oberoende tillsyn.

Slutsats

OpenAIs förslag flyttar säkerhetsbedömningen till ett skede då resultaten i princip kan påverka träning och driftsättning. De fyra uttalade principerna – oberoende, stringens, säkerhet och tydligt ansvar – är rimliga måttstockar. 5

Det verkliga provet är om de blir bindande arbetsvillkor: varaktig tillgång för granskare, metodfrihet, skyddad rapportering, transparent hantering av maskningar och en trovärdig process för att agera på allvarliga fynd. Utan sådana skydd kan tidiga externa bedömningar vara värdefull red teaming, men de når inte upp till den oberoende tillsyn som kritiker efterfrågar.