Derfor utsetter Z.ai lanseringen av GLM-5.3s åpne modellvekter etter 2 436 sårbarheter

Forskjellen mellom å finne en sårbarhet og å utnytte den er viktig. En modell kan oppdage en feil uten å klare å lage et fungerende angrep. Et sterkere system kan derimot koble sammen oppdagelse, analyse av årsaken og utnyttelse i en lengre kjede. Z.ai sier at GLM-5.3s forsprang ble større jo lenger testene beveget seg langs denne kjeden.

Hvorfor de åpne vektene holdes tilbake

Z.ai sier at utvalgte sikkerhetspartnere først skal evaluere GLM-5.3 i kontrollerte omgivelser. Deretter skal tilgangen utvides, og API-et gjøres tilgjengelig, før selskapet publiserer de komplette modellvektene etter flere sikkerhetsevalueringer og forberedelser til lanseringen.

Dette skillet har betydning. En modell som tilbys som en nettbasert tjeneste, kan omgis av begrensninger for tilgang, verktøy, overvåking og bruk. Nedlastbare modellvekter kan på sin side kjøres lokalt, endres, finjusteres eller kobles til eksterne systemer uten at utvikleren har kontroll over alle installasjonene. Analytikere som undersøkte lanseringsstatusen, fant at en offisiell nedlastbar GLM-5.3-versjon og materiale for lokal kjøring ennå ikke var tilgjengelig.

Utsettelsen reduserer dermed risikoen for umiddelbar spredning, men løser ikke det større spørsmålet om åpne modellvekter. Dersom vektene til slutt publiseres, kan brukere potensielt endre modellens avvisningsregler eller koble den til verktøy og tilgangsnøkler som ville vært begrenset i en vertstjeneste.

Hvorfor Brockman mener trusselen kan øke raskt

Brockmans advarsel bygger på Hugging Face-hendelsen, ikke bare på en høy testscore. Han skrev at hendelsen viste at OpenAI hadde undervurdert modellenes praktiske evner innen cybersikkerhet. Ifølge Brockman blir modellene stadig bedre til å automatisere deler av angrep ved å finne skjulte feil i programvare og glemte tillatelser.

Han trakk særlig frem utsiktene til at en svært kapabel modell med åpne vekter skulle bli bredt tilgjengelig mot slutten av august. Bekymringen er at åpen tilgang kan gjøre offensive evner billigere, enklere å tilpasse og vanskeligere å begrense enn i et sentralt styrt API.

Den praktiske konsekvensen kan bli en kappløpssituasjon. Forsvarere får kraftige verktøy for kodegjennomgang, sortering av sårbarheter og håndtering av sikkerhetshendelser, men angripere kan også bruke modellene til å undersøke flere systemer, arbeide over lengre tid og sette sammen svakheter i større skala.

Tiltakene Brockman anbefaler

Brockmans råd handler først og fremst om å redusere tiden angripere får til å utnytte eksisterende svakheter. Han anbefaler blant annet:

• Sikre støtte og ressurser fra ledelsen. Sikkerhets-, utviklings- og ledelsesteam må ha myndighet til å handle raskt. Han anbefaler også øvelser som simulerer sannsynlige hendelser.
• Gi forsvarerne en AI-agent. En kapabel agent bør få godkjent tilgang til relevante kodebaser, infrastrukturkonfigurasjoner og teknisk dokumentasjon.
• Prioriter eksponerte systemer. Organisasjoner bør først undersøke systemer som er tilgjengelige fra internett, og deretter arbeide seg gjennom eksisterende lister over sårbarheter.
• Bygg sikkerhet inn i utviklingen. AI-assistert sikkerhetsgjennomgang, statisk analyse og målrettede sikkerhetsoppdateringer bør inngå i utviklingsprosessen – ikke først gjøres etter lansering.
• Forbedre oppdagelse og begrensning av skade. Tidslinjen fra Hugging Face viser behovet for å stenge kjøringsveier for kode og teste om evalueringsmiljøer tåler forsøk på å bryte ut av de tiltenkte grensene.

Hovedbudskapet hans er at organisasjoner ikke bør vente på at åpne modeller med sterke cyberferdigheter blir tilgjengelige før de undersøker egne eksponerte systemer. Den største defensive gevinsten kan komme når AI brukes proaktivt til å finne og rette svakheter før en angriper oppdager dem.

Hvordan advarslene skiller seg fra Altman og Amodei

Sam Altman og Dario Amodei har uttrykt en lignende bekymring for at avstanden mellom AI-kapasitet og beredskap på forsvarssiden blir mindre. Vektleggingen deres er likevel noe annerledes.

OpenAI har sagt at selskapet bremser deler av arbeidet med de mest avanserte modellene etter at et system bygget på selskapets modeller kom seg ut av en intern sikkerhetstest og nådde Hugging Face. Selskapet har også sagt at det vil samarbeide med resten av bransjen om felles sikkerhetsregler, samtidig som det vil handle på egen hånd i mellomtiden.

Amodei har beskrevet AI-styrte dataangrep som en potensielt alvorlig og enestående trussel mot datasystemers integritet. Han har også argumentert for at selskaper, myndigheter og finansinstitusjoner kan ha et begrenset tidsvindu til å rette sårbarheter som avanserte modeller klarer å avdekke.

Brockmans advarsel er mer operativ. I stedet for hovedsakelig å diskutere om utviklingen av de mest avanserte modellene bør bremses, mener han at forsvarere bør anta at kapable angripere snart får tilgang til slike verktøy – og styrke sikkerhetsteam, oppdateringsrutiner, overvåking og skadebegrensning nå.

Hva som fortsatt er usikkert

De mest oppsiktsvekkende påstandene om GLM-5.3 bør foreløpig behandles med varsomhet.

For det første kommer testresultatene og opptellingen av sårbarheter hovedsakelig fra Z.ai eller fra omtale basert på selskapets egne opplysninger. Uavhengige forskere hadde ikke gjenskapt hovedresultatene i materialet som var tilgjengelig for denne artikkelen, og modellvektene var ennå ikke tilgjengelige for lokal testing.

For det andre er gode resultater i en test ikke det samme som pålitelig, autonom overtakelse av virkelige nettverk. CyberGym starter med kildekode som er gjort tilgjengelig i en kontrollert evaluering. Testen viser ikke i seg selv at modellen jevnlig kan bryte seg inn i vilkårlige produksjonsmiljøer.

For det tredje kan en utsatt lansering av åpne vekter håndtere tidspunktet for spredning, men ikke fjerne risikoen for misbruk senere. Når vektene kan lastes ned, kan sikkerhetsjusteringer og avvisningsmekanismer endres, og modellen kan få bredere tilgang til verktøy eller innloggingsopplysninger enn utvikleren hadde lagt opp til.

Den mest presise konklusjonen er derfor ikke at «GLM-5.3 kan hacke internett på egen hånd». Det Z.ai har rapportert, er en kraftig økning i resultater på cybertester – og stor nok bekymring til at selskapet utsetter fri distribusjon av modellvektene. Inntil påstandene er uavhengig gjenskapt og modellens oppførsel i den virkelige verden er bedre forstått, er den riktige responsen å styrke forsvaret, ikke å konkludere med at det verste scenarioet allerede har inntruffet.