Sikkerhets­rekkverket kunne fjernes fra samtlige 21 åpne KI-modeller

Kort fortalt

TamperBench-studien konkluderte med at ingen av de 21 testede åpne KI-modellene hadde sikkerhetstiltak som tålte alle de undersøkte truslene. Samtlige modeller kunne manipuleres slik at de i langt større grad produserte skadelig innhold, uten at evnen til å løse resonneringsoppgaver forsvant. Forskerne mener derfor at dagens sikkerhetstiltak ikke kan regnes som en tilstrekkelig garanti når modellens vekter er tilgjengelige og kan endres. 25

Modellene omfattet blant annet Llama-, Qwen3- og Mistral-modeller med mellom 600 millioner og 8 milliarder parametre. Studien ble presentert på ACM KDD ’26, en internasjonal konferanse for datautvinning og maskinlæring. 56

Ni måter å svekke sikkerheten på

TamperBench er laget for å teste såkalte åpne vekter – modeller der de trente modellfilene kan kopieres, finjusteres og distribueres videre. Forskerne undersøkte ni metoder som endret enten modellvektene eller interne representasjoner. 2

Angrepene spente fra tilsynelatende harmløs finjustering og direkte trening på skadelig innhold til mer skjulte metoder, blant annet:

• finjustering med konkurrerende mål
• bakdørsbasert trening, der en bestemt skjult utløsende faktor kan endre modellens oppførsel
• stilmodulering
• forgiftningslignende jailbreak-trening
• flerspråklig finjustering
• angrep på modellens interne representasjoner og såkalte latente rom. 2

De skjulte jailbreak-angrepene var vanligvis de mest alvorlige. Særlig metodene basert på konkurrerende mål, bakdører og stilmodulering kunne svekke sikkerheten kraftig, selv om treningsdataene i hovedsak var harmløse og bare inneholdt en liten skadelig komponent. 2

Forskerne valgte angrepsoppsett som økte modellens skadelighet mest mulig, samtidig som fallet i resonnerings­presisjon på MMLU-Pro ble begrenset til maksimalt 10 prosentpoeng sammenlignet med den opprinnelige modellen. MMLU-Pro er en krevende test av blant annet språkforståelse, matematikk, juss og generell problemløsing. 2

Det tilgjengelige materialet oppgir ikke nøyaktige økninger i skadelighet for hver enkelt modell. Det er derfor ikke grunnlag for å angi et presist tall for Llama-3-8B-Instruct eller Qwen3-8B-Instruct.

Ekstra forsvar var heller ingen garanti

Studien testet også fem modeller som var utstyrt med særskilte forsvar mot manipulering, blant annet varianter basert på ReFAT og Circuit Breaking. Disse forsvarene ga bedre motstand i enkelte situasjoner, men hindret ikke pålitelig at sikkerhetstiltakene ble fjernet på tvers av hele angrepssuiten. 25

Dette er særlig relevant for modeller som distribueres med åpne vekter. Når filene først er offentlig tilgjengelige, kan andre aktører kopiere dem, finjustere dem og spre nye versjoner uten at den opprinnelige utvikleren kan håndheve de samme sikkerhetskontrollene. 2

Hva betyr funnene?

Forskerne hevder ikke at åpne modeller er uten verdi. Åpen tilgang kan gi bedre forskning, innsyn og mulighet for uavhengig kontroll. Men en modell bør ikke anses som sikker bare fordi den har bestått vanlige tester før lansering. Slike tester sier lite om hva som skjer etter at andre får endre selve modellvektene. 5

Lukkede kommersielle modeller og API-tjenester kan også ha lignende tamper-risiko. Forskjellen er at leverandøren der vanligvis kontrollerer finjustering og distribusjon, og dermed kan legge inn forsvar under eller etter treningen. Den muligheten blir langt mindre når åpne vekter fritt kan lastes ned og redistribueres. 25

En modell som beholder mye av kapasiteten sin etter at sikkerhetsrekkverket er fjernet, kan i verste fall brukes til misbruk i stor skala – for eksempel masseproduksjon av desinformasjon, mer avanserte phishing- og svindelforsøk eller utarbeiding av skadelig teknisk veiledning. 5

Forskerne etterlyser derfor mer forskning på motstandsdyktighet mot manipulering, standardiserte tester som TamperBench før lansering, og mer kunnskapsbaserte vurderinger ved innkjøp og bruk av KI. Dette blir spesielt viktig når myndigheter tar i bruk KI i helsevesen, svindeloppdagelse, utdanning og andre offentlige tjenester. 25