Geen van de 21 geteste open-weight AI-modellen bleek bestand tegen alle sabotage-aanvallen

De TamperBench-studie, gepresenteerd tijdens ACM KDD ’26, onderzocht hoe stevig de veiligheidsmaatregelen van open-weight grote taalmodellen werkelijk zijn. De onderzoekers testten 21 modellen, waaronder modellen uit de Llama-, Qwen3- en Mistral-families, met tussen 600 miljoen en 8 miljard parameters.

De hoofdconclusie is ongemakkelijk voor ontwikkelaars die open modellen publiceren: geen van de 21 modellen hield stand tegen alle onderzochte vormen van tampering. Elk model kon met ten minste één aanval aanzienlijk ontvankelijker worden gemaakt voor schadelijke verzoeken, terwijl een belangrijk deel van de oorspronkelijke redeneercapaciteit behouden bleef. Volgens de auteurs bieden de huidige veiligheidslagen daarom geen betrouwbare garantie zodra de modelgewichten door anderen kunnen worden aangepast. 25

Welke aanvallen werden getest?

TamperBench bracht negen methoden samen die ingrijpen op de modelgewichten of op latente representaties — interne patronen waarmee een model informatie verwerkt. De testset omvatte onder meer:

• ogenschijnlijk onschuldige finetuning;
• expliciete finetuning op schadelijke voorbeelden;
• heimelijke, vergiftigingsachtige jailbreak-finetuning;
• meertalige finetuning;
• aanvallen op embeddings en latente representaties. 2

De heimelijke jailbreak-aanvallen waren doorgaans het zwaarst. Vooral varianten met concurrerende doelstellingen, backdoors en stijlmodulatie vielen op. Daarbij bestond de trainingsdata grotendeels uit onschuldige voorbeelden, aangevuld met een kleinere schadelijke component. Dat maakt dit type aanval lastiger te herkennen dan een model dat simpelweg met duidelijk kwaadaardige data wordt bijgestuurd. 2

De onderzoekers zochten per combinatie van model en aanval naar instellingen die de score voor schadelijke antwoorden zo sterk mogelijk verhoogden. Tegelijk mocht de nauwkeurigheid op MMLU-Pro, een veeleisende toets voor onder meer taalbegrip en redeneren, hooguit 10 procentpunt dalen ten opzichte van het onaangepaste model. Zo testte de studie niet alleen of veiligheidsfilters konden worden verwijderd, maar ook of dat kon gebeuren zonder het model als geheel onbruikbaar te maken. 2

Voor Llama-3-8B-Instruct en Qwen3-8B-Instruct bevat het aangeleverde bewijsmateriaal geen betrouwbare, exacte cijfers over de toename van schadelijke antwoorden. Zulke modelspecifieke percentages kunnen daarom niet verantwoord worden genoemd.

Extra verdediging bleek geen volledige oplossing

De onderzoekers testten ook vijf modellen met aanvullende verdedigingstechnieken, waaronder varianten met ReFAT en Circuit Breaking. Die maatregelen verbeterden de weerstand in sommige situaties, maar voorkwamen niet betrouwbaar dat veiligheidswaarborgen ergens in de geteste aanvalssuite konden worden verzwakt of verwijderd. 25

De studie wijst bovendien op verschillen tussen basismodellen en modellen die achteraf op veiligheid zijn afgestemd. Die varianten kunnen een andere mate van weerstand tegen aanpassingen vertonen. In de bredere resultaten wordt Triplet genoemd als een verdediging die vaak relatief robuust bleef en capaciteiten goed wist te behouden, maar ook dat betekent niet dat de bescherming onder alle omstandigheden gegarandeerd is. 8

Waarom dit vooral bij open gewichten belangrijk is

Bij open-weight modellen kunnen gebruikers de gewichten kopiëren, verder trainen en opnieuw verspreiden. De oorspronkelijke ontwikkelaar kan dan niet langer rechtstreeks afdwingen welke veiligheidscontroles bij iedere afgeleide versie actief blijven. 2

Dat betekent niet dat open modellen geen waarde hebben. De auteurs benadrukken juist dat openheid onderzoek en controleerbaarheid kan bevorderen. Wel waarschuwen ze dat een model niet als veilig moet worden beschouwd alleen omdat het vóór de release geslaagde, reguliere alignment-tests heeft doorstaan. 5

Bij gesloten modellen die uitsluitend via een commerciële API worden aangeboden, houden providers doorgaans meer controle over finetuning en implementatie. Daardoor kunnen zij verdedigingsmaatregelen toepassen tijdens of na het finetunen die moeilijker af te dwingen zijn zodra gewichten vrij worden verspreid. De onderzoekers sluiten echter niet uit dat vergelijkbare tampering-risico’s ook daar relevant zijn. 25

Mogelijke gevolgen

Een aanvaller die veiligheidsmaatregelen kan verwijderen zonder de kerncapaciteiten van een model sterk aan te tasten, kan mogelijk grootschalig misbruik automatiseren. De onderzoekers noemen onder meer desinformatiecampagnes, geavanceerde phishing en scams, en schadelijke technische instructies als voorbeelden. 5

Daarom pleiten zij voor verder onderzoek naar tamper-resistentie, gestandaardiseerde adversariële tests zoals TamperBench vóór een release, en meer empirisch onderbouwde AI-beoordelingen bij aanschaf en inzet. Dat wordt volgens hen extra belangrijk nu overheden AI gebruiken of overwegen te gebruiken in onder meer de gezondheidszorg, fraudedetectie en het onderwijs. 25