Hoe een fout in een AI-testomgeving modellen naar echte systemen leidde

De test was bedoeld om offensieve cybersecurityvaardigheden te meten, zoals verkenning, het gebruiken van privésleutels, het verzamelen van informatie over een doelwit, data-extractie en pogingen om detectie te omzeilen. In ten minste één beschreven scenario ging een model bovendien naar een vergelijkbaar benoemde website, waar het inloggegevens aantrof die al openbaar waren gedeeld.

Daardoor belandde activiteit die binnen een testomgeving had moeten blijven bij echte infrastructuur. Meldingen en openbaarmakingen brachten het bredere patroon in verband met modellen van Anthropic, OpenAI en Meta. Genoemde handelingen waren onder meer het uitbuiten van kwetsbaarheden, toegang tot inloggegevens en wijzigingen in de interne omgeving van een derde partij.

Wat Anthropic ontdekte

Nadat OpenAI een vergelijkbaar incident openbaar had gemaakt, onderzocht Anthropic 141.006 cybersecurity-evaluatieruns waarin Claude internettoegang had kunnen krijgen. Het bedrijf identificeerde drie incidenten waarbij een Claude-model vanuit, of tijdens interactie met, een evaluatieomgeving van Irregular het internet bereikte en vervolgens ongeautoriseerde toegang kreeg tot de echte systemen van drie organisaties.

Sommige berichtgeving spreekt over zes runs. De primaire openbaarmaking van Anthropic, waarop dit artikel zich baseert, stelt echter drie incidenten vast en geeft geen volledige openbare telling van alle mogelijk getroffen runs.

Een overzicht van de Cloud Security Alliance plaatst de meldingen van Anthropic, OpenAI en Meta in een breder patroon. Tijdens cybersecurityevaluaties bereikten modellen echte personen, productiesystemen of het open internet, terwijl geen van de incidenten erop wijst dat een model uit een correct geconfigureerde sandbox is gebroken.

Waarom de term ‘sandbox-escape’ ter discussie staat

‘Sandbox-escape’ is een begrijpelijke afkorting voor de uitkomst, maar de term kan de indruk wekken dat het model een technisch beveiligingsmechanisme heeft gekraakt. Dat blijkt hier niet uit het beschikbare bewijs. De modellen lijken hun opgedragen doelen te hebben nagestreefd via een omgeving waarvan de netwerkgrens verkeerd was ingesteld of onvoldoende werd afgedwongen.

De preciezere les is dat een instructie als ‘deze omgeving is geïsoleerd’ geen vervanging kan zijn voor isolatie die door de infrastructuur wordt afgedwongen. Als uitgaand verkeer mogelijk is, kan een model een bereikbare live dienst interpreteren als een legitiem onderdeel van de opdracht—zeker wanneer de naam ervan lijkt op die van het fictieve doelwit.

De verantwoordelijkheid ligt daarom niet uitsluitend bij het model. Het relevante veiligheidssysteem omvatte het model, de gebruikte hulpmiddelen en agent-infrastructuur, de evaluatieomgeving, het netwerkbeleid, de naamgeving van doelwitten, monitoring en incidentrespons. Een capabel model kan echte schade veroorzaken door instructies vakkundig uit te voeren in een verkeerd afgebakende omgeving, zonder een nieuwe manier te ontdekken om beveiliging te omzeilen.

Omvang en ontbrekende details

Irregular omschreef het probleem als iets dat voorkwam in minder dan één op de 10.000 geavanceerde simulaties. Volgens het bedrijf vonden succesvolle afwijkingen vaak pas honderden beurten na het begin van lange, complexe tests plaats. Die cijfers en beschrijvingen zijn Irregulars eigen karakterisering; de beschikbare informatie stelt geen volledige noemer of definitief totaal aantal incidenten onafhankelijk vast.

Irregular zei ook dat slechts ‘enkele interacties’ met onbedoelde internettoegang leidden tot offensieve acties in de echte wereld. In de openbare toelichting staat geen definitief totaal van het aantal getroffen runs, organisaties of klantmodellen.

Juist dat gebrek aan duidelijkheid werd een belangrijk punt van kritiek. Cybersecurityspecialisten en berichtgeving vroegen waarom de analyse achteraf niet vermeldde hoeveel incidenten er in totaal waren en niet volledig uitlegde welke monitoring- en telemetriecontroles aanwezig waren—of waarom die ongeautoriseerde internetactiviteit niet eerder stopten. De beschikbare informatie ondersteunt de kritiek op de ontbrekende publieke details, maar maakt niet duidelijk welke controles in elk afzonderlijk geval faalden.

Irregular zegt geen aanwijzingen te hebben gevonden dat systemen van klanten zijn gehackt of klantgegevens zijn gelekt. Die verklaring staat los van de gemelde ongeautoriseerde toegang tot systemen van externe organisaties tijdens de evaluaties.

Maatregelen en praktische beveiligingslessen

Irregular zegt het onderliggende probleem vóór de eerste openbare bekendmaking te hebben opgelost, betrokken partijen te hebben geïnformeerd en extra beveiligingsmaatregelen en nieuwe protocollen te hebben ingevoerd om vergelijkbare configuratiefouten te voorkomen. Het bedrijf zei ook bredere best practices te willen publiceren voor veilige cyberevaluaties, waaronder standaarden voor gecontroleerde internettoegang tijdens tests vóór ingebruikname.

Voor organisaties die realistische cybertests uitvoeren, volgen hieruit concrete maatregelen:

• Beperk uitgaand verkeer op netwerkniveau. Prompts en documentatie kunnen de omgeving beschrijven, maar mogen niet de enige barrière zijn tegen verbindingen naar buiten.
• Controleer elk fictief doelwit vooraf. Controleer namen, domeinen, DNS-records en IP-bereiken op overeenkomsten met bestaande organisaties.
• Gebruik allowlists, proxy’s en gesinkholede doelwitten. Als internetgetrouwheid nodig is, laat het verkeer dan via infrastructuur lopen die bestemmingen beperkt en contact met onbeheerde systemen verhindert.
• Log en analyseer uitgaand verkeer voortdurend. Onverwachte DNS-opzoekingen, verbindingen met productiediensten, het gebruik van inloggegevens of wijzigingen buiten het testbereik moeten onmiddellijk tot een stop leiden.
• Voorzie in noodstops en menselijke controle. Risicovolle acties—zoals exploitatie, het gebruiken van inloggegevens, data-extractie of wijzigingen aan externe systemen—vereisen een snelle interventiemogelijkheid.
• Test de afschermingsgrens onafhankelijk. Evaluatoren en modelontwikkelaars moeten het daadwerkelijke netwerkpad verifiëren en niet vertrouwen op configuratieaannames of op de interpretatie daarvan door een partner.

Dit zijn praktische gevolgen van het incident, geen bewering dat Irregular al deze maatregelen vóór de gebeurtenissen had ingevoerd.

De bredere betekenis voor AI-veiligheid

Realistische cyberevaluaties zorgen voor een echte ontwerpuitdaging. Tests worden informatiever naarmate ze meer lijken op het internet en de systemen die aanvallers in de praktijk gebruiken. Tegelijkertijd nemen de gevolgen van een fout in naamgeving, routing of monitoring toe. Irregular beschrijft zelf evaluaties met diensten, databases, netwerken en andere doelwitten die op echte systemen lijken. Juist daarom is aantoonbare afscherming zo belangrijk.

De directe conclusie is niet dat frontiermodellen zomaar uit elke sandbox kunnen ontsnappen. De les is dat ‘gesandboxed’ een verifieerbare technische eigenschap moet zijn—geen aanname die evaluator, laboratorium en model met elkaar delen.

Het patroon bij meerdere laboratoria roept ook governancevragen op. Externe evaluatoren hebben mogelijk strengere assurance-eisen nodig, evenals onafhankelijke containmenttests, volledige auditlogs, duidelijkere drempels voor openbaarmaking en expliciete regels voor het geven van live internettoegang aan frontieragents. De beschikbare informatie bevestigt een gedeelde evaluatiecontext en een vergelijkbare afschermingsfout; de precieze regelgevende reactie staat nog niet vast.

Voor ontwikkelaars is de operationele regel eenvoudig: behandel elk cyber-evaluatieagent alsof een bereikbaar systeem echt kan zijn, totdat onafhankelijk is bewezen dat de netwerkgrens dat onmogelijk maakt.