GLM-5.3 kommt Claude Mythos Preview bei einem Exploit-Test nahe

Anthropic zufolge kann GLM-5.3, ein Modell des Unternehmens Z.ai, in einem bestimmten Test fast so oft funktionierende Software-Exploits entwickeln wie Claude Mythos Preview. Zugleich ließen sich die Schutzmechanismen des offen verfügbaren Modells in Simulationen häufig umgehen. Das wirft Fragen dazu auf, wie breit solche Fähigkeiten zugänglich sein sollten. Wichtig ist aber die Einordnung: Die Ergebnisse stammen aus kontrollierten Tests und belegen keine erfolgreichen Angriffe auf reale Ziele. 12

Im ExploitBench-Test lagen die Modelle nah beieinander

Im ExploitBench-Test von Anthropic erzeugte GLM-5.3 bei 50 von 410 Versuchen einen funktionierenden Exploit. Claude Mythos Preview gelang das bei 56 Versuchen. Das entspricht rund 12 beziehungsweise 14 Prozent. Getestet wurde die Entwicklung von Exploits für bekannte Schwachstellen in einer kontrollierten Umgebung. Die ähnlichen Werte belegen daher nicht, dass beide Modelle bei allen Aufgaben der Cybersicherheit gleich leistungsfähig sind. 512

Anthropic wertete GLM-5.3s Fähigkeit, vollständige Exploit-Ketten zu entwickeln, als deutlichen Fortschritt gegenüber früheren Modellen. In einem weiteren Test zur Binär-Exploitation gelang GLM-5.3 bei vier Prozent der Aufgaben eine vollständige Kontrolle des Programmablaufs; bei Mythos Preview waren es sechs Prozent. Auch diese Ergebnisse beziehen sich auf konkrete Tests, nicht auf eine allgemeine Gleichwertigkeit der Modelle. 3712

NIST ordnet die Fähigkeiten breiter ein

Das Center for AI Standards and Innovation (CAISI) des US-amerikanischen National Institute of Standards and Technology (NIST) bezeichnete GLM-5.3 als das bislang leistungsfähigste von ihm untersuchte Modell mit offen zugänglichen Gewichten. Über mehrere Cybersecurity-Benchmarks hinweg liege es jedoch etwa vier Monate hinter aktuellen US-amerikanischen Spitzenmodellen. 17

Das widerspricht Anthropics Vergleich mit Mythos Preview nicht zwangsläufig: NIST wertete mehrere Benchmarks aus, während Anthropics besonders auffälliger Vergleich auf einem einzelnen Exploit-Test beruht. Unterschiedliche Tests und Vergleichsgruppen können zu unterschiedlichen, miteinander vereinbaren Einschätzungen führen. 1217

Schutzmechanismen ließen sich in Simulationen umgehen

Anthropic berichtete, dass einfache Methoden die Schutzmechanismen von GLM-5.3 in 64 bis 100 Prozent der getesteten Simulationen umgingen. Diese Zahlen beschreiben die Ergebnisse der getesteten Eingaben und Methoden. Sie geben nicht an, wie wahrscheinlich ein realer Angriff wäre. 12

Bei Modellen mit offen zugänglichen Gewichten besteht laut dem Bericht außerdem die Möglichkeit, das Ablehnungsverhalten des Modells zu verändern – statt lediglich mit einer Eingabe daran vorbeizukommen. Ein Bericht über das Experiment bezifferte die geschätzten Kosten für ein erfahrenes Team, die Schutzmechanismen zu entfernen, auf etwa 1.200 US-Dollar. Zugleich nannte er eine Rechenkosten-Schätzung von rund 4.400 US-Dollar. Das sind unterschiedliche Schätzungen zum Aufwand, kein fester Preis und keine Aussage darüber, wie oft echte Angreifer damit Erfolg hätten. 1225

Die Demonstration betraf bereits bekannte Schwachstellen

Bei einem berichteten Versuch nutzte ein Forscher die kleinere Variante GLM-5.3-Flash, um eine Exploit-Kette für zwei bereits veröffentlichte Schwachstellen zu erstellen. Laut Bericht erforderte die Arbeit rund 20 Minuten menschliche Aufmerksamkeit und acht Stunden Modelllaufzeit; die API-Kosten betrugen 20,40 US-Dollar. Eine der Schwachstellen betraf Chrome. Der Forscher gab dem Modell öffentliche Informationen zu den bekannten Fehlern. Die Demonstration zeigt, dass das Modell in einem Test bei der Entwicklung einer Exploit-Kette für bekannte Schwachstellen helfen konnte – nicht, dass ein reales Opfer angegriffen oder kompromittiert wurde. 6

Diese Unterscheidung ist entscheidend: Ein Modell, das unter Testbedingungen einen funktionierenden Exploit erstellen kann, weist auf mögliches Missbrauchspotenzial hin. Das ist aber nicht dasselbe wie ein nachgewiesener Angriff in freier Wildbahn. Die hier vorliegenden Berichte belegen nicht, dass GLM-5.3 für einen Einbruch in ein reales Ziel eingesetzt wurde. 56

Offene Gewichte: mehr Zugang, aber auch weniger Kontrolle

Anthropics Sorge: Fähigkeiten zur Entwicklung von Exploits können sowohl Angreifern als auch Verteidigern nützen. Zugleich spricht sich das Unternehmen dafür aus, Verteidigern Zugang zu fortgeschrittenen Modellen zu geben, damit sie Schwachstellen finden und beheben können. 112

Bei Modellen mit offenen Gewichten stehen die trainierten Parameter zur Verfügung, sodass Nutzer das Modell selbst betreiben oder anpassen können. Das kann unabhängige Forschung und defensive Arbeit erleichtern, gibt Nutzern aber auch mehr Spielraum, das Modell außerhalb der Kontrollen seines Entwicklers zu verändern. Die Benchmark- und Sicherheitstests liefern wichtige Anhaltspunkte für diese Debatte. Für sich genommen zeigen sie jedoch nicht, ob Zugangsbeschränkungen die Cybersicherheit insgesamt verbessern würden. 412

Die belastbarste Schlussfolgerung ist daher eine begrenzte: In Anthropics Bewertung kam GLM-5.3 bei einem Exploit-Benchmark nahe an Mythos Preview heran, und getestete Methoden konnten seine Schutzmechanismen umgehen. NIST ordnete das Modell in einer breiteren Auswertung weiterhin hinter aktuellen US-amerikanischen Spitzenmodellen ein. Die berichteten Demonstrationen waren keine Angriffe auf Live-Ziele. 1217