GLM-5.3 se v jednom testu exploitů přiblížil modelu Mythos. Jeho ochrany šly snadno obejít

Zářijové hodnocení společnosti Anthropic zjistilo, že GLM-5.3 od Z.ai dokázal v jednom benchmarku vytvářet funkční exploity od začátku do konce téměř stejně často jako Claude Mythos Preview. Zároveň se ukázalo, že v simulovaných testech šly ochrany GLM-5.3 obejít poměrně snadno. Jde o výsledky kontrolovaných zkoušek, nikoli o důkaz úspěšných útoků na skutečné cíle. 12

Jak si GLM-5.3 vedl proti Mythos Preview

V testu ExploitBench vytvořil GLM-5.3 funkční exploit v 50 ze 410 pokusů, zatímco Claude Mythos Preview v 56. To odpovídá přibližně 12 % oproti 14 %. Benchmark měřil vývoj exploitů pro známé zranitelnosti v kontrolovaném prostředí; blízké skóre proto neznamená, že oba modely podávají srovnatelný výkon ve všech kyberbezpečnostních úlohách. 512

Anthropic označil schopnost GLM-5.3 sestavit exploit od začátku do konce za výrazný posun oproti starším modelům. V samostatném testu binárního zneužití zapsal GLM-5.3 úplné převzetí řízení toku ve 4 % úloh, zatímco Mythos Preview v 6 %. I tyto výsledky vypovídají o konkrétních testech, nikoli o univerzální rovnocennosti modelů. 3712

NIST nabídl širší, ale opatrnější srovnání

Centrum pro standardy a inovace v oblasti AI (CAISI) při americkém Národním institutu pro standardy a technologie (NIST) označilo GLM-5.3 za nejkyberneticky schopnější model s otevřenými vahami, který dosud hodnotilo. V souhrnu širší sady kyberbezpečnostních benchmarků ho však zařadilo zhruba čtyři měsíce za současné americké špičkové modely. 17

To není v rozporu s výsledkem Anthropic: NIST porovnával model napříč širším souborem testů, zatímco nejvýraznější srovnání Anthropic se týkalo konkrétní úlohy a modelu Mythos Preview. Různé testy a srovnávací skupiny mohou vést k odlišným, ale současně platným závěrům. 1217

Ochrany neobstály v simulacích

Anthropic uvedl, že jednoduché postupy obešly ochrany GLM-5.3 v 64 až 100 % jeho simulovaných testů. Tato čísla popisují výsledky konkrétních testovacích zadání a metod, nikoli pravděpodobnost, že útočník uspěje při skutečné operaci. 12

Otevřené váhy přinášejí další otázku: kdo k nim má přístup, může se pokusit změnit chování modelu při odmítání požadavků, místo aby se jeho ochrany pouze snažil obejít zadáním. Podle sekundárního popisu Anthropicova experimentu se náklady na odstranění ochranných mechanismů odhadovaly na zhruba 1 200 USD pro zkušený tým; jiný odhad uváděl asi 4 400 USD za výpočetní výkon. Jde o odhady různě popsané práce, nikoli o pevnou cenu nebo měřítko toho, jak často by uspěli skuteční útočníci. 1225

Co ukázala demonstrace s exploity

V jednom popsaném testu výzkumník použil menší model GLM-5.3-Flash k vytvoření řetězce exploitů pro dvě již zveřejněné zranitelnosti. Podle zprávy tomu věnoval přibližně 20 minut lidské práce; model pracoval osm hodin a poplatky za API činily 20,40 USD. Jedna ze zranitelností se týkala Chromu a výzkumník modelu poskytl veřejně dostupné informace o známých chybách. Demonstrace ukazuje pomoc při tvorbě řetězce pro již zveřejněné zranitelnosti v testovacím prostředí — nikoli napadení skutečné oběti. 6

Rozdíl je důležitý: schopnost modelu vytvořit exploit v testovacích podmínkách upozorňuje na možnost zneužití, ale sama o sobě není důkazem útoku v praxi. Dostupné zprávy nepotvrzují, že by GLM-5.3 posloužil k prolomení zabezpečení skutečného cíle. 56

Otevřené modely: přístup i riziko

Anthropic upozorňuje, že nástroje schopné vytvářet exploity mohou sloužit útočníkům i obráncům. Zároveň společnost prosazuje, aby obránci měli přístup k pokročilým modelům, s jejichž pomocí mohou zranitelnosti hledat a opravovat. 112

Otevřené váhy tak přinášejí obtížný kompromis. Nezávislým výzkumníkům a obráncům umožňují model spouštět a využívat, ale zároveň dávají uživatelům větší možnost provozovat či upravovat ho mimo kontrolu jeho vývojáře. Výsledky benchmarků a testů ochran pomáhají debatu informovat, samy však neukazují, zda by omezení přístupu celkově zvýšilo kybernetickou bezpečnost. 412

Nejpřesnější závěr je užší: v hodnocení Anthropic se GLM-5.3 přiblížil Mythos Preview v jednom benchmarku exploitů a testované metody dokázaly jeho ochrany obejít. Širší hodnocení NIST ho přesto zařadilo za současné americké špičkové modely a popsané demonstrace nebyly útoky na živé cíle. 1217