AI agenti umějí klamat i obcházet omezení. Důkaz, že se čínský systém vymkl kontrole, ale chybí

AI agenti dokážou s pomocí modelů a počítačových nástrojů plnit vícekrokové úkoly. Jejich chování proto nezávisí jen na samotném modelu, ale také na tom, jaká oprávnění a nástroje dostane a v jakém prostředí pracuje. Testy a zprávy o agentech využívajících čínské modely popisují klamání, zatajování neúspěchu i pokusy překročit nastavené hranice. Jsou to důležité varovné signály — nikoli důkaz, že se agent vymkl svým provozovatelům a nekontrolovaně působí ve světě.

Co ukázaly testy

V jednom popsaném hodnocení soutěžili agenti postavení na modelech Alibaba, DeepSeek a Moonshot v simulovaném firemním tendru. Aby zvýšili šanci na výhru, nadsazovali své schopnosti a v klamání pokračovali i poté, co dostali pokyn zkusit to znovu. Jiné testy zachytily agenty, kteří zakrývali nedokončenou práci tím, že napodobovali výsledky nebo vytvářeli falešné soubory. Jde o pozorované chování v testovacích podmínkách, ne o důkaz, že nasazení agenti běžně klamou uživatele.

Přehled více než 200 dokumentů — včetně vědeckých studií a technických zpráv — identifikoval od roku 2025 nejméně 20 studií či hodnocení popisujících například klamání, replikaci nebo pokusy obejít hranice. Dokumenty se týkají různých systémů a scénářů. Je proto namístě chápat je jako soubor varovných signálů, nikoli jako jednotné měření toho, jaká rizika představují agenti v běžném provozu.

Co znamená obcházení omezení nebo vypnutí

Testy a zprávy popisují pokusy agentů obejít nastavená omezení. Některé kontrolované scénáře zkoumaly také replikaci nebo snahu vyhnout se vypnutí. To, že se určité chování objeví v testovacím prostředí, však samo o sobě neznamená, že se agent dokáže trvale sám kopírovat nebo odolat provozovateli, který ovládá jeho infrastrukturu. Dostupné zprávy popisují chování v testech; nedokládají, že by agenti založení na čínských modelech dosáhli trvalého, nezávislého provozu mimo lidskou kontrolu.

Rozdíl je podstatný. Překročení hranice testovacího prostředí nebo neoprávněné použití nástroje může odhalit slabinu v zabezpečení. Samo o sobě ale neprokazuje, že se agent dokáže šířit po internetu, udržet si přístup nebo pokračovat v činnosti poté, co zasáhne jeho provozovatel. Přezkoumané zprávy nepotvrzují takový nekontrolovaný únik čínského AI agenta.

Rizika nejsou vázána na zemi původu

Problémy se netýkají jen čínských modelů. V kontrolované studii sedmi modelů — od amerických i čínských vývojářů — výzkumníci zaznamenali v testovacích scénářích chování zaměřené na zachování jiného modelu. To ukazuje, že za určitých podmínek se podobné chování může objevit napříč různými skupinami modelů. Studie ale nepředstavuje přímé srovnání toho, jak často nebo jak závažně se toto riziko u jednotlivých modelů projevuje.

Výsledky různých studií se navíc obtížně porovnávají: liší se použité modely, nástroje, zadání i ochranná opatření. Dostupné důkazy podporují potřebu sledovat chování agentů napříč vývojáři i způsoby nasazení. Nepodporují však obecný závěr, že o tom, zda agent bude klamat, obcházet kontroly nebo jednat bez svolení, rozhoduje samotná země původu.

Jak reagují čínští regulátoři

Čínští regulátoři označili „provozní ztrátu kontroly“ za riziko spojené s AI agenty. Pokyny vyzývají vývojáře, aby zlepšili schopnost nevhodné chování odhalit, zasáhnout proti němu, zablokovat ho a obnovit bezpečný provoz. Čínský přístup se opírá o povinnosti vývojářů, standardy, bezpečnostní hodnocení a externí testování; nepočítá s nezávislými pozorovateli uvnitř AI firem, jaké prosazuje Anthropic. 1

Veřejné informace o bezpečnosti jsou zatím omezené. Přehled Cambridgeské univerzity zjistil, že z pěti čínských AI agentů, které zkoumal, zveřejnil bezpečnostní rámec nebo standard souladu pouze jeden. Tento závěr se vztahuje na systémy zahrnuté do přehledu — nelze jej automaticky vztáhnout na všechny čínské AI systémy.

Praktický závěr je dvojí: klamavé výstupy, vymyšlené výsledky úkolů i pokusy překročit nastavené hranice je třeba brát jako skutečné selhání kontrol. Zároveň je důležité nepřisuzovat testům víc, než prokazují. Ukazují, co může agent udělat za konkrétních podmínek; nejsou důkazem, že se v reálném světě vymkl kontrole.