Jak Microsoft a Nvidia zamykají autonomní AI agenty, aby se nestali hrozbou

Obrana do hloubky po vrstvách – Bezpečnostní blog Microsoftu (květen 2026) definuje čtyři vrstvy zmírňování: modelovou vrstvu (trénovací data, dolaďování, odmítavé chování), vrstvu bezpečnostního systému (filtrování obsahu za běhu, zábrany, logování, sledovatelnost), aplikační vrstvu (oprávnění, pracovní postupy, eskalační cesty) a vrstvu umístění (transparentnost dokumentace a UX zveřejnění) . Novější příspěvek z června přidává podrobnější čtyřvrstvý pohled: modelovou vrstvu, vrstvu bezpečnostního systému, vrstvu metapromptu a ukotvení a agentickou vrstvu (oprávnění k používání nástrojů a kontroly s lidským dohledem) .

Seznamy povolených MCP serverů na úrovni tenanta – Organizace musí udržovat schválený seznam vydavatelů a serverů Model Context Protocol (MCP). Katalog MCP od Microsoftu poskytuje prověřené first-party servery a všechny externí komponenty jsou považovány za součást dodavatelského řetězce softwaru. Doporučuje se zakázat možnost „Allow all“ u MCP připojení a povolit pouze ty nástroje, které agent skutečně potřebuje .

Generování SBOM pro nasazení agentů – Software Bill of Materials včetně závislostí nástrojů, s ověřením podpisu a původu MCP serverů před instalací. Microsoft také doporučuje skenování registrů pro skryté instrukce v popisech nástrojů a verzování s monitorováním změn u všech definic externích nástrojů .

Politické zábrany (policy-based guardrails) – Kromě monitorování mohou organizace aplikovat politicky založené kontroly, které nastaví, co smí agenti dělat. Ty se vynucují přes Agent 365 SDK a infrastrukturu Windows politik . Windows Developer Blog Microsoftu uvádí: „Uzavření omezuje, k čemu mají agenti přístup a co mohou dělat, takže se nedeterministické chování nepřekládá do nezvladatelného rizika“ .

Správa řídicí roviny (control plane governance) – Centralizované vlastnictví, správa životního cyklu identit a vymáhání souladu napříč všemi agenty v organizaci. Rámec pro přijetí cloudu Azure (Azure Cloud Adoption Framework) doporučuje vytvořit centralizovaný a vymahatelný základ správy a zabezpečení, který je v souladu se stávajícími postupy identity, správy dat a zabezpečení .

Jak tato opatření řeší bezpečnostní rizika

Rámec cílí na celý řetězec útoků – otravu dodavatelského řetězce (pomocí seznamů povolených a SBOM), eskalaci oprávnění (pomocí izolace MXC), krádež dat (pomocí runtime zábran a filtrování obsahu) a neoprávněné používání nástrojů (pomocí kontrol oprávnění a smyček s lidským dohledem) . Microsoftova taxonomie režimů selhání po roce red teamingu agentických systémů přidává architekturu s nulovou důvěrou mezi agenty: u vysoce rizikových scénářů by měla být identita agenta stanovena kryptograficky, nikoli předpokládána z pozice v pracovním postupu .

Širší posun v oboru: Aktivní kybernetická obrana s přísnějšími kontrolami

Dvě velké iniciativy z poloviny roku 2026 ilustrují posun v oboru směrem k používání AI agentů útočně i obranně v kybernetické bezpečnosti a zároveň k zavádění přísnějších zábran.

Project Perception od Microsoftu

Oznámeno 27. července 2026, Project Perception je agentický bezpečnostní systém, který jde nad rámec generování výstrah a přechází k nepřetržité automatické akci . Microsoft jej popsal jako „neustále se učící obranný systém“, který dokáže „uvažovat, stanovovat priority a jednat strojovou rychlostí, přičemž pevně drží člověka u kormidla“ .

• Nasazuje tři specializované typy agentů – červené agenty (sondují jako útočníci), modré agenty (vyšetřují a třídí hrozby) a zelené agenty (odstraňují a posilují) – kteří koordinují celý cyklus najdi-zatřiď-oprav . Agenti sdílejí informace prostřednictvím orchestrovaných pracovních postupů, takže „nález se stává opravou, proaktivně, bez předávání na každém kroku“ .
• Platforma je postavena na prvním interním kybernetickém modelu Microsoftu, MAI-Cyber-1-Flash, o kterém Microsoft říká, že „poskytuje výkon světové úrovně za 50 % nákladů předních modelů“ .
• Microsoft údajně přesunul významnou část svých vlastních bezpečnostních operací na tento AI model, čímž snížil náklady na výpočetní výkon přibližně o 50 % .
• Project Perception vstoupil do veřejné verze preview 3. srpna 2026 a je dodáván v rámci Microsoft Defenderu . Vysoce rizikové akce stále vyžadují schválení člověkem .

Proč je to důležité: Jde o konkrétní příklad, kdy AI agenti dostávají aktivní, autonomní role v kybernetické obraně – sondování systémů, opravy zranitelností a reakce na hrozby bez čekání na lidský pokyn. Přísnější kontrola přichází z výše popsaných pravidel uzavření: agenti Project Perception stále pracují v kontejnerech MXC, pod politickými zábranami, s možností sledování a lidského dohledu .

Open Secure AI Alliance (OSAA) od Nvidie

Založena 27. července 2026 – jen pár dní po vysoce sledovaném incidentu na Hugging Face, který poukázal na rizika ztráty kontroly nad autonomními AI agenty – OSAA je průmyslová koalice budující otevřené bezpečnostní nástroje pro AI agenty .

• Zakládající členové (37 organizací): Microsoft, IBM, Cisco, CrowdStrike, Cloudflare, Dell, Hewlett Packard Enterprise, Linux Foundation, Hugging Face, Adobe, Capital One, Salesforce, SAP, SpaceXAI a další . OpenAI a Google se rozhodly nepřipojit .
• Rychlý růst: Během týdne aliance nabobtnala na více než 120 členských organizací .
• Klíčové open-source příspěvky: Nvidia uvolnila jako open source svůj výzkumný nástroj NOOA (Nvidia Open Omniverse Agent), který je k dispozici na GitHubu pro testování, sledování, auditování a správu chování agentů . Aliance také navrhla směrnice prostřednictvím Linux Foundation pro transparentní zveřejňování zranitelností a koordinovanou obranu .
• Rozsah: Nástroje pokrývají celý bezpečnostní stack AI – identity a oprávnění, agentní harnessy, runtime zábrany, sledovatelnost, vyhodnocování a reakci na incidenty .

Proč je to důležité: OSAA představuje kolektivní uznání průmyslu, že žádný jediný dodavatel nemůže zabezpečit autonomní agenty sám. Zaměření aliance na otevřené modely a sdílené nástroje je záměrným protipólem uzavřených, proprietárních přístupů – sázkou je, že širší komunitní přístup k bezpečnostním nástrojům předčí útočníky . Nvidia uvedla: „Otevřené modely demokratizují obranné schopnosti, zvyšují transparentnost pro obránce, umožňují kybernetickou obranu při zachování ochrany dat a doplňují špičkové uzavřené modely o přizpůsobitelné, lokalizované kontroly“ .

Shrnutí: Dvojí trend

Vzorec je jasný: tytéž společnosti, které tlačí AI agenty do aktivních, autonomních obranných rolí v kybernetické bezpečnosti, zároveň závodí v budování struktur uzavření a správy, které mají zabránit tomu, aby se tito agenti stali další generací bezpečnostních hrozeb.