Stejná vlastnost, která usnadňuje jejich řízení, je však zároveň omezuje: obvykle jsou navrženy pro konkrétní úkol. Model odhalující podvody může ohodnotit transakci, ale nemusí umět vysvětlit interní směrnici, napsat zprávu ani pružně reagovat na neznámou situaci. Výsledek navíc závisí na kvalitě trénovacích dat a na tom, co bylo cílem optimalizace.

To přináší důležité etické otázky v oblastech, jako jsou úvěry, nábor zaměstnanců, pojišťovnictví a zdravotnictví. Historická data mohou reprodukovat společenské předsudky a neprůhledné skórovací systémy mohou lidem ztížit možnost rozhodnutí napadnout. Odpovědné řízení proto musí zahrnovat jasně stanovený účel, testování přesnosti a férovosti u relevantních skupin, ochranu soukromí, srozumitelné vysvětlení a lidskou kontrolu u rozhodnutí s významným dopadem. Obavy z předpojatosti, dezinformací a zneužití se týkají politiky AI obecně, nikoli pouze chatbotů.

2. Generativní AI: od predikce štítků k tvorbě obsahu

Generativní AI mění uživatelskou zkušenost z otázky „Do jaké kategorie to patří?“ na požadavek „Vytvoř nebo uprav něco podle tohoto zadání“. Velké modely dokážou vytvářet přesvědčivý text, obrázky, zvuk i kód. Uplatnění nacházejí například při přípravě odpovědí zákaznické podpory, překládání, doučování, shrnování právních materiálů, programování nebo kreativní práci.

Generativní systémy mohou zkrátit čas i náklady potřebné k vytvoření prvního návrhu, nabídnout konverzační rozhraní ke složitým informacím a pomoci lidem pracovat s obsahem v nových formátech. Profesionály přitom nemusí pouze nahrazovat — mohou jejich práci také rozšiřovat.

Hlavní slabina: přesvědčivost neznamená pravdivost

Generativní model může vytvořit sebejisté, ale smyšlené nebo nepřesné tvrzení, zdroj, právní argument, lékařskou informaci či kus kódu. Americký Národní institut pro standardy a technologie (NIST) pro tento jev používá termín konfabulace: „produkce sebejistě formulovaného, avšak chybného nebo nepravdivého obsahu“, kterému se běžně říká halucinace.

Všude, kde záleží na faktické přesnosti, je proto nutné výstupy ověřovat. Pomoci může vyhledávání v důvěryhodných materiálech, uvádění citací, strukturované hodnocení, testování v konkrétní doméně a kontrola kvalifikovaným člověkem. Plynulá odpověď je návrh nebo predikce — nikoli důkaz, že její obsah je správný.

Širší rizika generativních systémů

Generativní AI otevírá také otázky ochrany dat, duševního vlastnictví, dezinformací a původu vytvořeného obsahu. Evropská komise ve svých pokynech pro výzkum na tato rizika upozorňuje a zdůrazňuje, že za publikovanou práci zůstává odpovědný člověk, i když mu při ní pomáhala AI.

Podobný problém se objevuje ve vzdělávání. Pokud studenti běžně přenechávají AI psaní, uvažování a řešení problémů, mohou získat uhlazený výsledek, aniž by si dostatečně procvičili dovednosti, které jsou za ním. Doporučení pro vzdělávání mezi riziky uvádějí nepřesný či předpojatý obsah, škodlivý materiál, úniky dat, porušení práv duševního vlastnictví a problémy s akademickou integritou.

Selhání bezpečnostních mechanismů může být ještě závažnější u citlivých konverzací. Generativní systémy mohou vytvářet nenávistný, násilný, sexuální či manipulativní obsah nebo nevhodně reagovat na člověka, který hovoří o sebepoškozování. NIST mezi relevantní rizika řadí nebezpečná či násilná doporučení, zásahy do soukromí a škodlivou předpojatost. V rizikových situacích nesmí AI nahrazovat kvalifikovanou péči ani lidské bezpečnostní postupy. Systémy potřebují spolehlivé odmítnutí nebezpečných požadavků, mechanismy eskalace, ochranu soukromí a jasnou cestu k okamžité lidské pomoci.

3. Agentická AI: plánování, používání nástrojů a jednání

Agentická AI přidává kolem modelu akční smyčku. Agent nejen jednorázově odpoví na výzvu, ale může interpretovat cíl, rozdělit ho na jednotlivé kroky, zavolat nástroje — například webový prohlížeč, spouštěč kódu, e-mailovou službu nebo API — zkontrolovat výsledek, upravit plán a pokračovat.

Stanford popisuje agentickou AI jako autonomní nebo částečně autonomní systémy, které dokážou interpretovat cíle, řadit kroky, používat nástroje, reagovat na zpětnou vazbu a přizpůsobovat se při plnění úkolů v předem vymezených mantinelech.

Praktický rozdíl je významný:

• predikční systém transakci ohodnotí;
• generativní systém k ní připraví návrh odpovědi; a
• agent by při potřebných oprávněních mohl transakci prošetřit, aktualizovat spis a odeslat zprávu.

Příkladem využití ve vývoji softwaru je Google Jules. Google jej popisuje jako asynchronního programovacího agenta, který se napojuje na repozitáře, zkopíruje kód do cloudového virtuálního počítače a pracuje na zadaných úkolech, které může člověk následně zkontrolovat. Jiný přístup představují open-source agenti používající nástroje. Agentické pracovní postupy se objevují také v náboru, například u produktu Hiring Assistant společnosti LinkedIn.

Agenti jsou lákaví, protože dokážou dokončit vícestupňovou práci, místo aby pouze navrhli další krok. Programovací agent může prošetřit chybu, upravit několik souborů, spustit testy a připravit pull request. Pracovní agent může shromáždit informace, uspořádat je a připravit komunikaci ke schválení.

Proč autonomie zvyšuje riziko

Schopnost plánovat není totéž co spolehlivé porozumění. Agent může špatně pochopit webovou stránku, zvolit nevhodný postup, uposlechnout škodlivý pokyn nebo během mnoha kroků násobit původně malou chybu. Podle Stanford AI Index 2026 se úspěšnost agentů na benchmarku OSWorld, který testuje skutečné úlohy na počítači, zvýšila z 12 % na přibližně 66 %. Přesto stále selhávají zhruba v jednom ze tří pokusů.

Halucinace chatbota může zůstat především komunikačním problémem. Agent s přístupem k přihlašovacím údajům, prohlížeči nebo platebním oprávněním však může stejnou chybu proměnit v reálný zásah do světa. Řízení agentické AI proto musí řešit nejen kvalitu výstupu, ale také oprávnění, vratnost akcí a odpovědnost.

Hlavní bezpečnostní rizika AI agentů

Největší rizika vznikají tam, kde agent může ovlivnit systémy, peníze, data nebo jiné lidi:

• Neautorizované platby: Agent může vybrat nesprávné zboží, překročit rozpočet nebo se nechat zmanipulovat škodlivou webovou stránkou.
• Únik soukromých údajů a krádež dat: Přístup k e-mailům, souborům, zákaznickým záznamům, zdrojovému kódu nebo klíčům API vytváří prostor pro zveřejnění dat, mimo jiné prostřednictvím prompt injection — škodlivých pokynů vložených do obsahu, který agent zpracovává.
• Bezpečnostní a softwarové škody: Agent může vložit nezabezpečený kód, změnit konfiguraci, smazat zdroje nebo zveřejnit tajné údaje v protokolech či externích nástrojích.
• Mezery v odpovědnosti: Není vždy jasné, zda odpovědnost nese poskytovatel modelu, vývojář aplikace, organizace, která agenta nasadila, poskytovatel nástroje, nebo uživatel.
• Manipulace: Trvale dostupní konverzační agenti mohou nepřiměřeně ovlivňovat uživatele, zejména pokud je člověk zranitelný nebo systém působí schopněji a důvěryhodněji, než ve skutečnosti je.

Jak vypadá odpovědné řízení

Kontroly by měly odpovídat schopnostem systému i následkům jeho selhání.

U predikční AI je třeba stanovit účel, měřit přesnost a férovost, chránit osobní údaje a nabídnout způsob, jak vysvětlit nebo napadnout rozhodnutí s významným dopadem.

U generativní AI by organizace měly ověřovat důležitá tvrzení, testovat halucinace a škodlivé výstupy, kontrolovat práci s citlivými daty, řešit původ obsahu a otázky duševního vlastnictví a ponechat právní, lékařská, finanční a bezpečnostní rozhodnutí kvalifikovaným lidem.

U agentů je třeba jít ještě dál:

1. Vymezit účel použití. Ještě před nasazením určit, co agent smí a nesmí dělat.
2. Omezit přístup. Používat oprávnění v rozsahu nejmenších privilegií, omezené nástroje, transakční limity a izolovaná testovací prostředí.
3. Vyžadovat schválení v důležitých kontrolních bodech. Finanční, právní, soukromí ohrožující a bezpečnostně citlivé akce by neměly probíhat bez odpovídajícího souhlasu člověka.
4. Zajistit auditovatelnost činnosti. Uchovávat protokoly, sledovat chování a jasně určit vlastníka odpovědnosti za incidenty.
5. Testovat útoky a nestandardní situace. Před nasazením i během provozu prověřovat prompt injection, odčerpání dat, škodlivé chování a schopnost zotavit se po selhání.
6. Zachovat lidskou kontrolu. Lidé musí mít možnost akci zastavit, zvrátit a napadnout její důsledky.

Singapurský úřad Infocomm Media Development Authority popisuje tento přístup založený na míře rizika ve svém Model AI Governance Framework for Agentic AI. Rámec je určen organizacím, které agenty vyvíjejí interně nebo nasazují řešení třetích stran. Jeho hlavní lekce je praktická: autonomii je třeba zvyšovat postupně — začít asistencí pouze pro čtení, pokračovat nízkorizikovými akcemi a nevratné nebo vysoce dopadové kroky ponechat na výslovné schválení člověkem.

Kam se AI posouvá

Vývoj AI je nejlepší chápat jako rozšiřující se soubor schopností, nikoli jako tři zcela oddělené éry. Tradiční systémy predikují a klasifikují. Generativní systémy vytvářejí a transformují. Agentické systémy k tomu přidávají plánování, používání nástrojů a jednání.

Řízení musí růst stejným tempem. Kontroly přesnosti a férovosti zůstávají důležité, samy už ale nestačí. Generativní systémy vyžadují důraz na ověřování, původ obsahu a jeho bezpečnost. Agenti navíc potřebují hranice oprávnění, kontrolní body před akcí, bezpečnostní monitoring a jasně rozdělenou odpovědnost.

Čím více toho systém AI dokáže udělat sám, tím pečlivěji musí organizace rozhodnout, co mu skutečně dovolí.

Stejná vlastnost, která usnadňuje jejich řízení, je však zároveň omezuje: obvykle jsou navrženy pro konkrétní úkol. Model odhalující podvody může ohodnotit transakci, ale nemusí umět vysvětlit interní směrnici, napsat zprávu ani pružně reagovat na neznámou situaci. Výsledek navíc závisí na kvalitě trénovacích dat a na tom, co bylo cílem optimalizace.

To přináší důležité etické otázky v oblastech, jako jsou úvěry, nábor zaměstnanců, pojišťovnictví a zdravotnictví. Historická data mohou reprodukovat společenské předsudky a neprůhledné skórovací systémy mohou lidem ztížit možnost rozhodnutí napadnout. Odpovědné řízení proto musí zahrnovat jasně stanovený účel, testování přesnosti a férovosti u relevantních skupin, ochranu soukromí, srozumitelné vysvětlení a lidskou kontrolu u rozhodnutí s významným dopadem. Obavy z předpojatosti, dezinformací a zneužití se týkají politiky AI obecně, nikoli pouze chatbotů.

2. Generativní AI: od predikce štítků k tvorbě obsahu

Generativní AI mění uživatelskou zkušenost z otázky „Do jaké kategorie to patří?“ na požadavek „Vytvoř nebo uprav něco podle tohoto zadání“. Velké modely dokážou vytvářet přesvědčivý text, obrázky, zvuk i kód. Uplatnění nacházejí například při přípravě odpovědí zákaznické podpory, překládání, doučování, shrnování právních materiálů, programování nebo kreativní práci.

Generativní systémy mohou zkrátit čas i náklady potřebné k vytvoření prvního návrhu, nabídnout konverzační rozhraní ke složitým informacím a pomoci lidem pracovat s obsahem v nových formátech. Profesionály přitom nemusí pouze nahrazovat — mohou jejich práci také rozšiřovat.

Hlavní slabina: přesvědčivost neznamená pravdivost

Generativní model může vytvořit sebejisté, ale smyšlené nebo nepřesné tvrzení, zdroj, právní argument, lékařskou informaci či kus kódu. Americký Národní institut pro standardy a technologie (NIST) pro tento jev používá termín konfabulace: „produkce sebejistě formulovaného, avšak chybného nebo nepravdivého obsahu“, kterému se běžně říká halucinace.

Všude, kde záleží na faktické přesnosti, je proto nutné výstupy ověřovat. Pomoci může vyhledávání v důvěryhodných materiálech, uvádění citací, strukturované hodnocení, testování v konkrétní doméně a kontrola kvalifikovaným člověkem. Plynulá odpověď je návrh nebo predikce — nikoli důkaz, že její obsah je správný.

Širší rizika generativních systémů

Generativní AI otevírá také otázky ochrany dat, duševního vlastnictví, dezinformací a původu vytvořeného obsahu. Evropská komise ve svých pokynech pro výzkum na tato rizika upozorňuje a zdůrazňuje, že za publikovanou práci zůstává odpovědný člověk, i když mu při ní pomáhala AI.

Podobný problém se objevuje ve vzdělávání. Pokud studenti běžně přenechávají AI psaní, uvažování a řešení problémů, mohou získat uhlazený výsledek, aniž by si dostatečně procvičili dovednosti, které jsou za ním. Doporučení pro vzdělávání mezi riziky uvádějí nepřesný či předpojatý obsah, škodlivý materiál, úniky dat, porušení práv duševního vlastnictví a problémy s akademickou integritou.

Selhání bezpečnostních mechanismů může být ještě závažnější u citlivých konverzací. Generativní systémy mohou vytvářet nenávistný, násilný, sexuální či manipulativní obsah nebo nevhodně reagovat na člověka, který hovoří o sebepoškozování. NIST mezi relevantní rizika řadí nebezpečná či násilná doporučení, zásahy do soukromí a škodlivou předpojatost. V rizikových situacích nesmí AI nahrazovat kvalifikovanou péči ani lidské bezpečnostní postupy. Systémy potřebují spolehlivé odmítnutí nebezpečných požadavků, mechanismy eskalace, ochranu soukromí a jasnou cestu k okamžité lidské pomoci.

3. Agentická AI: plánování, používání nástrojů a jednání

Agentická AI přidává kolem modelu akční smyčku. Agent nejen jednorázově odpoví na výzvu, ale může interpretovat cíl, rozdělit ho na jednotlivé kroky, zavolat nástroje — například webový prohlížeč, spouštěč kódu, e-mailovou službu nebo API — zkontrolovat výsledek, upravit plán a pokračovat.

Stanford popisuje agentickou AI jako autonomní nebo částečně autonomní systémy, které dokážou interpretovat cíle, řadit kroky, používat nástroje, reagovat na zpětnou vazbu a přizpůsobovat se při plnění úkolů v předem vymezených mantinelech.

Praktický rozdíl je významný:

• predikční systém transakci ohodnotí;
• generativní systém k ní připraví návrh odpovědi; a
• agent by při potřebných oprávněních mohl transakci prošetřit, aktualizovat spis a odeslat zprávu.

Příkladem využití ve vývoji softwaru je Google Jules. Google jej popisuje jako asynchronního programovacího agenta, který se napojuje na repozitáře, zkopíruje kód do cloudového virtuálního počítače a pracuje na zadaných úkolech, které může člověk následně zkontrolovat. Jiný přístup představují open-source agenti používající nástroje. Agentické pracovní postupy se objevují také v náboru, například u produktu Hiring Assistant společnosti LinkedIn.

Agenti jsou lákaví, protože dokážou dokončit vícestupňovou práci, místo aby pouze navrhli další krok. Programovací agent může prošetřit chybu, upravit několik souborů, spustit testy a připravit pull request. Pracovní agent může shromáždit informace, uspořádat je a připravit komunikaci ke schválení.

Proč autonomie zvyšuje riziko

Schopnost plánovat není totéž co spolehlivé porozumění. Agent může špatně pochopit webovou stránku, zvolit nevhodný postup, uposlechnout škodlivý pokyn nebo během mnoha kroků násobit původně malou chybu. Podle Stanford AI Index 2026 se úspěšnost agentů na benchmarku OSWorld, který testuje skutečné úlohy na počítači, zvýšila z 12 % na přibližně 66 %. Přesto stále selhávají zhruba v jednom ze tří pokusů.

Halucinace chatbota může zůstat především komunikačním problémem. Agent s přístupem k přihlašovacím údajům, prohlížeči nebo platebním oprávněním však může stejnou chybu proměnit v reálný zásah do světa. Řízení agentické AI proto musí řešit nejen kvalitu výstupu, ale také oprávnění, vratnost akcí a odpovědnost.

Hlavní bezpečnostní rizika AI agentů

Největší rizika vznikají tam, kde agent může ovlivnit systémy, peníze, data nebo jiné lidi:

• Neautorizované platby: Agent může vybrat nesprávné zboží, překročit rozpočet nebo se nechat zmanipulovat škodlivou webovou stránkou.
• Únik soukromých údajů a krádež dat: Přístup k e-mailům, souborům, zákaznickým záznamům, zdrojovému kódu nebo klíčům API vytváří prostor pro zveřejnění dat, mimo jiné prostřednictvím prompt injection — škodlivých pokynů vložených do obsahu, který agent zpracovává.
• Bezpečnostní a softwarové škody: Agent může vložit nezabezpečený kód, změnit konfiguraci, smazat zdroje nebo zveřejnit tajné údaje v protokolech či externích nástrojích.
• Mezery v odpovědnosti: Není vždy jasné, zda odpovědnost nese poskytovatel modelu, vývojář aplikace, organizace, která agenta nasadila, poskytovatel nástroje, nebo uživatel.
• Manipulace: Trvale dostupní konverzační agenti mohou nepřiměřeně ovlivňovat uživatele, zejména pokud je člověk zranitelný nebo systém působí schopněji a důvěryhodněji, než ve skutečnosti je.

Jak vypadá odpovědné řízení

Kontroly by měly odpovídat schopnostem systému i následkům jeho selhání.

U predikční AI je třeba stanovit účel, měřit přesnost a férovost, chránit osobní údaje a nabídnout způsob, jak vysvětlit nebo napadnout rozhodnutí s významným dopadem.

U generativní AI by organizace měly ověřovat důležitá tvrzení, testovat halucinace a škodlivé výstupy, kontrolovat práci s citlivými daty, řešit původ obsahu a otázky duševního vlastnictví a ponechat právní, lékařská, finanční a bezpečnostní rozhodnutí kvalifikovaným lidem.

U agentů je třeba jít ještě dál:

1. Vymezit účel použití. Ještě před nasazením určit, co agent smí a nesmí dělat.
2. Omezit přístup. Používat oprávnění v rozsahu nejmenších privilegií, omezené nástroje, transakční limity a izolovaná testovací prostředí.
3. Vyžadovat schválení v důležitých kontrolních bodech. Finanční, právní, soukromí ohrožující a bezpečnostně citlivé akce by neměly probíhat bez odpovídajícího souhlasu člověka.
4. Zajistit auditovatelnost činnosti. Uchovávat protokoly, sledovat chování a jasně určit vlastníka odpovědnosti za incidenty.
5. Testovat útoky a nestandardní situace. Před nasazením i během provozu prověřovat prompt injection, odčerpání dat, škodlivé chování a schopnost zotavit se po selhání.
6. Zachovat lidskou kontrolu. Lidé musí mít možnost akci zastavit, zvrátit a napadnout její důsledky.

Singapurský úřad Infocomm Media Development Authority popisuje tento přístup založený na míře rizika ve svém Model AI Governance Framework for Agentic AI. Rámec je určen organizacím, které agenty vyvíjejí interně nebo nasazují řešení třetích stran. Jeho hlavní lekce je praktická: autonomii je třeba zvyšovat postupně — začít asistencí pouze pro čtení, pokračovat nízkorizikovými akcemi a nevratné nebo vysoce dopadové kroky ponechat na výslovné schválení člověkem.

Kam se AI posouvá

Vývoj AI je nejlepší chápat jako rozšiřující se soubor schopností, nikoli jako tři zcela oddělené éry. Tradiční systémy predikují a klasifikují. Generativní systémy vytvářejí a transformují. Agentické systémy k tomu přidávají plánování, používání nástrojů a jednání.

Řízení musí růst stejným tempem. Kontroly přesnosti a férovosti zůstávají důležité, samy už ale nestačí. Generativní systémy vyžadují důraz na ověřování, původ obsahu a jeho bezpečnost. Agenti navíc potřebují hranice oprávnění, kontrolní body před akcí, bezpečnostní monitoring a jasně rozdělenou odpovědnost.

Čím více toho systém AI dokáže udělat sám, tím pečlivěji musí organizace rozhodnout, co mu skutečně dovolí.