Gartnerův paradox inference: Proč mohou AI agenti zdražovat, i když tokeny zlevňují

Proč agenti spotřebují více než chatboti

Agentní systémy přidávají práci na několika úrovních:

• Plánování a uvažování: Systém rozdělí cíl na jednotlivé kroky, zvažuje alternativy a může se k plánu opakovaně vracet.
• Používání nástrojů: Vyhledávání, databáze, API, software a další nástroje vytvářejí další vstupy a výstupy.
• Ověřování: Agent může průběžné i konečné výsledky kritizovat, testovat nebo ověřovat.
• Učení a iterace: Vyvolávání vzpomínek z paměti, zpětná vazba, vyhodnocování a přizpůsobování přidávají další modelovou aktivitu.
• Koordinace více agentů: Delegování úkolů přináší zprávy, předávání práce, opakování kontextu a dohledové kontroly.
• Obnova po chybách: Neúspěšné volání nástroje nebo výsledek s nízkou mírou jistoty může spustit opakování a nové plánování.

S narůstajícím kontextem mohou pozdější volání obsahovat stále více předchozích informací. Schopnější modely pro uvažování navíc při řešení více po sobě jdoucích rozhodnutí spotřebují podstatně více tokenů i výpočetního výkonu. Podle zpráv o analýze Gartneru mohou agenti pro ekvivalentní úkol potřebovat pětkrát až třicetkrát více tokenů než chatbot; přesné číslo však závisí na workflow a konfiguraci modelu.

Efekt se násobí: jeden workflow může současně vyžadovat více volání, delší kontext a dražší model. Náklady proto neurčuje pouze sazba za token, ale kombinace ceny tokenu, jeho objemu, volby modelu a struktury celého pracovního postupu.

Co ukazuje Gartnerův Tokenomics Model

Gartnerův Tokenomics Model nebere práci AI jako jeden jednotný „požadavek“, ale jako škálu scénářů s rostoucí náročností. Veřejně dostupné informace popisují její základní pořadí takto:

1. Základní agentní provedení stojí více než jednoduchá interakce s chatbotem.
2. Plánování přidává další uvažování a orchestrace.
3. Učení a iterativní zlepšování vyžaduje paměť, zpětnou vazbu, vyhodnocování a přizpůsobování.
4. Pokročilé uvažování představuje nejdražší kategorii, protože vyžaduje složitější a déle trvající výpočty modelu.

Veřejné zprávy podporují směr této škály i její hlavní hranici: pokud firma přesměruje úkol na agentní model pro uvažování, mohou náklady na inference vzrůst nejméně pětinásobně oproti základnímu chatbotu. S rostoucí složitostí úkolu mohou dále růst. Dostupné podklady však neposkytují spolehlivé číselné násobky pro každou kategorii zvlášť. Taková čísla proto nelze vydávat za veřejně potvrzené benchmarky Gartneru.

Je to v rozporu s poklesem nákladů na špičkové modely?

Ne. Paradox neznamená, že se přestává zlepšovat hardware, architektura modelů nebo ekonomika tokenů. Znamená, že vyšší efektivita může podnítit poptávku po schopnějších systémech.

Jakmile je používání pokročilých modelů levnější, firmy mohou ekonomicky obhájit aplikace, které byly dříve příliš nákladné. Agentům mohou také svěřit více autonomie, nástrojů, delší kontext a více příležitostí k uvažování. To ale zvyšuje množství inference potřebné pro dokončení každého úkolu. Podle Gartnerova rámce může schopnost systému a intenzita jeho využití růst rychleji, než klesá cena jednotlivé jednotky.

Pro plánování AI produktů je tento rozdíl zásadní. Nižší cena za token zlepšuje ekonomiku neměnné zátěže. Nezaručuje ale nižší cenu za obchodní výsledek, pokud se samotná zátěž průběžně mění.

Jak mohou firmy náklady agentní AI řídit

1. Rozdělujte inference podle náročnosti

Schopnost modelu by měla odpovídat obtížnosti úkolu. Deterministické operace, vyhledávání, klasifikaci a práci s nízkým rizikem lze svěřit menším nebo levnějším modelům. Nejpokročilejší modely pro uvažování je vhodné používat jen v těch krocích, kde testování prokáže, že jejich přínos ospravedlní náklady. Gartner mezi doporučeními uvádí právě vrstvení inference, limity tokenů a průběžné monitorování.

2. Nastavte hranice složitosti workflow

Je třeba omezit proměnné, kvůli nimž může agent překročit rozpočet:

• maximální počet kroků a tokenů;
• limity opakování a nového plánování;
• kvóty pro volání nástrojů;
• maximální velikost kontextu;
• limity pro paralelní větvení agentů;
• podmínky ukončení při nízké jistotě nebo opakujícím se chování.

Zbytečná volání mohou omezit také ukládání stabilních výsledků do mezipaměti, zkracování či shrnování historie, strukturované výstupy nástrojů a předání nestandardních případů člověku. Autonomii tak není nutné odstranit z částí workflow, kde skutečně vytváří hodnotu.

3. Měřte cenu dokončeného výsledku

Cena za token ani cena za jedno spuštění agenta nejsou dostatečné ukazatele. Týmy by měly sledovat také náklady na dokončený obchodní výsledek — například vyřešený případ, schválenou žádost, kvalifikovaný obchodní kontakt nebo dokončený vývojový úkol. Současně je nutné měřit kvalitu, rychlost, chybovost a míru zásahu člověka.

Dobrý pilot nejprve stanoví výchozí podobu procesu a požadovanou úroveň kvality. Teprve poté lze vyhodnotit, zda agent vytváří dostatečnou hodnotu pro rozšíření. Pokud sice šetří tokeny, ale nepřináší lepší nebo rychlejší výsledek, nemusí mít zdánlivá úspora žádný praktický význam.

4. Zaveďte kontrolu nad účtováním podle využití

Účtování podle spotřeby může firmu vystavit nečekaným nákladům, pokud se workflow stane rekurzivním, příliš dlouhým nebo vysoce autonomním. Rozpočtové stropy, kvóty pro jednotlivé workflow, průběžné sledování nákladů v reálném čase, upozornění a interní přefakturace či vykazování spotřeby zviditelní využití ještě před rozšířením do produkce.

5. Pravidelně přehodnocujte volbu modelu

Ekonomika modelů není neměnná. Workflow postavené na prémiovém špičkovém modelu může později obsloužit levnější, dostatečně schopný model, doladěná či destilovaná varianta nebo deterministická automatizace. Pravidelně proto přehodnocujte kombinaci modelu a workflow a nepovažujte dnešní architekturu za trvalou.

6. Rozšiřujte autonomii až po prokázání hodnoty

Gartner předpověděl, že do konce roku 2027 bude zrušeno více než 40 % iniciativ v oblasti agentní AI kvůli rostoucím nákladům, nejasné obchodní hodnotě nebo nedostatečným kontrolám rizik. Jde o varování před rozšiřováním autonomie dříve, než firma porozumí její ekonomice a řízení — nikoli o tvrzení, že každý projekt s AI agentem selže.

Dobře optimalizované řešení může stále přinést návratnost investice, pokud urychlí nebo nahradí hodnotný a opakovatelný proces. Rozhodující otázkou je, zda dodatečná hodnota dalšího uvažování, koordinace a autonomie převyšuje dodatečné náklady na inference a provoz.

Praktický závěr

Nejbezpečnější je počítat s tím, že ceny tokenů a celkové náklady agentů se mohou pohybovat opačným směrem. Tokeny jsou jen jednou položkou rozpočtu. Modelujte celé workflow, používejte nejméně schopnou konfiguraci, která splní požadovanou úroveň kvality, nastavte provozní limity a autonomii rozšiřujte teprve poté, co data z reálného provozu prokážou zlepšení konkrétního obchodního výsledku.