Osm bilionů tokenů za den ukazuje, proč AI agenti mění ekonomiku modelů

Osm bilionů tokenů zpracovaných za jediný den není hlavně příběhem o popularitě jednoho modelu. Je to signál, že se mění základní jednotka práce s AI. Vývojář už stále častěji neplatí za jednu odpověď chatbotu, ale za celý agentní cyklus: projít repozitář, navrhnout postup, upravit soubory, spustit program, přečíst chybovou hlášku a pokus opakovat.

OpenCode uvedl, že DeepSeek V4 Flash 1. srpna přes jeho platformu zpracoval 8 bilionů tokenů – 5 bilionů ve zkušebních kvótách zdarma a 3 biliony v placeném programu Go. Pro srovnání: týdenní žebříček OpenRouteru za období 27. července až 2. srpna přisoudil V4 Flash na této jiné, více-modelové platformě 7,22 bilionu tokenů za celý týden. Jde o čísla hlášená platformami, nikoli o nezávisle auditovaný obraz veškerého používání modelu. Kontrast ale dobře ukazuje, jakého objemu mohou dosáhnout agentní pracovní postupy. 202329

Proč agenti spotřebují tolik tokenů

Jednorázový dotaz chatbotu mívá krátké zadání a omezenou odpověď. Kódovací agent naproti tomu pracuje s mnohem větším souborem informací: se zdrojovými soubory, výstupem terminálu, neúspěšnými testy, předchozími rozhodnutími, vygenerovanými úpravami i opakovanými voláními nástrojů. Při řešení úlohy se k podstatné části tohoto kontextu může opakovaně vracet.

Zveřejněná data OpenCode pro V4 Flash uvádějí průměrně asi 12 milionů tokenů na relaci a 95% podíl vstupních tokenů z cache. Samo o sobě to nedokazuje, že každá relace je plně autonomní programátorská práce. Odpovídá to však spíše dlouhému, iterativnímu zpracování kontextu než běžné krátké konverzaci. 25

Pro uživatele přitom není cenný počet vytvořených tokenů. Hodnotu má přijatý pull request, testovací sada, která projde, funkční prototyp nebo správně dokončený pracovní proces. Užitečnější metrikou proto je:

Cena za přijatý úkol = celkové náklady na model a pracovní smyčku ÷ pravděpodobnost, že výsledek splní požadovaný standard.

Do nákladů patří i neúspěšné pokusy, opakování, lidská kontrola, čekání a opravy chyb – ne jen zveřejněný ceník vstupních a výstupních tokenů.

Levné tokeny umožňují více pokusů

Podle zveřejněných informací činila cena DeepSeek V4 Flash v rozhraní první strany 0,14 USD za milion vstupních tokenů a 0,28 USD za milion výstupních tokenů. 12 Při takové ceně je ekonomicky snazší nechat agenta provést více iterací, držet rozsáhlejší kontext a častěji automaticky spouštět testy než u podstatně dražšího modelu.

Neznamená to, že levnější model je automaticky lepší. V agentním režimu ale může malý rozdíl v kvalitě převážit velký cenový rozdíl, pokud model potřebuje pro dokončení rutinní práce mnoho kroků.

Jedno srovnání uvádí skóre 50 pro V4 Flash Max a 56 pro Claude Opus 4.8 Max v indexu Artificial Analysis Intelligence Index v4.1. Náklady na spuštění celé testovací sady přitom byly uvedeny jako 72,02 USD, respektive 3 752,55 USD. Jde o velký rozdíl v nákladech při šestibodovém rozdílu ve skóre. Je to však srovnání hodnocení, nikoli záruka stejné spolehlivosti v reálné práci. 16

U těžkých nebo vysoce rizikových úloh může být prémiový model stále levnější na jeden přijatý výsledek, pokud výrazně omezí chybné nasazení, dohled člověka nebo následné opravy. Závěr tedy není „vždy vybrat nejlevnější model“, ale směrovat úlohy podle celkové ceny dosažení přijatelného výsledku.

„Kill line“ nejvíc dopadá na střed trhu

Označení „DeepSeek kill line“ je vhodné chápat jako tržní metaforu. Popisuje tlak na modely, které stojí výrazně více než levná alternativa blízko technologické špičce, aniž by přinášely zřetelně lepší výsledek na konkrétním úkolu.

Různé části trhu reagují odlišně:

• Levné modely pro směrování a jednoduché úlohy zůstávají užitečné pro klasifikaci, extrakci dat, krátké transformace a vysokokapacitní třídění. Zde mají největší váhu rychlost a co nejnižší jednotková cena.
• Prémiové vlajkové modely si drží roli u nejtěžších úloh: dlouhodobého uvažování, mimořádné spolehlivosti, multimodální práce, požadavků na správu a dodržování pravidel nebo tam, kde je drahá lidská revize.
• Střední třída modelů čelí nejtvrdší zkoušce. Pokud stojí citelně více než Flash, musí doložit vyšší úspěšnost dokončení, nižší odezvu, lepší práci s nástroji, integrace, podporu nebo podnikové kontrolní mechanismy – nestačí jen mírně lepší benchmark.

Levné agentní modely se tak mohou stát výchozími pracovníky, zatímco prémiové modely budou fungovat jako specialisté pro eskalované případy. Střed trhu musí prokázat, že skutečně snižuje celkové náklady na úkol.

Co umožňuje ekonomiku ve velkém měřítku

DeepSeek V4 Flash je model typu mixture-of-experts (MoE): má 284 miliard parametrů celkem, ale při zpracování jednoho tokenu aktivuje zhruba 13 miliard. Podporuje také kontextové okno o velikosti jednoho milionu tokenů. 17 Architektura tím odděluje celkovou kapacitu modelu od výpočetního výkonu nutného pro každý vytvořený token.

Jeho efektivita stojí na několika prvcích:

• MoE směrování: pro konkrétní token se aktivuje jen část expertů, což snižuje aktivní výpočetní zátěž oproti hustému modelu, který používá všechny parametry najednou. 17
• Hybridní attention: rodina V4 kombinuje Compressed Sparse Attention (CSA) a Heavily Compressed Attention (HCA), jejichž cílem je omezit zátěž mechanismu pozornosti a paměti u velmi dlouhého kontextu. 1733
• Nižší nároky na cache: NVIDIA uvádí, že tyto inovace mají ve srovnání s DeepSeek-V3.2 v citovaném porovnání přinést o 73 % méně inferenčních FLOPs na token a o 90 % nižší paměťovou zátěž KV cache. 33
• Práce s cache: agentní relace opakovaně posílají překrývající se kontext repozitáře a nástrojů. Vysoké opětovné využití cache proto může významně změnit skutečné náklady; 95% podíl cache na OpenCode ukazuje, proč je tento provozní detail důležitý. 25

Nejde jen o technické parametry. Právě ty rozhodují, zda je finančně rozumné nechat agenta analyzovat rozsáhlou codebase, používat nástroje a několikrát se zotavit z chyb, než dodá použitelný výsledek.

Nová hranice: schopnost, spolehlivost a cena další iterace

Benchmarky schopností zůstávají důležité, ale pro agenty už samy o sobě nestačí. Praktické porovnání je trojrozměrné:

1. Schopnost: Dokáže model daný typ úlohy vyřešit?
2. Spolehlivost: Jak často dodá přijatelný výsledek bez drahého zásahu člověka?
3. Mezní cena iterace: Kolik stojí další volání nástroje, úprava, spuštění testu nebo pokus o nápravu?

Hlášených osm bilionů tokenů za den zviditelňuje právě třetí bod. Jak agenti nahrazují jednorázové dotazy, spotřeba tokenů může narůst o řády. Modely, které zlevní dlouhý kontext a opakované pokusy, se mohou stát výchozí volbou pro široké, opakující se agentní úlohy – i když pro nejtěžší případy zůstane vhodnější schopnější vlajkový model. 202533