DeepSeek-V4.1-Flash: Jak zvládá milion tokenů s menší KV cache

Když AI agent pracuje s dlouhou historií konverzace, dokumenty a průběžnými výsledky nástrojů, může mnohem více textu přečíst, než sám napíše. Právě pro takové úlohy je určen DeepSeek-V4.1-Flash: multimodální model s otevřeně dostupnými vahami, který používá architekturu mixture-of-experts (MoE) a podporuje kontext až jednoho milionu tokenů. Tento limit říká, kolik vstupu model přijme, nikoli že v dlouhé relaci vždy spolehlivě najde každý detail. 28

Proč může být dlouhá relace úspornější

Méně výpočtů při čtení vstupu. Základ modelu má 552 miliard parametrů a tvoří jej 20 vrstev kauzálního enkodéru a 20 vrstev dekodéru. Globální KV cache dekodéru se odvozuje ze závěrečných stavů enkodéru, místo aby ji každá vrstva dekodéru vytvářela zvlášť. Podle DeepSeeku model při prefillu — zpracování vstupu — aktivuje přibližně 8 miliard parametrů na token; při dekódování, tedy generování výstupu, 16 miliard. Rozdíl je podstatný zejména tam, kde agent opakovaně pročítá rozsáhlý kontext, ale odpovídá stručněji. 28

Menší paměť pro dosavadní kontext. KV cache uchovává informace, které model využívá při navazování na předchozí tokeny. Mechanismus Compressed Sparse Attention 2 (CSA2) přiřazuje vrstvám pozornosti jeden ze tří pevných režimů — Full, Reindex a Reuse — aby mohly sdílet uložené informace a znovu používat výběr relevantních pozic. Spolu s ukládáním hlavní KV cache ve formátu FP4 to podle DeepSeeku snižuje nároky globální KV cache na 890 bajtů na token, zhruba čtvrtinu hodnoty u DeepSeek-V4-Flash. Jde o srovnání velikosti cache, nikoli o změřenou úsporu celkových nákladů při každém nasazení. 68

Obnovení části stavu místo jejího trvalého ukládání. Technika SWA Bounded Replay rekonstruuje chybějící stavy KV cache pro pozornost s posuvným oknem opětovným zpracováním pouze nejnovějšího okna tokenů. Tyto stavy tak není nutné trvale ukládat na SSD. Modelová dokumentace uvádí nároky na trvale uchovávanou KV cache přibližně na osmině hodnoty u V4-Flash. Tento údaj se týká jiného druhu úložiště než výše uvedená čtvrtina pro globální KV cache. 59

Trénování, obrazový vstup a výsledky

Podle údajů v modelové dokumentaci byl model trénován od začátku na multimodálním souboru o 45 bilionech tokenů. Trénování řídké pozornosti probíhalo při délce sekvence 64 tisíc tokenů a kontext byl rozšířen na jeden milion tokenů ve fázi odpovídající 34 bilionům tokenů. DeepSeek zmiňuje také nové metody předtrénování a následné trénování pomocí posilovaného učení ve větším měřítku; citované podklady však nepopisují podrobný postup této závěrečné fáze. 916

Model nativně pracuje s textem i obrázky a DeepSeek uvádí multimodální podporu také při zpřístupnění přes API. Z citovaných podkladů však nelze vyvodit podrobné výsledky testů obrazových schopností. 216

Ve vlastních hodnoceních DeepSeeku dosáhla základní verze modelu srovnatelných schopností jako V4-Pro-Base v oblasti znalostí, uvažování a programování. V oddělených hodnoticích testech firma uvádí zlepšení o 5–10 %, přestože model používá přibližně třetinu celkového počtu parametrů a čtvrtinu aktivovaných parametrů. DeepSeek dále tvrdí, že vydaná verze předčí V4-Pro v úlohách pro AI agenty. Citované výňatky ale nestačí ke spolehlivému srovnání jednotlivých benchmarků; jde o uváděné výsledky, nikoli o nezávislý přímý test. 116

API, licence a přechod ze starších modelů

V API DeepSeeku se model volá jako deepseek-flash. Zveřejněné váhy jsou podle modelových podkladů dostupné pod licencí MIT. Dokumentace popisuje cestu k provozování modelu přes SGLang a záznamy o modelu uvádějí také podporu prostředí Transformers a vLLM. Před nasazením je vhodné ověřit požadavky konkrétního prostředí: podporu všech multimodálních funkcí a dlouhého kontextu nelze automaticky předpokládat ve stejné podobě všude. 8916

DeepSeek uvádí, že modely V4-Flash a V4-Flash-Vision-Exp ukončil; jejich starší názvy v API dočasně směrují na V4.1-Flash. Firma rovněž oznámila, že od 14. září 2026 budou požadavky na deepseek-v4-pro do uvedení V4.1-Pro směrovány na V4.1-Flash za sazby řady Flash. Pokud aplikace spoléhá na konkrétní chování verze Pro, měla by ověřovat skutečně obsluhující model, ne se řídit pouze názvem v požadavku. 16