Proč nativní multimodální AI mění práci kódovacích agentů

Rozdíl mezi špičkovými modely už nespočívá jen v tom, zda dokážou přijmout obrázek. Podstatnější je, zda se obraz stává plnohodnotnou součástí uvažování agenta — tedy zda může ovlivňovat jeho plán, prováděné kroky i následnou kontrolu výsledku.

Moonshot AI prezentuje Kimi K3 jako nativně multimodální agentní model pro dlouhé kódovací úlohy, znalostní práci, vizuální porozumění a reasoning. Alibaba u Qwen3.8-Max uvádí vizuální porozumění napříč plánováním, prováděním a ověřováním. 1735 Praktický smysl je jednoduchý: agent něco vytvoří, uvidí vykreslený výsledek, rozpozná problém a opraví jej — aniž by se každé vizuální zjištění muselo nejdřív převést do stručného textového hlášení.

Dvě architektury: textový základ, nebo obraz přímo v pracovním cyklu

Textově orientované modely jsou nadále velmi užitečné pro generování kódu, analýzu dlouhého kontextu, volání nástrojů i úlohy, kde jsou vstup i kritéria úspěchu už vyjádřeny textem. Agent může v běžném nástrojovém řešení spustit OCR, prohlédnout DOM či strom přístupnosti, vyžádat si souřadnice prvků nebo předat snímek obrazovky samostatnému modelu pro práci s obrazem. Pro vytěžování dokumentů, strukturovanou kontrolu uživatelského rozhraní nebo jednorázový vizuální dotaz to může být rozumná architektura.

Nativní multimodální trénování sází na něco jiného: na společné zpracování textu, obrázků, videa, kódu a stavu agenta tak, aby vizuální informace přímo ovlivňovaly plánování i revize. Zpráva o čínském trhu modelů tímto směrem řadila Moonshot, Alibabu a ByteDance, zatímco tehdejší obecně zaměřené modely od DeepSeeku, Zhipu a Hunyuan byly relativně více textové. 15

Nejde však o trvalé rozdělení laboratoří na dva tábory. DeepSeek V4 Flash a V4 Pro původně podporovaly jen text, DeepSeek ale následně představil experimentální model DeepSeek-V4-Flash-Vision-Exp. 134 Nabídky modelů se rychle mění a dostupné zdroje nedokládají jednoznačné interní důvody rozhodnutí jednotlivých firem — zvlášť u ByteDance, Zhipu a Tencentu.

Co přináší „obraz ve smyčce“

Webová stránka není jen soubor slov a struktura DOM. Tvoří ji také hierarchie, prázdné místo, zarovnání, kontrast, typografie, ořezání prvků, obrazový obsah a vztahy mezi komponentami. Pokud má agent napodobit referenční návrh, právě tyto vlastnosti často rozhodují o tom, zda je úkol hotový.

Pracovní postup s vizuální zpětnou vazbou může vypadat takto:

1. Naplánovat: Vyložit zadání, referenční obrázek, existující kód a dosavadní stav úlohy.
2. Provést: Napsat nebo upravit kód, ovládat prohlížeč či aplikaci, případně upravit vizuální podklad.
3. Pozorovat: Vykreslit výsledek a prozkoumat snímek obrazovky, videozáběr nebo jiný vizuální výstup.
4. Ověřit a upravit: Porovnat výstup s požadavkem, najít pravděpodobné chyby, opravit zdrojový artefakt a postup opakovat.

Qwen3.8-Max tento uzavřený cyklus popisuje výslovně: nativní vizuální porozumění používá při plánování, provádění i ověřování dlouhodobých úloh. Hostovaná verze přijímá obrázky, text a video, výstupem je text. 35 Kimi K3 obdobně pracuje s textem, obrázky a videem v rámci jediného modelu a má kontextové okno o velikosti 1 milionu tokenů. 25

Výhoda tedy není pouze v tom, že model „vidí“. Tentýž agent může při opakovaných úpravách udržet pohromadě zadání, kód, vizuální výsledek i průběžně se měnící plán.

Proč mohou předávky přes OCR a externí VLM brzdit práci

Externí nástroje pro vnímání mohou fungovat dobře, vytvářejí však rozhraní mezi tím, co agent vidí, a tím, co dělá.

OCR zachytí jen část informace. Dokáže vytěžit viditelný text, ale samotný přepis slov neříká dost o tom, zda je tlačítko oříznuté, kompozice nevyvážená, dialog překrývá obsah nebo se vizuální hierarchie liší od předlohy.

Souřadnice jsou přesné, ale úzké. Informace typu „prvek je na pozici x/y“ pomáhá automatizaci. Nemusí však sdělit, jak je prvek vizuálně výrazný, jak je stylovaný, zda se nepřekrývá s jiným prvkem ani zda jde skutečně o správný objekt.

Při dlouhém řetězci kroků se ztráty kumulují. Každé předání od snímku k popisu či souřadnicím může odebrat kontext nebo přinutit agenta, aby jej znovu skládal. Oprava podle neúplného popisu pak může vyvolat další vizuální chybu — a další kolo pozorování.

Nativně multimodální model tím chyby neodstraní. Může ale pracovat se snímkem obrazovky a kontextem implementace společně, namísto aby se spoléhal jen na textové shrnutí obsahu snímku. To je důležité hlavně pro vývoj front-endu, automatizaci grafických rozhraní, hledání vizuálních regresí, úpravu obrázků a video pracovní postupy.

Kimi K3 ukazuje použití, nikoli přímou příčinu výsledků

Veřejné výsledky Kimi K3 ilustrují, proč vývojáři vizuální zpětné vazbě věnují pozornost. Arena uvedla, že Kimi K3 vedl Frontend Code Arena s 1 679 body, což znamenalo posun o 17 míst oproti Kimi K2.6; v šesti ze sedmi uvedených oblastí front-endu byl první. 32 Samostatné zpravodajství o testu platformy Puter uvádí, že Kimi K3 bez falešně pozitivního nálezu odhalil pět záměrně vložených vizuálních odchylek mezi cílovou stránkou a její vykreslenou verzí. 28

Jde o relevantní ukázky vizuálního ověřování. Neprokazují ale, že výsledky způsobilo výhradně nativní vidění. Roli může hrát velikost modelu, trénovací data, dolaďování, formulace zadání, nástroje pro prohlížeč, agentní architektura i samotná podoba benchmarku. Přiměřenější závěr je užší: vizuální zpětná vazba řeší skutečnou skupinu selhání, které textové testy nemusí zachytit.

Kdy dát nativní multimodalitě přednost

Nativně multimodální agent dává největší smysl, když úloha vyžaduje opakované pozorování a revize a vizuální věrnost patří do definice hotového výsledku:

• vytvoření webu nebo aplikace podle referenčního návrhu;
• oprava chybného stavu grafického rozhraní;
• kontrola responzivního rozvržení a vizuálních regresí;
• úprava obrázku se zachováním objektu, kompozice nebo stylu;
• revize dlouhého videa, kde záleží na návaznosti scén.

Modulární pipeline s OCR nebo externím modelem pro obraz může být stále vhodnější pro levné vytěžování dat, dávkové zpracování nebo procesy, které potřebují jen strukturovaný text a stav uživatelského rozhraní. Rozhodující otázkou není, zda je vidění v AI módní. Je jí toto: musí agent opakovaně ověřovat, že výsledek opravdu vypadá správně?

Pro tento typ práce nativní multimodalita mění vnímání z občasného volání nástroje na součást pracovního cyklu agenta — směr, který Kimi K3 a Qwen3.8-Max výslovně sledují. 1735