Derfor betyder indbygget multimodal AI noget for kodeagenter

En afgørende forskel mellem de mest avancerede AI-modeller handler ikke kun om, hvorvidt de kan modtage et billede. Den handler om, hvorvidt visuelle oplysninger indgår direkte i agentens løbende tænkning, handlinger og kontrol.

Moonshot AI beskriver Kimi K3 som en indbygget multimodal agentmodel til langvarig kodning, vidensarbejde, visuel forståelse og ræsonnement. Alibaba beskriver tilsvarende, at Qwen3.8-Max bruger visuel forståelse gennem planlægning, udførelse og verificering. 1735

Målet er praktisk: Agenten skal kunne bygge noget, se det renderede resultat, opdage hvad der ser forkert ud og forbedre det – uden først at skulle reducere hver skærm eller video-frame til en tekstlig mellemrapport.

Fra tekstbaseret agent til agent med visuel feedback

Tekstfokuserede modeller er fortsat meget nyttige til kodegenerering, lange dokumenter, værktøjskald og opgaver, hvor både input og succeskriterier allerede er formuleret som tekst. En agent kan for eksempel kalde OCR, læse en DOM eller et accessibility tree, hente koordinater eller sende et skærmbillede til en særskilt vision-language-model.

Det kan være en fornuftig arkitektur ved dokumentudtræk, struktureret inspektion af brugerflader eller enkelte visuelle spørgsmål.

Indbygget multimodal træning satser på noget andet: at tekst, billeder, video, kode og agentens tilstand kan behandles sammen, så visuelle indtryk påvirker planlægning og rettelser direkte. En gennemgang af det kinesiske modelmarked pegede på Moonshot, Alibaba og ByteDance som aktører med denne retning, mens DeepSeek, Zhipu og Tencents Hunyuan-modeller på det tidspunkt var mere tekstcentrerede. 15

Det er dog et øjebliksbillede – ikke en permanent opdeling mellem virksomheder. DeepSeek V4 Flash og V4 Pro understøttede oprindeligt kun tekst, men DeepSeek lancerede senere den eksperimentelle DeepSeek-V4-Flash-Vision-Exp. 134 Modeludvalg ændrer sig hurtigt, og de tilgængelige kilder forklarer ikke de interne strategiske valg hos hver enkelt virksomhed.

Hvad ændrer en visuel kontrolsløjfe?

En webside er mere end ord og DOM-struktur. Den består også af hierarki, luft, justering, kontrast, typografi, beskæring, billeder og forholdet mellem elementerne. Når en agent skal ramme et referencedesign, er det ofte netop disse ting, der afgør, om opgaven er løst.

En arbejdsgang med syn i løkken kan se sådan ud:

1. Planlæg: Forstå opgaven, referencebilledet, kodebasen og den tidligere opgavestatus.
2. Handl: Skriv eller redigér kode, brug browseren eller programmet, eller redigér et visuelt aktiv.
3. Observer: Render resultatet og undersøg et skærmbillede, en videoramme eller andet visuelt output.
4. Kontrollér og ret: Sammenlign med målet, find sandsynlige fejl, ret den underliggende kode eller fil, og gentag.

Qwen3.8-Max beskriver eksplicit denne lukkede løkke, hvor indbygget visuel forståelse bruges i planlægning, udførelse og verificering ved langvarige opgaver. Den hostede model tager billeder, tekst og video som input og leverer tekst som output. 35 Kimi K3 forstår på samme måde tekst, billeder og video i én model og har et kontekstvindue på 1 million tokens. 25

Fordelen er altså ikke bare, at modellen "kan se". Det er, at den samme agent kan bevare opgaven, koden, det visuelle resultat og den aktuelle plan i samme arbejdskontekst, mens den itererer.

Hvorfor OCR og eksterne synsmodeller kan være en begrænsning

Eksterne perceptionsværktøjer kan være effektive, men de indfører et led mellem det, agenten ser, og det, den gør.

OCR er selektivt. Det kan udtrække synlig tekst, men fortæller ikke nødvendigvis, om en knap er afskåret, et layout er i ubalance, en modal dækker vigtigt indhold, eller det visuelle hierarki afviger fra referencen.

Koordinater er præcise, men smalle. Oplysningen om, at et element ligger på bestemte x/y-koordinater, kan være nyttig til automatisering. Men den siger ikke nødvendigvis noget om visuel vægt, styling, overlap eller om det faktisk er det rigtige element set med brugerens øjne.

Gentagne oversættelser kan svække lange forløb. Ved mange trin kan hver overlevering fra skærmbillede til tekstbeskrivelse eller koordinater koste kontekst. Hvis agenten retter ud fra en ufuldstændig beskrivelse, kan den skabe en ny visuel fejl og kræve endnu en kontrolrunde.

En indbygget multimodal model er naturligvis ikke fejlfri. Men den kan ræsonnere over skærmbilledet og implementeringen samtidigt frem for kun at basere sig på en tekstlig opsummering af det visuelle indhold. Det er særligt relevant ved frontend-udvikling, GUI-automatisering, fejlsøgning af visuelle regressioner, billedredigering og videoforløb.

Kimi K3 viser anvendelsen – ikke et endeligt årsagsbevis

Kimi K3’s offentlige resultater illustrerer, hvorfor udviklere følger denne type modeller tæt. Arena rapporterede, at Kimi K3 nåede førstepladsen i Frontend Code Arena med 1.679 point – en fremgang på 17 pladser fra Kimi K2.6 – og blev nummer ét i seks af syv frontend-kategorier. 32

I en separat omtalt Puter-test fandt Kimi K3 fem bevidst indførte visuelle forskelle mellem en målwebside og en renderet version uden falske positiver. 28

Det er relevante demonstrationer af visuel verificering, men de beviser ikke, at indbygget syn alene skabte resultaterne. Modelstørrelse, træningsdata, eftertræning, prompts, browserværktøjer, agentrammeværk og selve benchmarkdesignet kan også spille ind.

Den mere forsigtige konklusion er, at visuel feedback kan fange en reel type fejl, som rene tekstbaserede tests overser.

Hvornår bør man prioritere indbygget multimodalitet?

En indbygget multimodal agent er særligt relevant, når opgaven kræver gentagen observation og revision, og når visuel kvalitet er en del af definitionen på færdig:

• at få en webside eller app til at ligne et referencedesign;
• at reparere en fejltilstand i en grafisk brugerflade;
• at kontrollere responsive layouts og visuelle regressioner;
• at redigere et billede uden at ændre motiv, komposition eller stil unødigt;
• at gennemgå lange videoer, hvor kontinuiteten mellem scener betyder noget.

En modulær pipeline med OCR eller en ekstern synsmodel kan stadig være bedre og billigere til batchudtræk, engangsanalyser eller processer, der kun kræver struktureret tekst og UI-tilstand.

Det afgørende spørgsmål er derfor ikke, om syn i AI er moderne. Det er, om agenten igen og igen skal kunne afgøre: Ser resultatet faktisk rigtigt ud?

Når svaret er ja, gør indbygget multimodalitet perception til en del af agentens normale arbejdsløkke frem for et lejlighedsvist værktøjskald – en retning, som Kimi K3 og Qwen3.8-Max eksplicit forfølger. 1735