Derfor betyr innebygd multimodal KI noe for kodeagenter

Det nye skillet mellom avanserte KI-modeller handler ikke først og fremst om hvorvidt en modell kan ta imot et bilde. Det viktigste er om visuelle inntrykk inngår som en sentral del av agentens resonnering mens den jobber.

Moonshot AI posisjonerer Kimi K3 som en innebygd multimodal agentmodell for langvarig programmering, kunnskapsarbeid, visuell forståelse og resonnering. Alibaba sier at Qwen3.8-Max bruker visuell forståelse i planlegging, utførelse og verifisering. 1735 Målet er praktisk: Agenten skal kunne bygge en løsning, se det ferdige resultatet, oppdage hva som er galt og forbedre løsningen – uten at hvert visuelt inntrykk først må reduseres til en tekstlig rapport.

To ulike veivalg: tekst først eller syn i arbeidsløkken

Tekstorienterte modeller er fortsatt svært nyttige til å skrive kode, analysere lange dokumenter, bruke verktøy og løse oppgaver der både inndata og suksesskriterier allerede er uttrykt i tekst. I et verktøybasert oppsett kan en agent hente ut tekst med OCR, lese DOM-en eller tilgjengelighetstreet, be om koordinater eller sende et skjermbilde til en separat visjon-språk-modell.

Det kan være en god arkitektur for dokumentuttrekk, strukturert UI-inspeksjon eller et enkelt visuelt spørsmål. Men innebygd multimodal trening bygger på en annen idé: tekst, bilder, video, kode og agenttilstand skal håndteres samlet, slik at synet kan påvirke både planen og neste revisjon direkte. I omtalen av det kinesiske modellmarkedet ble Moonshot, Alibaba og ByteDance beskrevet som aktører som satser på denne retningen, mens generelle utgivelser fra DeepSeek, Zhipu og Hunyuan på det tidspunktet var mer tekstsentrerte. 15

Dette er et øyeblikksbilde, ikke en varig grense mellom selskapene. DeepSeek V4 Flash og V4 Pro støttet opprinnelig bare tekst, men DeepSeek lanserte senere den eksperimentelle modellen DeepSeek-V4-Flash-Vision-Exp. 134 Modellserier endrer seg raskt, og kildene gir ikke grunnlag for bastante forklaringer på hvert selskaps interne produktvalg – særlig ikke for ByteDance, Zhipu og Tencent.

Hva endrer det å ha syn «i løkken»?

En nettside er mer enn teksten og strukturen i DOM-en. Den består også av visuelt hierarki, luft, justering, kontrast, typografi, elementer som kuttes av, bilder og samspillet mellom komponenter. Når oppgaven er å gjenskape et referansedesign, er dette ofte selve definisjonen på at resultatet er godt nok.

En arbeidsflyt med syn i løkken kan se slik ut:

1. Planlegg: Tolke bestillingen, referansebildet, kodebasen og tidligere arbeidstilstand.
2. Utfør: Skrive eller endre kode, bruke en nettleser eller applikasjon, eller redigere et visuelt element.
3. Observer: Rendere resultatet og inspisere et skjermbilde, en videoramme eller annet visuelt resultat.
4. Kontroller og forbedre: Sammenligne resultatet med målet, finne sannsynlige feil, rette det underliggende artefaktet og gjenta.

Qwen3.8-Max beskriver eksplisitt en slik lukket arbeidsløkke, der visuell forståelse brukes gjennom planlegging, utførelse og verifisering i langvarige oppgaver. Den vertsbaserte modellen støtter bilder, tekst og video som inndata, med tekst som utdata. 35 Kimi K3 håndterer på sin side tekst, bilder og video i samme modell, med et kontekstvindu på én million tokens. 25

Fordelen er altså ikke bare at modellen «kan se». Den samme agenten kan beholde oppgaven, koden, det visuelle resultatet og den løpende planen i samme kontekst mens den itererer.

Hvorfor OCR og eksterne visjonsmodeller kan bli en flaskehals

Eksterne verktøy for visuell tolkning kan fungere godt, men de legger et grensesnitt mellom det å se og det å handle.

OCR er selektivt. Verktøyet kan hente ut synlige ord, men tekst alene beskriver ikke nødvendigvis at en knapp er avkuttet, at siden er visuelt ubalansert, at en modal dekker innhold, eller at hierarkiet avviker fra referansen.

Koordinater er nyttige, men snevre. Informasjon som «elementet ligger på x/y» hjelper automatisering, men sier ikke alltid noe om visuell betydning, stil, overlapping eller om dette faktisk er riktig objekt i designet.

Mange oversettelser kan svekke lange arbeidskjeder. Hver overføring fra skjermbilde til beskrivelse eller koordinater kan miste kontekst. Dersom agenten retter kode ut fra en ufullstendig beskrivelse, kan den skape en ny visuell feil – og må begynne observasjonsrunden på nytt.

En innebygd multimodal modell er ikke feilfri, men kan vurdere skjermbildet og implementasjonskonteksten sammen, i stedet for å være avhengig av et rent tekstlig sammendrag av bildet. Det er særlig relevant for front-end-utvikling, GUI-automatisering, visuell regresjonstesting, bilderedigering og videoflyter.

Kimi K3 viser bruksområdet – ikke et endelig årsaksbevis

Kimi K3s offentlige resultater illustrerer hvorfor utviklere følger med. Arena oppga at Kimi K3 toppet Frontend Code Arena med 1 679 poeng, en framgang på 17 plasser fra Kimi K2.6, og førsteplass i seks av sju oppførte front-end-kategorier. 32 I en separat omtale av en Puter-test ble det rapportert at Kimi K3 identifiserte fem bevisst innførte visuelle avvik mellom en målside og en rendert versjon, uten falske positiver. 28

Dette er relevante demonstrasjoner av visuell verifisering. Men de beviser ikke at innebygd syn alene forklarer resultatene. Modellstørrelse, treningsdata, ettertrening, prompter, nettleserverktøy, agentrammeverk og selve benchmarken kan alle påvirke utfallet. Den mer nøkterne konklusjonen er at visuell tilbakemelding kan fange opp en reell kategori feil som rene teksttester overser.

Når bør du prioritere innebygd multimodalitet?

Prioriter en innebygd multimodal agent når oppgaven krever gjentatt observasjon og forbedring, og visuell kvalitet er en del av leveransen:

• å få en nettside eller app til å samsvare med et referansedesign;
• å reparere en feiltilstand i et grafisk brukergrensesnitt;
• å kontrollere responsive oppsett og visuelle regresjoner;
• å redigere et bilde uten å miste motiv, komposisjon eller stilkrav;
• å gjennomgå lange videoer der kontinuitet mellom scener betyr noe.

En modulær arbeidsflyt med OCR eller en ekstern visjon-språk-modell kan fortsatt være det beste valget for rimelig uttrekk i stor skala, eller når agenten bare trenger strukturert tekst og UI-tilstand. Spørsmålet er ikke om syn er moderne, men om agenten gjentatte ganger må kunne svare på dette: Ser resultatet faktisk riktig ut?

For den typen arbeid gjør innebygd multimodalitet persepsjon til en del av agentens vanlige arbeidsløp, ikke bare et sporadisk verktøykall. Det er retningen Kimi K3 og Qwen3.8-Max uttrykkelig følger. 1735