Miksi natiivi multimodaalinen tekoäly on tärkeä koodausagenteille

Kärkimalleja erottaa yhä vähemmän se, voivatko ne vastaanottaa kuvan, ja yhä enemmän se, onko visuaalinen havainto täysivaltainen osa agentin päättelyä.

Moonshot AI:n Kimi K3 on suunnattu natiivisti multimodaaliseksi agenttimalliksi pitkän aikavälin koodaukseen, tietotyöhön, visuaaliseen ymmärrykseen ja päättelyyn. Alibaba puolestaan kertoo Qwen3.8-Maxin käyttävän visuaalista ymmärrystä suunnittelun, toteutuksen ja varmennuksen läpi. 1735 Käytännön tavoite on yksinkertainen: agentti voi tehdä käyttöliittymän, nähdä renderöidyn lopputuloksen, havaita virheen ja korjata sen ilman, että jokainen kuva pitää ensin muuntaa erilliseksi tekstiraportiksi.

Kyse ei ole vain siitä, että malli “näkee”

Tekstipohjaiset yleismallit ovat edelleen erittäin käyttökelpoisia koodin tuottamisessa, pitkien aineistojen analysoinnissa ja työkalukutsuissa, kun sekä lähtötiedot että onnistumisen ehdot ovat tekstimuodossa. Agentti voi esimerkiksi käyttää OCR:ää tekstin tunnistamiseen, tarkistaa DOM-puun tai saavutettavuuspuun, pyytää elementtien koordinaatteja tai lähettää ruutukaappauksen erilliselle näkö-kielimallille.

Tällainen modulaarinen ratkaisu voi olla järkevä esimerkiksi asiakirjojen massapoiminnassa, rakenteisen käyttöliittymätilan tarkastuksessa tai yksittäisessä kuvakysymyksessä.

Natiivissa multimodaalisuudessa panostus on toinen: tekstiä, kuvia, videota, koodia ja agentin tilaa pyritään käsittelemään yhdessä, jotta visuaalinen tieto vaikuttaa suoraan suunnitteluun ja korjauksiin. Kiinalaisia mallitoimijoita käsitellyt raportointi kuvasi Moonshotin, Alibaban ja ByteDancen kulkevan tähän suuntaan, kun taas DeepSeekin, Zhipun ja Tencent Hunyuanin yleiskäyttöiset julkaisut olivat tuolloin verrattain tekstikeskeisiä. 15

Tätä ei kuitenkaan pidä tulkita pysyväksi jakolinjaksi yritysten välillä. DeepSeek V4 Flash ja V4 Pro tukivat alun perin vain tekstiä, mutta DeepSeek toi sittemmin kokeellisesti saataville DeepSeek-V4-Flash-Vision-Exp-mallin. 134 Mallivalikoimat muuttuvat nopeasti, eikä käytettävissä oleva aineisto riitä selittämään varmasti jokaisen laboratorion sisäisiä valintoja, etenkään ByteDancen, Zhipun ja Tencentin osalta.

Mitä “näkö silmukassa” muuttaa?

Verkkosivu ei ole pelkkä teksti ja DOM-rakenne. Siinä on myös visuaalinen hierarkia, tyhjä tila, kohdistukset, kontrastit, typografia, rajautuminen, kuvat sekä elementtien keskinäiset suhteet. Jos tehtävänä on toteuttaa sivu mallikuvan mukaiseksi, juuri nämä seikat ovat usein todellisia hyväksymiskriteerejä.

Näköön perustuva iterointisilmukka voi edetä näin:

1. Suunnittelu: Agentti tulkitsee pyynnön, mallikuvan, koodipohjan ja aiemman työtilan.
2. Toiminta: Se kirjoittaa tai muokkaa koodia, käyttää selainta tai sovellusta tai muokkaa visuaalista aineistoa.
3. Havainnointi: Se renderöi tuloksen ja tarkastelee ruutukaappausta, videokehystä tai muuta visuaalista tulostetta.
4. Varmennus ja korjaus: Se vertaa tulosta tavoitteeseen, paikantaa todennäköiset viat, korjaa taustalla olevan toteutuksen ja toistaa kierroksen.

Qwen3.8-Max kuvaa tätä suljettuna silmukkana: natiivia visuaalista ymmärrystä käytetään suunnittelussa, toteutuksessa ja varmennuksessa pitkissä tehtävissä. Palvelussa tarjottava malli ottaa syötteenä kuvia, tekstiä ja videota ja tuottaa tekstivastauksen. 35 Kimi K3 ymmärtää samassa mallissa tekstiä, kuvia ja videota, ja sen konteksti-ikkuna on miljoona tokenia. 25

Etu ei siis ole vain kuvien tunnistaminen. Olennaista on, että agentti voi pitää pyynnön, lähdekoodin, visuaalisen lopputuloksen ja muuttuvan suunnitelmansa samassa työskentelykontekstissa.

Miksi OCR- ja VLM-välivaiheet voivat rajoittaa työtä?

Ulkoiset havainnointityökalut toimivat usein hyvin, mutta ne muodostavat rajapinnan näkemisen ja toiminnan väliin.

OCR on valikoiva. Se poimii näkyvän tekstin, mutta ei yksin kerro, onko painike leikkautunut, sommittelu epätasapainossa, modaalinen ikkuna peittää sisältöä tai visuaalinen hierarkia poikkeaa mallista.

Koordinaatit ovat tarkkoja mutta kapeita tietoja. Tieto elementin x- ja y-sijainnista auttaa automaatiossa, mutta se ei välttämättä välitä elementin visuaalista painoarvoa, tyyliä, päällekkäisyyksiä tai sitä, onko kyseessä juuri oikea kohde.

Toistuva muuntaminen hankaloittaa pitkiä ketjuja. Kun jokainen ruutukaappaus muutetaan kuvauksiksi tai koordinaateiksi, kontekstia voi kadota ja agentin on rakennettava ymmärrystä uudelleen. Epätäydelliseen kuvaukseen perustuva korjaus voi synnyttää uuden visuaalisen virheen ja vaatia taas uuden tarkistuskierroksen.

Natiivisti multimodaalinen malli ei poista virheitä, mutta se voi tarkastella ruutukaappausta ja toteutuskontekstia yhdessä sen sijaan, että se nojaa vain tekstitiivistelmään kuvan sisällöstä. Siksi lähestymistapa on kiinnostava erityisesti käyttöliittymäkehityksessä, GUI-automaation tehtävissä, visuaalisten regressioiden selvittämisessä, kuvankäsittelyssä ja videotyönkuluissa.

Kimi K3 havainnollistaa käyttötapausta – ei todista syytä

Kimi K3:n julkiset tulokset selittävät, miksi kehittäjät seuraavat tätä kehitystä. Arena ilmoitti Kimi K3:n nousseen Frontend Code Arenan kärkeen 1 679 pisteellä: nousua Kimi K2.6:sta oli 17 sijaa, ja malli sijoittui ykköseksi kuudella seitsemästä listatusta frontend-alueesta. 32

Erillisessä Puter-testistä kertovassa raportissa Kimi K3 löysi viisi tarkoituksella lisättyä visuaalista poikkeamaa tavoitesivun ja renderöidyn version välillä ilman vääriä positiivisia havaintoja. 28

Nämä ovat olennaisia esimerkkejä visuaalisesta varmennuksesta. Ne eivät silti osoita, että tulokset johtuivat yksin natiivista näöstä: mallin koko, opetusdata, jälkikoulutus, kehotteet, selaintyökalut, agenttirakenne ja itse vertailuasetelma voivat kaikki vaikuttaa tuloksiin. Varovaisempi johtopäätös on, että visuaalinen palaute ratkaisee todellisen virheluokan, jota pelkät tekstipohjaiset testit voivat jättää havaitsematta.

Milloin natiivia multimodaalisuutta kannattaa painottaa?

Natiivisti multimodaalinen agentti on vahvoilla, kun tehtävä vaatii toistuvaa havainnointia ja korjaamista ja kun visuaalinen uskollisuus on osa valmista lopputulosta:

• verkkosivun tai sovelluksen toteuttaminen mallikuvan mukaiseksi;
• rikkoutuneen käyttöliittymätilan korjaaminen;
• responsiivisten asettelujen ja visuaalisten regressioiden tarkistaminen;
• kuvan muokkaaminen niin, että kohde, sommittelu tai tyylirajoitteet säilyvät;
• pitkän videon tarkastaminen, kun kohtausjatkuvuus on tärkeää.

Modulaarinen OCR- tai erilliseen näkö-kielimalliin perustuva työnkulku voi silti olla parempi vaihtoehto edulliseen poimintaan, eräajoon tai tilanteisiin, joissa tarvitaan vain rakenteista tekstiä ja käyttöliittymän tilatietoa.

Ratkaiseva kysymys ei ole, onko näkökyky muodikas ominaisuus. Kysymys on: pitääkö agentin palata toistuvasti tarkistamaan, näyttääkö lopputulos oikeasti oikealta?

Tällaisissa tehtävissä natiivi multimodaalisuus tekee havaitsemisesta satunnaisen työkalukutsun sijaan osan agentin jatkuvaa toimintasilmukkaa – juuri tätä suuntaa Kimi K3 ja Qwen3.8-Max kertovat tavoittelevansa. 1735