Miksi AgiBotin WITA-Omni sai Daily-Omni-testissä 85,21 pistettä?

AgiBotin WITA-Omni Preview saavutti yhtiön raportoimien tulosten mukaan 85,21 prosentin keskiarvon Daily-Omni-ääni- ja videopäättelytestissä. Malli johti kuutta kahdeksasta raportoidusta mittarista verrattuna arvioituihin Qwenin, Geminin, Doubaon ja NVIDIAn järjestelmiin. 11823

Vakuuttavin selitys ei ole pelkkä mallin mahdollinen koko, vaan se, että sen ilmoitettu rakenne ja koulutuksen painotus vastaavat hyvin sitä, mitä Daily-Omni mittaa: äänen, näkyvien tapahtumien ja niiden ajoituksen yhdistämistä.

Tulos on merkittävä askel multimodaaliselle tekoälylle. Se ei silti yksin osoita, että mallia käyttävä robotti olisi laajasti luotettava ennakoimattomissa sosiaalisissa tai fyysisissä ympäristöissä.

Mitä Daily-Omni mittaa?

Daily-Omni on ääni- ja videokysymyksiin perustuva vertailutesti, joka arvioi ajallisesti kohdistettua multimodaalista päättelyä. Aineistossa on 684 arkielämän videota ja 1 197 monivalintakysymystä kuudessa tehtäväluokassa. 1727

Haaste ei ole vain esineen tunnistaminen kuvasta tai puheen litterointi. Mallin on pääteltävä, mitkä ääni- ja näköhavainnot tapahtuvat yhtä aikaa, missä järjestyksessä tapahtumat etenevät ja miten molempien tiedonlähteiden perusteella vastataan kysymykseen. Julkisessa tulostaulukossa ovat mukana muun muassa ääni–kuva-kohdistus, vertailu, kontekstin ymmärtäminen, tapahtumajärjestys, päättely sekä 30 ja 60 sekunnin video-osuudet. 2023

Käytännössä oikea vastaus voi edellyttää esimerkiksi sen erottamista, näyttääkö kaksi tapahtumaa samalta mutta kuulostaa erilaiselta — tai tapahtuiko ääni ennen näkyvää toimintaa, sen aikana vai sen jälkeen.

Miksi WITA-Omnin lähestymistapa sopii tähän testiin?

AgiBot kuvailee WITA-Omni Preview'ta kehollistuneeksi, kaikki modaliteetit kattavaksi malliksi, joka ymmärtää yhdessä tekstiä, kuvia, ääntä ja videota. 59 Painotus vastaa suoraan Daily-Omnin asetelmaa: testi palkitsee mallia, joka säilyttää eri havaintokanavien väliset suhteet myös ajan kuluessa sen sijaan, että se käsittelisi äänen ja videon toisistaan irrallisina syötteinä. 1720

Raportoitu tulos oli erityisen vahva ääni–kuva-kohdistuksessa, vertailussa, tapahtumajärjestyksessä sekä 30 ja 60 sekunnin videoissa. 118 Juuri näissä tehtävissä yhteinen esitys siitä, mitä tapahtui, mitä kuultiin ja milloin, voi tuoda etua.

AgiBot ja mallia käsittelevät raportit kertovat koulutuksesta, jossa on käytetty kymmeniä miljoonia tunteja avointa ja yhtiön omaa multimodaalista dataa. Lisäksi datan tarkoituksena on ollut säilyttää puheen, kuvien, liikkeen ja ilmeiden luontainen ajoitus. 569 Julkisuudessa ei kuitenkaan ole mallin kokoa, täydellistä koulutusdatan koostumusta, ablaatiotutkimuksia, päättelyasetuksia tai riippumattomasti toistettavia arviointiyksityiskohtia. Siksi yksittäistä teknistä valintaa ei voida osoittaa 85,21 tuloksen varmaksi syyksi: selitys on uskottava, ei todistettu.

Thinker–Talker–Actor: rinnakkainen malli vuorovaikutukseen

AgiBot kuvaa WITA-Omnia Thinker–Talker–Actor-arkkitehtuurilla. Se laajentaa tutumpaa päättelyn ja puheen mallia fyysisiin ja ilmeellisiin ulostuloihin. 512

• Thinker tekee multimodaalista päättelyä tekstin, kuvien, äänen ja videon perusteella sekä ylläpitää tulkintaa tilanteesta ja vuorovaikutuksesta. 15
• Talker tuottaa kieltä virtaavana puheena, joten järjestelmän ei tarvitse odottaa koko vastauksen valmistumista ennen puhumista. 89
• Actor vastaa fyysisistä liikkeistä ja ilmeellisistä ulostuloista, kuten eleistä ja kasvonilmeistä. 58

Suunnittelun tavoitteena on synkronointi: puhe, toiminta ja ilmeet tuotetaan samalla aikajanalla, eivät toisistaan erillisinä vaiheina. 12

Miten yhteinen aikajana voi vähentää koettua viivettä?

Perinteinen robottijärjestelmä voi olla pitkälti sarjallinen: havaintojärjestelmä tulkitsee tilanteen, kielimalli muodostaa vastauksen, suunnittelija valitsee toiminnon ja ohjaus- tai animaatiokerros toteuttaa sen. Jokainen vaihto voi lisätä odotusta ja saada puheen, eleet ja liikkeen näyttämään toisistaan irrallisilta.

Rinnakkainen Thinker–Talker–Actor-malli pyrkii välttämään osan tästä pysähdy ja odota -ketjusta. Kun malli edelleen tulkitsee ihmisen sanoja, liikkeitä ja ympäristöä, se voi jo aloittaa sanallisen kuittauksen ja ajoittaa siihen sopivan fyysisen ilmaisun. Periaatteessa tämä voi tehdä vuoronvaihdosta luontevampaa ja yhdistää robotin sanat paremmin sen liikkeisiin.

Kyse on kuitenkin arkkitehtuurillisesta perustelusta, ei riippumattomasti mitatusta hyödystä: saatavilla olevat lähteet kuvaavat synkronoituja ulostuloja, mutta eivät ilmoita mitattua päästä päähän -viiveen pienenemistä. 12

Rooli GE-Sim 2.0:ssa ja robottiraudassa

WITA-Omni on yksi osa laajempaa kehollistuneen tekoälyn kokonaisuutta. AgiBotin GE-Sim 2.0 (Genie Envisioner-Sim 2.0) on robottimanipulointiin tarkoitettu suljetun silmukan videomaailmasimulaattori. Kun sille annetaan monikamerainen kuvahistoria ja toimintarata, se luo tulevista tilanteista monikameraisia ennusteita, jotka noudattavat määriteltyä robottikäyttäytymistä. Projektin mukaan malli on koulutettu uudelleen laajalla oikean robottidatalla, johon sisältyy etäohjausta, kosketusrikkaita vuorovaikutuksia ja robotilla ajettujen toimintapolitiikkojen käyttöönottoa. 11

Kolmen osan roolit voi jäsentää näin:

1. Maailman simulointi: GE-Sim 2.0 voi mallintaa mahdollisia toimintojen seurauksia arviointiin ja suljetun silmukan toimintapolitiikkoihin. 11
2. Multimodaalinen vuorovaikutus: WITA-Omni voi tulkita ääni- ja videokontekstia, päätellä sen perusteella, puhua sekä koordinoida ilmeellistä käyttäytymistä. 512
3. Fyysinen kehollistuma: robottirauta tarjoaa anturit ja toimilaitteet, joita tarvitaan maailman havaitsemiseen ja siinä toimimiseen.

AgiBot on myös ilmoittanut GE-Sim 2.0:n johtavan WorldArena-vertailua. Kyseinen sijoitus on kuitenkin saatavilla olevassa aineistossa yhtiön oma väite, joten sitä on arvioitava erillään Daily-Omni-tuloksesta. 436

Mitä 85,21 tulos kertoo — ja mitä se ei kerro?

Daily-Omni-tulos on hyödyllinen näyttö siitä, että WITA-Omni pärjää hyvin rajatussa ääni- ja videopohjaisten, ajallista päättelyä vaativien tehtävien luokassa. Ihmisen ja robotin välisessä vuorovaikutuksessa kyky yhdistää puhe, ympäristön äänet, näkyvät toiminnat ja ajoitus on olennaista. 1727

Vertailutestin pistemäärä ei kuitenkaan osoita luotettavaa toimintaa todellisessa maailmassa. Se ei sellaisenaan mittaa turvallista ohjausta, käsittelytehtävien kestävyyttä, virheistä toipumista, pitkän aikavälin suunnittelua, sosiaalista sopivuutta eri kulttuureissa tai toimintavarmuutta tuntemattomissa oloissa.

Tiivein johtopäätös on rajatumpi: WITA-Omnin raportoitu johtoasema sopii yhteen sellaisen mallisuunnittelun kanssa, jossa multimodaalinen ymmärrys ja ilmaisu synkronoidaan. Tämän edun muuttaminen luotettaviksi roboteiksi jäsentymättömiin sosiaalisiin tiloihin vaatii näyttöä, jota Daily-Omni ei yksin tarjoa.