Derfor fikk AgiBots WITA-Omni 85,21 på Daily-Omni

AgiBots WITA-Omni Preview skal ha oppnådd en gjennomsnittsscore på 85,21 % på den audiovisuelle resonnementstesten Daily-Omni. Ifølge de publiserte resultatene ledet modellen seks av åtte delmål mot evaluerte systemer fra blant andre Qwen, Gemini, Doubao og NVIDIA. 11823

Den mest nærliggende forklaringen er ikke nødvendigvis bare modellstørrelse. WITA-Omni er, slik AgiBot beskriver den, utviklet for å knytte sammen lyd, visuelle hendelser og tidspunkt – nettopp egenskapene Daily-Omni tester.

Det er et interessant framskritt for multimodal KI. Men det er ikke alene dokumentasjon på at en robot med modellen vil fungere pålitelig i åpne, sosiale eller fysisk krevende miljøer.

Hva Daily-Omni faktisk måler

Daily-Omni er en test for audiovisuelle spørsmål og svar, utformet for å måle tidsmessig samordnet multimodalt resonnement. Datasettet omfatter 684 videoer fra hverdagslige situasjoner og 1 197 flervalgsspørsmål fordelt på seks oppgavetyper. 1727

Utfordringen er mer enn å kjenne igjen en gjenstand i et bilde eller skrive ut tale. Modellen må avgjøre hvilke hendelser i bilde og lyd som skjer samtidig, forstå hva som skjer før og etter, og bruke informasjon fra begge kilder for å svare. Den offentlige resultatoversikten omfatter samordning mellom lyd og bilde, sammenligning, kontekstforståelse, hendelsesrekkefølge, slutning, resonnement og delsett med 30- og 60-sekunders videoer. 2023

Et riktig svar kan altså kreve at modellen skiller mellom to like visuelle hendelser med ulik lyd – eller forstår om en lyd kom før, under eller etter en synlig handling.

Hvorfor WITA-Omnis design passer testen

AgiBot beskriver WITA-Omni Preview som en «embodied-native», fullmodal modell for samlet forståelse av tekst, bilder, lyd og video. 59 Det samsvarer godt med Daily-Omnis oppbygning: Testen belønner modeller som bevarer sammenhengen mellom modaliteter over tid, framfor å behandle lyd og video som uavhengige inndata. 1720

Det rapporterte resultatet var særlig sterkt innen samordning av lyd og bilde, sammenligning, hendelsesrekkefølge og videoene på 30 og 60 sekunder. 118 Dette er nettopp områder der en felles representasjon av hva som skjedde, hva som ble hørt og når det skjedde kan være en fordel.

AgiBot og omtaler av modellen viser også til trening på titalls millioner timer med åpne og proprietære multimodale data, inkludert data som skal bevare den naturlige timingen mellom tale, bilder, bevegelse og ansiktsuttrykk. 569 Samtidig mangler offentlig rapportering om modellstørrelse, full treningsmiks, ablasjonsstudier, innstilllinger ved kjøring og uavhengig reproduserbare evalueringsdetaljer. Derfor kan man ikke slå fast hvilken enkelt teknisk beslutning som forklarer scoren på 85,21. Forklaringen er plausibel, men ikke bevist.

Thinker–Talker–Actor: Samtidig modell for kroppslig samhandling

AgiBot beskriver WITA-Omni med en Thinker–Talker–Actor-arkitektur. Den utvider det velkjente mønsteret med resonnering og tale til også å omfatte fysiske og uttrykksfulle handlinger. 512

• Thinker utfører multimodal slutning på tvers av tekst, bilder, lyd og video, og opprettholder en tolkning av situasjonen og samhandlingen. 15
• Talker produserer språk som strømmende tale, i stedet for at systemet må vente til et helt svar er ferdig formulert. 89
• Actor håndterer fysiske bevegelser og uttrykk, inkludert gester og ansiktsuttrykk. 58

Det uttalte målet er synkronisering: Tale, handling og uttrykk skal samordnes på én tidslinje, ikke produseres som isolerte trinn. 12

Hvorfor en felles tidslinje kan oppleves raskere

En tradisjonell robotløsning kan være i stor grad sekvensiell: Sanser tolkes først, deretter produserer en språkmodell et svar, en planlegger velger handling, og til slutt utfører en animasjons- eller kontrollmodul bevegelsen. Hver overlevering kan skape ventetid og få robotens ord, gester og bevegelser til å virke frakoblet.

Et parallelt Thinker–Talker–Actor-oppsett er ment å redusere noe av denne ventingen. Mens modellen fortsatt tolker en persons ord, bevegelser og omgivelser, kan den begynne på en muntlig bekreftelse og planlegge et passende fysisk uttrykk. I prinsippet kan det gi mer naturlig turveksling og bedre samsvar mellom det roboten sier og hvordan den beveger seg.

Dette er imidlertid en arkitektonisk begrunnelse, ikke en uavhengig kvantifisert effekt. De tilgjengelige kildene beskriver synkroniserte utdata, men oppgir ingen målt reduksjon i total forsinkelse. 12

Samspillet med GE-Sim 2.0 og robothardware

WITA-Omni er ett lag i AgiBots bredere satsing på kroppslig, eller «embodied», KI. GE-Sim 2.0 (Genie Envisioner-Sim 2.0) er en lukket videosimulator for robotmanipulering. Med historiske bilder fra flere kameravinkler og en handlingsbane som inndata genererer den framtidige flerkameraforløp som følger den angitte robotatferden. Prosjektet opplyser at modellen er trent på omfattende data fra virkelige roboter, inkludert fjernstyring, kontaktintensiv samhandling og kjøring av robotpolicyer direkte på maskinen. 11

Konseptuelt kan de tre delene ha ulike roller:

1. Verdenssimulering: GE-Sim 2.0 kan modellere mulige utfall av handlinger for evaluering og lukket sløyfe-basert policyutvikling. 11
2. Multimodal samhandling: WITA-Omni kan tolke audiovisuell kontekst, resonnere, snakke og samordne uttrykksfull atferd. 512
3. Fysisk utførelse: Robothardware leverer sensorene og aktuatorene som trengs for å oppfatte og handle i verden.

AgiBot har også opplyst at GE-Sim 2.0 leder WorldArena-testen. Den rangeringen er imidlertid en selskapsopplysning i materialet som er tilgjengelig her, og bør vurderes separat fra Daily-Omni-resultatet. 436

Hva 85,21-resultatet viser – og ikke viser

Daily-Omni-resultatet er relevant dokumentasjon på at WITA-Omni gjør det godt på en tydelig avgrenset kategori oppgaver innen tidsmessig audiovisuelt resonnement. Evnen til å koble tale, omgivelseslyder, synlige handlinger og timing er relevant når roboter skal samhandle med mennesker. 1727

Men en benchmarkscore dokumenterer ikke pålitelig bruk i virkeligheten. Den måler ikke i seg selv sikker styring, robust manipulering, evne til å hente seg inn etter feil, planlegging over lang tid, sosialt passende atferd på tvers av kulturer eller driftssikkerhet under ukjente forhold.

Den mest presise konklusjonen er derfor smalere: WITA-Omnis rapporterte ledelse er forenlig med en modell som er utviklet for synkronisert multimodal forståelse og uttrykk. Å omsette dette fortrinnet til roboter man kan stole på i ustrukturerte sosiale miljøer krever dokumentasjon langt utover Daily-Omni.