Därför fick AgiBots WITA-Omni 85,21 på Daily-Omni

AgiBots WITA-Omni Preview uppges ha fått 85,21 % i genomsnitt på det audiovisuella resonemangstestet Daily-Omni. Enligt de publicerade resultaten ledde modellen sex av åtta redovisade mått mot utvärderade system från bland andra Qwen, Gemini, Doubao och Nvidia. 11823

Den rimligaste förklaringen är inte nödvändigtvis att modellen är större, utan att dess uttalade design och träning ligger nära det som Daily-Omni faktiskt testar: att knyta ihop vad som syns, vad som hörs och när det händer.

Det är ett relevant framsteg för multimodal AI. Men det är i sig inte ett bevis för att en robot med modellen fungerar tillförlitligt i öppna sociala eller fysiska miljöer.

Vad Daily-Omni mäter

Daily-Omni är ett test för audiovisuella frågor och svar med fokus på tidsmässigt samordnat multimodalt resonemang. Datamängden innehåller 684 vardagsvideor och 1 197 flervalsfrågor fördelade över sex uppgiftstyper. 1727

Utmaningen är alltså större än att identifiera ett föremål i en bildruta eller skriva ut tal. Modellen måste avgöra vilka ljud- och bildhändelser som sker samtidigt, i vilken ordning de inträffar och hur information från båda modaliteterna leder fram till rätt svar. I den offentliga resultatöversikten ingår bland annat ljud-bild-anpassning, jämförelse, kontextförståelse, händelseföljd, inferens, resonemang samt videoklipp på 30 och 60 sekunder. 2023

Ett korrekt svar kan till exempel kräva att systemet skiljer mellan visuellt liknande skeenden som låter olika, eller förstår om ett ljud kom före, under eller efter en synlig handling.

Varför WITA-Omnis upplägg passar testet

AgiBot beskriver WITA-Omni Preview som en förkroppsligad, multimodal modell för gemensam förståelse av text, bild, ljud och video. 59 Det passar väl med Daily-Omnis upplägg, eftersom testet belönar modeller som behåller samband mellan modaliteter och över tid – snarare än att behandla ljud och video som två separata inmatningar. 1720

Det rapporterade resultatet var särskilt starkt inom ljud-bild-anpassning, jämförelse, händelseföljd samt videoklippen på 30 och 60 sekunder. 118 Det är just i dessa kategorier som en gemensam representation av vad som hände, vad som hördes och när det skedde bör kunna ge en fördel.

AgiBot och rapporteringen om modellen hänvisar också till träning på tiotals miljoner timmar av öppna och egna multimodala data, inklusive material som ska bevara naturlig tajmning mellan tal, bilder, rörelser och ansiktsuttryck. 569 Däremot saknas offentliga uppgifter om modellstorlek, fullständig träningsmix, ablationsstudier, inferensinställningar och oberoende reproducerbara utvärderingsdetaljer. Därför är sambandet mellan enskilda tekniska val och resultatet 85,21 % rimligt, men inte bevisat.

Thinker–Talker–Actor: parallellt samspel för robotar

AgiBot beskriver WITA-Omni med arkitekturen Thinker–Talker–Actor, en utvidgning av mönstret där resonemang och tal kompletteras med fysiska och uttrycksfulla utdata. 512

• Thinker gör multimodala slutsatser från text, bilder, ljud och video och håller ihop tolkningen av situationen och interaktionen. 15
• Talker producerar språk som strömmande tal, i stället för att systemet måste vänta på att ett helt svar är färdigt. 89
• Actor hanterar kroppsrörelser och uttryck, inklusive gester och ansiktsuttryck. 58

Det uttalade målet är synkronisering: tal, handling och uttryck ska samordnas på en tidslinje i stället för att skapas som isolerade steg. 12

Därför kan en gemensam tidslinje kännas snabbare

En traditionell robotkedja kan vara till stor del seriell: perception ger en tolkning, ett språkssystem formulerar ett svar, en planerare väljer en handling och ett styr- eller animationslager utför den. Varje överlämning kan skapa väntetid och få robotens ord, gester och rörelser att upplevas som osammanhängande.

Ett parallellt Thinker–Talker–Actor-upplägg är tänkt att minska en del av detta stopp-och-vänta-beteende. Medan modellen fortsätter att tolka en persons ord, rörelser och omgivning kan den börja med en muntlig bekräftelse och planera ett passande fysiskt uttryck. I princip kan det ge naturligare turordning i samtal och bättre samstämmighet mellan vad en robot säger och hur den rör sig.

Detta är dock en arkitektonisk fördel, inte en självständigt uppmätt prestandasiffra: de tillgängliga källorna beskriver synkroniserade utdata, men redovisar ingen kvantifierad minskning av änd-till-änd-fördröjningen. 12

Rollen för GE-Sim 2.0 och robotarnas hårdvara

WITA-Omni är ett lager i AgiBots bredare satsning på förkroppsligad AI. GE-Sim 2.0 (Genie Envisioner-Sim 2.0) är en sluten videosimulator för robotmanipulation. Med historiska bildrutor från flera kameravinklar och en handlingsbana kan den generera framtida förlopp från flera vinklar som följer robotens angivna beteende. Projektet uppger att modellen tränats om på storskaliga data från verkliga robotar, inklusive fjärrstyrning, kontaktintensiv interaktion och policyer som körs på roboten. 11

På ett övergripande plan har de tre delarna olika roller:

1. Världssimulering: GE-Sim 2.0 kan modellera möjliga utfall av handlingar för utvärdering och arbete med slutna styrloopar. 11
2. Multimodal interaktion: WITA-Omni kan tolka audiovisuell kontext, resonera, tala och samordna uttrycksfullt beteende. 512
3. Fysisk förkroppsligande: robotarnas hårdvara tillhandahåller sensorer och aktuatorer för att kunna uppfatta och agera i världen.

AgiBot har även uppgett att GE-Sim 2.0 leder testet WorldArena. Den placeringen är dock ett företagsanspråk i det tillgängliga underlaget och bör bedömas separat från Daily-Omni-resultatet. 436

Vad poängen visar – och inte visar

Daily-Omni-resultatet är ett användbart belägg för att WITA-Omni presterar väl på en avgränsad typ av uppgifter: tidsberoende resonemang över ljud och video. För människa–robot-interaktion är förmågan att relatera tal, omgivningsljud, synliga handlingar och tidpunkter relevant. 1727

Men ett benchmarkresultat visar inte att en robot är pålitlig i verklig drift. Det mäter inte i sig säker styrning, robust manipulation, återhämtning efter misstag, långsiktig planering, social lämplighet mellan kulturer eller tillförlitlighet i obekanta situationer.

Den tydligaste slutsatsen är därför snävare: WITA-Omnis rapporterade ledning stämmer överens med en modell som har utformats för synkroniserad multimodal förståelse och uttryck. Att omsätta den fördelen i robotar som går att lita på i ostrukturerade sociala miljöer kräver betydligt mer evidens än Daily-Omni ensamt kan ge.