Slik vil WUWENAI gjøre fysisk AI skalerbar

WUWENAIs grunnidé er at fysisk AI – kunstig intelligens som skal oppfatte og handle i den fysiske verden – ikke kan skaleres gjennom demonstrasjoner alene. Selskapet vil derfor koble sammen datainnsamling i virkeligheten, generering av erfaringer i en virtuell verden og ny testing med ekte roboter.

WUWENAI beskriver systemet som en virtuell–fysisk, lukket Real-to-Sim-to-Real-sløyfe. Liu Shengxiang, selskapets grunnlegger og toppsjef, har tidligere ledet arbeid med data og testing for Baidus satsing på autonom kjøring. 8

Tre deler i én læringssløyfe

1. Data Factory: forankring i den virkelige verden

Først samler selskapet inn synkroniserte data fra faktiske robot–objekt-interaksjoner. Multimodale systemer kan registrere blant annet bilder, bevegelse, robotens egen tilstand, kontakt og resultatet av oppgaven.

Poenget er å fange den fysiske årsakskjeden: Hva skjer når roboten griper, skyver, løfter eller mister et objekt? Vanlige nettvideoer og rent syntetiske scener kan se realistiske ut, men mangler ofte robotens konkrete handlinger, kalibrert geometri og signaler om krefter og kontakt.

WUWENAI har også lansert plattformen Wuyin for data til fysisk AI. Selskapet hevder at plattformen omfatter mer enn 1 000 terabyte data og 10 000 timer med åpne datasett av høy kvalitet. Dette er selskapets egne opplysninger. 12

2. Generativ verdensmodell: flere erfaringer fra færre observasjoner

En verdensmodell er en nevral modell som lærer hvordan en scene og dens tilstand utvikler seg over tid. Når den i tillegg er handlingsbetinget, kan den forsøke å forutsi hva som skjer når en robot utfører en bestemt handling. 5

Med utgangspunkt i ekte robotdata kan modellen generere varianter av oppgaver, bevegelsesforløp, objektplasseringer, forstyrrelser og mulige feil. Dermed kan én fysisk situasjon bli utgangspunkt for mange alternative scenarioer – også scenarioer som ville vært tidkrevende, risikable eller dyre å teste med en fysisk robot.

Det er her Liu Shengxiang mener selskapet kan nærme seg «millioner av timer» med treningsdata. Påstanden betyr ikke nødvendigvis at WUWENAI skal registrere millioner av timer med robotarbeid i fabrikker. Tanken er at et mindre, men fysisk forankret, datagrunnlag skal fungere som frødata for mange kontrollerbare, syntetiske forløp.

3. World Simulator: trening, evaluering og tilbakekobling

I simulatoren kan robotpolicyer – modellene som bestemmer hva roboten skal gjøre – kjøres langt raskere og billigere enn på fysisk maskinvare. Systemet kan sammenligne resultater, finne svake situasjoner og peke ut hvilke tilfeller som bør samles inn på nytt i den virkelige verden.

Forskning på interaktive, handlingsbetingede simulatorer tyder på at evalueringer i simulatoren kan ha sammenheng med hvordan en policy presterer i virkeligheten. Men dette er fortsatt et aktivt forskningsfelt, ikke en ferdig løst egenskap. 3

Sløyfen kan dermed beskrives slik:

1. Ekte robotinteraksjoner gir data om verden.
2. Verdensmodellen bruker dataene til å generere alternative forløp.
3. Simulatoren trener og tester robotpolicyer.
4. Feil og usikre situasjoner velges ut for ny testing med ekte roboter.
5. Resultatene brukes til å oppdatere både modellen og neste datainnsamling.

Denne koblingen mellom fysiske og syntetiske data samsvarer med nyere arbeid på lukket forsterkningslæring med ekte roboter. 4

Hvorfor ikke bare bruke teleoperasjon, video eller simulering?

De vanligste alternativene har hver sin tydelige svakhet:

• Teleoperasjon gir handlingmerkede demonstrasjoner, men er kostbart, langsomt og avhengig av operatøren. Datainnsamlingen vil ofte favorisere vellykket atferd, mens sjeldne feil og uventede situasjoner blir dårlig dekket.
• Førstepersonsvideo av mennesker kan skaleres langt bedre, men viser vanligvis ikke robotens egne handlinger, nøyaktige geometri, kontaktkrefter eller forskjellen mellom menneskets og robotens kropp. Derfor blir videoen begrenset som direkte treningssignal for presis robotmanipulasjon.
• Ren simulering er billig og kan gi stor variasjon, men kan beskrive feil geometri, friksjon, kontaktfysikk, sensorer eller objekters oppførsel. Dette er kjernen i det såkalte sim-to-real-gapet – avstanden mellom det som fungerer digitalt, og det som fungerer på ekte maskinvare.

En dynamisk digital tvilling som hele tiden justeres mot virkelige observasjoner, er ment å redusere dette gapet. 2

Fra å kopiere mennesker til å lære gjennom prøving

Demonstrasjoner er nyttige for å starte med imitasjonslæring: Robotens oppgave er i praksis å «gjøre det demonstratøren gjorde».

En tilstrekkelig presis, handlingsbetinget simulator kan åpne for neste steg. Der kan roboten prøve alternative handlinger, få belønning for ønskede resultater, planlegge over lengre tid og lære hvordan den skal hente seg inn etter feil. Dette er forsterkningslæring.

Nyere forskning har vist rammeverk for å finjustere syn–språk–handlingsmodeller gjennom forsterkningslæring i en verdensmodell. Samtidig er gode belønningssignaler og høy modelltrofasthet fortsatt avgjørende begrensninger.

En arkitektur flere aktører utforsker

WUWENAI konkurrerer ikke nødvendigvis i et marked der ett selskap har en helt unik idé. Flere ledende aktører beveger seg mot en lignende kombinasjon av virkelighetsforankrede data, generative verdensmodeller og simulering.

World Labs beskriver for eksempel SceniX som en Real-to-Sim-to-Real-motor som skal gjøre én fysisk oppgave om til mange kontrollerbare og gjenbrukbare simulerte verdener for trening og testing av robotpolicyer. 6 Google DeepMind har på sin side lenge undersøkt hvordan lærte dynamikkmodeller kan brukes til skalerbar forsterkningslæring. 3

Tesla har sterke fortrinn innen maskinvareutvikling, produksjon og et bredere økosystem for data og beregningskraft gjennom Optimus- og bilsatsingen. Det finnes likevel ikke tilstrekkelig offentlig dokumentasjon til å fastslå at WUWENAI teknologisk ligger foran Tesla eller DeepMind.

Hvorfor Kina er et viktig marked

Kina har verdens største installerte base av industriroboter og bygger samtidig opp en omfattende humanoidrobotikksektor. Landet forsøker også å lokalisere deler av leverandørkjeden for robotikk. 17

Kinesiske myndigheter og bransjeaktører beskriver dessuten fysisk AI som en teknologi som beveger seg fra små pilotprosjekter mot bredere bruk. 19 Det kan gi selskaper som WUWENAI tilgang til mange fabrikker, roboter, oppgaver og driftsmiljøer der de kan samle inn forankringsdata og tilby felles infrastruktur til flere robotprodusenter.

Den virkelige testen gjenstår

WUWENAI kan ha en interessant strategi for å løse datamangelen i fysisk AI: Bruk virkeligheten til å korrigere den virtuelle verdenen, og bruk den virtuelle verdenen til å øke treningsmengden.

Men selskapets omtale som «verdensledende», og påstander om å ligge måneder foran konkurrentene, er selskaps- eller mediepåstander – ikke uavhengig validerte resultater. Den avgjørende testen blir om simulatoren kan forutsi kontaktintensive og langsiktige hendelser godt nok til at policyer trent digitalt fungerer stabilt på ulike roboter, med ulike objekter og i ulike miljøer.