Slik samler 51World inn treningsdata for humanoide roboter

Mangelen på pålitelige treningsdata fra den virkelige verden er en av de største hindringene for fysisk kunstig intelligens – såkalt embodied AI. Roboter trenger ikke bare eksempler på hva et menneske ser, men også på hvordan mennesker beveger seg, lytter, strekker seg, griper og håndterer gjenstander. Beijing-baserte 51World har nå presentert et maskinvare- og softwaresystem som skal samle inn slike demonstrasjoner på en mer strukturert måte.

Dette har 51World lansert

Kjernen i løsningen er AperEgo, et bærbart system for datainnsamling. Det består av et hodesett med flere kameraer, enheter på håndleddene og utstyr for fingrene. Selskapet lanserte også AperOS, en programvareplattform som skal behandle og administrere de multimodale dataene.

Produktene inngår i 51WORLDs bredere satsing på fysisk kunstig intelligens. Under lanseringen 18. august presenterte selskapet også konseptene AperData, en datainfrastruktur for embodied AI, og AperOne, en applikasjonsplattform.

Slik samler AperEgo inn data

En person bruker utstyret mens vedkommende utfører en oppgave. Hodesettet registrerer et panoramisk førstepersonsperspektiv – altså det brukeren selv ser. Sensorene synkroniserer informasjon om syn, bevegelser og lyd, mens enhetene på håndledd og fingre fanger opp mer detaljerte bevegelser i armer, hender og fingre.

Målet er å knytte det roboten oppfatter, tettere sammen med den fysiske handlingen som følger. Et opptak kan dermed inneholde både omgivelsene foran personen og bevegelsene og håndbruken som kreves for å fullføre oppgaven. Det er særlig relevant for roboter som skal lære presis håndtering av gjenstander.

Hva AperOS gjør med opptakene

AperOS mottar de multimodale dataene fra AperEgo og sorterer bort opptak som selskapet vurderer som ugyldige, før de lastes opp og behandles videre. 51World sier at dette kan redusere behovet for lagringsplass og datakraft, samtidig som utviklerne sitter igjen med et mer anvendelig datasett.

Arbeidsflyten kan oppsummeres slik:

1. Opptak: AperEgo registrerer syn, bevegelser og lyd fra førstepersonsperspektiv mens en person utfører en oppgave.
2. Detaljer om hendene: Utstyr på håndledd og fingre fanger opp bevegelser knyttet til å strekke seg, gripe og manipulere gjenstander.
3. Synkronisering: De ulike sensorstrømmene justeres slik at de beskriver den samme handlingen på tvers av datatypene.
4. Filtrering: AperOS fjerner data som vurderes som ugyldige, før opplasting og videre behandling.
5. Forberedelse til trening: Det gjenværende datasettet kan brukes til å utvikle modeller for fysisk kunstig intelligens og forbedre robotenes læringsprosesser.

Hevder 99 prosent presisjon

Administrerende direktør Li Yi sier at kombinasjonen av maskinvare og programvare kan øke presisjonen i dataene til 99 prosent. Han knytter dette til mer nøyaktig og effektiv robotlæring, med påståtte gevinster innen datainnsamling, utnyttelse av data, modelltrening og generalisering.

Tallene må imidlertid leses som 51Worlds egne påstander, ikke som uavhengig dokumenterte referanseresultater. Den tilgjengelige omtalen beskriver selskapets oppgitte egenskaper, men viser ikke til en ekstern testmetode, et sammenligningsdatasett eller en uavhengig verifisering av 99-prosentstallet.

Renere demonstrasjoner kan riktignok gjøre treningen bedre, men hvor godt en robot til slutt fungerer, avhenger også av modellen, maskinvaren, oppgaven, omgivelsene og hvordan resultatet blir målt.

Hvorfor datalaget er viktig

Humanoide roboter må lære å samordne sanseinntrykk og bevegelser i fysiske miljøer som stadig endrer seg. Gode demonstrasjoner fra mennesker kan potensielt hjelpe utviklere med å lære robotene mer pålitelige reaksjoner på gjenstander, rom og oppgaver som krever finmotorikk. 51World satser dermed på datagrunnlaget bak embodied AI, ikke på å bygge selve den humanoide roboten.

Utviklingen skjer samtidig som Kina forsøker å kommersialisere humanoid robotteknologi. TrendForce anslår at det kinesiske markedet for humanoide roboter vil nå 15 milliarder yuan (2,2 milliarder dollar) i 2026, og at det vil vokse med minst 60 prosent i 2027. Veksten ventes å komme etter hvert som produksjonen skaleres opp og bruksområdene utvides til blant annet bilindustri, elektronikk, romfart, logistikk og energi.

Markedsprognosen beviser ikke at AperEgo eller AperOS vil drive denne veksten. Den illustrerer likevel hvorfor verktøy som samler inn, filtrerer og organiserer data fra den fysiske verden, får større strategisk betydning. Når flere roboter skal gå fra demonstrasjoner til praktisk bruk, trenger utviklerne datasystemer som kan levere repeterbare og anvendelige eksempler i stor skala.