Figure Helix 2.5 testattiin 30 vieraassa kodissa: 56 % ei vielä tarkoita kotirobottia

Figure’n Helix 2.5 -julkistus on kiinnostava väite robottien kyvystä yleistää: yhtiön Figure 03 -humanoidi testattiin kotitöissä kodeissa, joita se ei ollut aiemmin kohdannut. Otsikkoluku, 56 %:n onnistumisaste kokonaisissa tehtävissä, tarkoittaa kuitenkin samalla, että 44 % yrityksistä ei läpäissyt tiukkaa arviointia. 114

Mitä testissä tehtiin?

Figure kertoo esikouluttaneensa Helix 2.5:n Index-aineistollaan, joka koostuu ihmisten käyttäytymistä kuvaavasta datasta. Tämän perustamallin pohjalta tehtiin kolme kotitaloustehtävää:

• olohuoneen siistiminen
• pyyhkeiden taittelu
• sängyn petaaminen.

Näitä toimintoja arvioitiin 30:ssä ennestään näkemättömässä Bay Arean kodissa Kaliforniassa. Yhtiön mukaan yhdestäkään arviointikodista ei kerätty dataa, eikä mallia hienosäädetty tai mukautettu kodin tai käsiteltävien esineiden perusteella. Kaikissa kohteissa käytettiin yhtä kiinteää malliversiota. 11

Tässä yhteydessä zero-shot tarkoittaa ennen kaikkea sitä, ettei robottia ollut koulutettu juuri näihin koteihin eikä niiden leluihin, pyyhkeisiin tai vuodevaatteisiin. Se ei tarkoita, että robotti olisi oppinut kaikki kolme tehtäväluokkaa ilman tehtäväkohtaista koulutusta: Figure kertoo mukauttaneensa perustamallin näihin kolmeen toimintoon. 11

Tulos: 56 % verrattuna 9 %:iin

Figure’n kontrolloidussa vertailussa Index-esikoulutus nosti kokonaisen zero-shot-tehtävän onnistumisasteen 9 %:sta 56 %:iin, kun vertailukohtana oli muuten vastaava, alusta asti koulutettu malli. 411

Pisteytys oli kaikki-tai-ei-mitään. Olohuoneen siistimisessä jokaisen hajallaan olleen lelun piti päätyä koriin. Pyyhkeitä taiteltaessa pyyhkeet piti sekä taitella että asettaa paikoilleen. Sängyn petauksessa tyynyt ja peitto piti asetella oikein ja suoristaa. 4

Siksi 56 % kertoo enemmän kuin väljä osittaisen suorituksen mittari. Samalla raja on selvä: 44 % kokonaissuorituksista epäonnistui. Tulos tukee ajatusta siitä, että laaja esikoulutus voi parantaa siirtymistä uusiin ympäristöihin. Se ei vielä osoita, että kotihumanoidi olisi valmis tekemään työtä luotettavasti ilman valvontaa. 4

Miksi Figure uskoo mallin skaalautuvan?

Figure’n laajempi ajatus muistuttaa kielimallien perustamalliajattelua: robotti esikoulutetaan laajalla ja vaihtelevalla aineistolla ihmisten fyysisestä toiminnasta, tietty toiminto määritellään pienemmällä määrällä robottidataa, ja robotti viedään uusiin tiloihin ilman, että aineisto täytyy kerätä uudelleen joka huoneessa. 11

Yhtiö raportoi skaalaussuhteen, jossa robottitoiminnan ennustusvirhe pieneni ennakoitavasti, kun Index-esikoulutusdatan määrää kasvatettiin kahdeksankertaisella vaihteluvälillä. Figure kertoi myös Indexin tuottavan noin 35 minuuttia ihmiskokemusdataa sekunnissa. 3

Figure’n edustaja ilmoitti erikseen kuvaushetkellä noin 90 000 viikoittaisesta aktiivisesta osallistujasta; määrä nousi hänen mukaansa myöhemmin yli 100 000:een. Kyse on yhtiön edustajan omasta ilmoituksesta, ei riippumattomasti tarkastetusta luvusta. 28

Lisäksi Figure julkisti Nscale-kumppanuuden kautta alkuvaiheessa 3,5 miljardin dollarin laskentakapasiteettisitoumuksen. Tavoitteena on enintään 100 000 Nvidia Vera Rubin -grafiikkasuoritinta, joiden käyttöönoton on tarkoitus alkaa vuoden 2027 jälkipuoliskolla. 3

Miksi testi ei vielä ratkaise kotirobotiikkaa?

Tuloksen julkisti ja arvioinnin teki Figure itse; kyse ei ole riippumattomasta, vertaisarvioidusta kotirobotiikan vertailutestistä. 11

30 kotia olivat tiettävästi lyhytaikaisvuokrauksia, jotka olivat tyhjiä, siistejä ja hyvin valaistuja. Oikeissa asutuissa kodeissa robotin pitäisi selviytyä ihmisistä, lemmikeistä, tavarakasoista, vaihtelevasta valaistuksesta, keskeytyksistä, poikkeavista esineistä ja turvallisuusvaatimuksista. Ne voivat tehdä sekä liikkumisesta että esineiden käsittelystä olennaisesti vaikeampaa. 4

Oikea johtopäätös on siis kapeampi kuin väite, että robotit osaavat nyt tehdä kotitöitä. Figure on esittänyt kontrolloidun näytön siitä, että laajamittainen ihmisten toimintaa kuvaava esikoulutus saattaa vähentää tarvetta kerätä robottidataa erikseen jokaiseen uuteen kotiin. Vielä ei tiedetä, voidaanko tällä lähestymistavalla saavuttaa tavallisissa asutuissa kodeissa vaadittava luotettavuus ja turvallisuus. 114