HERON-CRA yhdistää robotin tehtävämuistin, vahvistusoppimisen ja kuvitellut toimintaketjut

Kun robotti suorittaa monta peräkkäistä työvaihetta, pelkkä tämänhetkinen kamerakuva ei aina kerro, mitä sen pitäisi tehdä seuraavaksi. Sen on myös muistettava, mitä se on jo tehnyt, huomattava pieleen mennyt liike ja sopeuduttava muuttuneeseen tilanteeseen. Songyan Dynamicsin Scalabot esittelee HERON-CRA:n ratkaisuna tähän ongelmaan. Se on HERON-malliperheen toinen malli aiemmin julkaistun HERON-World Modelin jälkeen. Kyse on toistaiseksi järjestelmän kuvauksesta ja raportoiduista esittelyistä, ei riippumattomasti vahvistetusta yleisestä toimintavarmuudesta. 61415

Mitä robotin on tarkoitus muistaa ja oppia?

Context Expert kokoaa tehtävän historian. Se muuntaa aiempaa tilallista ja kohteiden merkitykseen liittyvää tietoa rakenteisiksi tunnisteiksi, joita malli voi käyttää myöhemmissä työvaiheissa. Kuvauksen ”4D” tarkoittaa kolmiulotteisen tilan seuraamista ajan kuluessa — ei sitä, että robotti havaitsisi neljännen tilaulottuvuuden. Tarkoitus on, ettei seuraava liike perustuisi vain uusimpaan kuvaan. 69

RL Engine opettelee korjausliikkeitä. Kevyeksi kuvattu vahvistusoppimisen osa käyttää niin sanottua jäännöspohjaista actor–critic-ratkaisua: se säätää perusmallin toimintaa sen sijaan, että korvaisi sen kokonaan. Erillisen arvomallin kuvataan arvioivan tehtävän etenemistä ajan mittaan. Tavoitteena on tarkempi ohjaus silloin, kun liike ei toteudu odotetusti. Saatavilla oleva näyttö ei kuitenkaan erottele, kuinka suuri osa mahdollisesta parannuksesta johtuu juuri tästä osasta. 59

Esikoulutus ja kuvitellut toimintaketjut laajentavat harjoittelua. Eri rakenteisilla roboteilla tehtävän esikoulutuksen tarkoitus on helpottaa taitojen siirtymistä robotista toiseen. Lisäksi todellisten onnistumisten ja epäonnistumisten tilanteita voidaan käyttää HERON-World Modelin lähtökohtina: maailmamalli tuottaa niiden pohjalta kuviteltuja toimintaketjuja jatko-oppimista varten. Tämä on ehdotettu oppimissilmukka, ei osoitus siitä, että mallin ennakoimat tapahtumat toteutuisivat luotettavasti fyysisessä maailmassa. 71415

Mitä esittelyistä voi päätellä?

Scalabotin mukaan sukan taittelu onnistui sen testissä 38,5 prosentissa tapauksista ennen parannusta ja 97,8 prosentissa sen jälkeen. Nousu on huomattava juuri tässä raportoidussa tehtävässä. Aineistosta ei kuitenkaan käy ilmi riippumattomasti tarkistettuja koekertojen määriä, testiolosuhteita tai vertailuasetelmaa, joten lukua ei pidä yleistää robotin muihin tehtäviin. 12

Raportoitu kahvinvalmistusesittely havainnollistaa, miksi aiempien vaiheiden muistamisesta voi olla hyötyä pitkässä tehtävässä. Esittelyt taitojen siirtämisestä robottien välillä ja häiriöihin reagoimisesta puolestaan näyttävät, mihin järjestelmällä pyritään. Ne eivät yksin kerro, kuinka usein sama onnistuu vieraissa ympäristöissä, toisilla roboteilla tai erilaisten keskeytysten jälkeen. 4615

Olennainen ero on suunnitelman ja todennetun suorituskyvyn välillä. HERON-CRA:n osat muodostavat johdonmukaisen lähestymistavan pitkien työvaiheiden hallintaan. Sen luotettavuuden arviointi edellyttää silti riippumattomia, vertailukelpoisia kokeita, joissa selvitetään myös muistin, korjaavan vahvistusoppimisen, esikoulutuksen ja kuviteltujen toimintaketjujen erilliset vaikutukset. 41415