| Syötteet ja tulosteet | Ihmisen video, tekstimuotoinen ohje, robotin viimeisimmät havainnot ja proprioseptiikka eli tieto robotin omasta asennosta ja liikkeestä. Tuloksena ovat robotin toiminnot ilman parametripäivityksiä. | Enintään noin 30 sekunnin videomuisti sekä sensorit, kieli ja proprioseptiikka. Malli tuottaa toimintoratoja 100 hertsin taajuudella. |
| Koulutuksen perusta | Kaksivaiheinen prosessi: esikoulutus 193 462 robottiradalla 229 tehtävässä ja sen jälkeen sopeutus 5 847 itse kerätyllä ihmisvideo–robottirata-parilla. | Yhtiö kertoo mallin jatkuvasta, yli kahdeksan kuukautta kestäneestä koulutuksesta todellisella fyysisen vuorovaikutuksen datalla. Esikoulutuksessa ei sen mukaan käytetty simulaatiodataa. |
| Yhden demonstraation kesto | Keskimäärin noin 29 sekuntia uuden taidon hankkimiseen. | Yhtiön ilmoittama aika on 3–12 sekuntia. |
| Tarvitaanko perinteistä uudelleenkoulutusta? | Ei. Taito hankitaan päättelyvaiheessa ilman tehtäväkohtaista parametripäivitystä. | Ei yhden demonstraation tapauksessa: Generalist AI:n mukaan gradienttipäivityksiä tai hienosäätöä ei tarvita. |
| Tehtävien laajuus | Kokeissa 50 uutta käsittelytehtävää, joissa vaihtelivat esineet, työkalut ja liikkeen perusmuodot. Kutakin tehtävää kokeiltiin 20 kertaa. | Julkisissa esimerkeissä robotti avaa purkin, avaa vetoketjullisen pussin, pyyhkäisee esineen kulhoon, laittaa tussin kuppiin, kaataa pultteja ja käyttää työkaluja. Julkisesti kuvattu tehtäväkokonaisuus ei kuitenkaan ole yhtä tarkasti määritelty. |
| Onnistumisaste | Keskimäärin 62 prosenttia uusissa tehtävissä. | Generalist AI on raportoinut 59 prosentin keskimääräisen onnistumisasteen kymmenessä erilaisessa käsittelytehtävässä, mutta tulosta ei ole riippumattomasti varmennettu vastaavalla tavalla. |
| Vertailu ja lisäsopeutus | Tutkimuksen mukaan tulos oli 45 prosenttia parempi kuin vahvimmalla nollanäytön jäljittelyyn perustuvalla vertailumenetelmällä ja parempi kuin valvottu hienosäätö, jossa käytettiin 50 robottidemonstraatiota tehtävää kohden. | Jos yksi demonstraatio ei riitä, yhtiö kertoo mallin voivan sopeutua 1–10 gradienttiaskeleella 1–5 minuutin aineistolla, joka vastaa noin 10–50 demonstraatiota. |
| Tehokkuusväite | Uuden taidon hankinnan väitetään olevan noin 507 kertaa nopeampaa kuin valvotussa hienosäädössä, jossa käytetään 50 robottidemonstraatiota tehtävää kohden. | Yhtiö vertaa 3–12 sekunnin kehotetta perinteiseen koulutukseen, joka voi vaatia kymmeniätuhansia gradienttiaskeleita. Vertailua ei ole riippumattomasti benchmarkattu. |
HOST ei pyri vain muuttamaan ihmisen käsivarren liikkeitä robotin nivelkulmiksi. Sen sijaan video toimii etenemissuunnitelmana: järjestelmä arvioi, missä vaiheessa tehtävää ihminen on, suhteuttaa tämän robotin omiin havaintoihin ja ennustaa, millainen lopputulos robotin näkökulmasta pitäisi olla.
Robotin ei siis tarvitse olla ihmisen fyysinen kopio. Sen on tunnistettava tehtävän tavoite ja pääteltävä omasta tilanteestaan, millä liikkeillä tavoite voidaan saavuttaa. Tämä on tärkeä ero verrattuna suoraan liikeradan toistamiseen.
HOSTin 50 tehtävän ja 20 toiston testi antaa viitteitä siitä, että lähestymistapa yleistyy uusiin esineisiin, työkaluihin ja käsittelytapoihin. Keskimääräinen 62 prosentin onnistumisaste kertoo kuitenkin samalla, ettei kyse ole vielä kaikissa tilanteissa luotettavasti toimivasta järjestelmästä.
Tutkimuksessa raportoitiin myös kokeita, joissa valaistus, esineet, ympäristö tai ihminen muuttuivat. Näissä tilanteissa perustason tulos heikkeni ilmoitetusti 1, 4, 6 ja 9 prosenttia vastaavasti.
Generalist AI kuvaa GEN-1.5:tä laajaksi ruumiilliseksi eli fyysiseksi perustamalliksi. Ajatus muistuttaa kielimallien kontekstin hyödyntämistä: videota ei muuteta uudeksi koulutusdataksi, vaan se sijoitetaan mallin käytettävissä olevaan kontekstiin. Malli päättelee siitä, mitä seuraavaksi pitäisi tehdä.
Yhtiö kertoo GEN-1.5:n pystyvän muun muassa siirtämään ihmisen esittämän toiminnan robotille, yhdistämään kaksi demonstraatiolla annettua käyttäytymistä ja siirtämään simulaatiossa näytetyn toiminnan fyysiseen robottiin.
Samalla on tärkeää huomata, ettei ”ilman koulutusta” tarkoita, ettei koulutusta olisi tarvittu lainkaan. Yhden videon kehote ei vaadi uutta päivitystä, mutta vaikeammissa tehtävissä Generalist AI tarjoaa erillisen few-shot-sopeutuksen, jossa mallia päivitetään muutaman gradienttiaskeleen ajan.
Käytännössä käyttöliittymä voisi muuttua merkittävästi. Robotille ei tarvitsisi aina ohjelmoida liikkeitä rivi riviltä, suunnitella palkkiofunktiota tai kerätä satoja robotin omia demonstraatioita. Sen sijaan ihminen voisi näyttää tehtävän kerran.
Tässä on kuitenkin olennainen täsmennys: robotit eivät opi tyhjästä. Niiden taustalla on kallis, laajamittainen esikoulutus, joka on jo ammentanut tietoa fyysisestä maailmasta, esineistä ja liikkeistä. Uusi demonstraatio kertoo järjestelmälle, mikä tavoite ja toimintatapa juuri nyt ovat.
Kustannus siis siirtyy osittain etukäteen tehtävään yleiseen koulutukseen. Loppukäyttäjän näkökulmasta uuden tehtävän opettaminen voi silti nopeutua huomattavasti. HOST tekee väitteen konkreettiseksi noin 29 sekunnin hankinta-ajalla ja raportoidulla 507-kertaisella nopeusedulla.
HOST on akateeminen esijulkaisu, ei osoitus avoimen maailman luotettavuudesta. Sen tulokset perustuvat kontrolloituun laboratorioarviointiin 50 valitulla uudella tehtävällä, ja keskimääräinen onnistumisaste oli 62 prosenttia. Kotitalouksien, teollisuuden, pitkien tehtäväketjujen, turvallisuuskriittisten tilanteiden ja riippumattomien toistokokeiden tulokset ovat edelleen avoinna.
GEN-1.5:n näyttöä on vaikeampi arvioida ulkopuolelta. Mallia, koulutuksen kestoa, simulaatiodatan puuttumista, demonstraatioiden pituutta ja sopeutusväitteitä koskevat tiedot ovat Generalist AI:n julkaisemia tai sen ilmoituksiin perustuvia.
GEN-1.5:lle ei ole vielä vastaavaa julkista vertailukoetta. Saatavilla ei ole riittävästi riippumatonta tietoa standardoidusta tehtävämäärästä, koejärjestelystä, yhden demonstraation kokonaisonnistumisasteesta, vertailumenetelmistä, mallin ja datan julkaisemisesta tai kolmannen osapuolen toistosta.
Siksi GEN-1.5:n videot ovat näyttöä kiinnostavasta potentiaalista, eivät vielä vahvistettu osoitus alan parhaasta suorituskyvystä. HOST puolestaan osoittaa, että parametrien päivittämättä jättäminen ja yhden videon perusteella tapahtuva taidon hankinta voivat toimia määritellyssä käsittelytestissä.
Kokonaiskuva on silti lupaava: robotteja opetetaan vähitellen enemmän ihmisten tavoin – näyttämällä, ei pelkästään ohjelmoimalla. Käytännön robotiikassa tarvitaan kuitenkin edelleen tehtävien validointia, turvallisuussuunnittelua ja usein myös lisäsopeutusta ennen kuin nämä järjestelmät ovat valmiita hallitsemattomiin ympäristöihin.
| Syötteet ja tulosteet | Ihmisen video, tekstimuotoinen ohje, robotin viimeisimmät havainnot ja proprioseptiikka eli tieto robotin omasta asennosta ja liikkeestä. Tuloksena ovat robotin toiminnot ilman parametripäivityksiä. | Enintään noin 30 sekunnin videomuisti sekä sensorit, kieli ja proprioseptiikka. Malli tuottaa toimintoratoja 100 hertsin taajuudella. |
| Koulutuksen perusta | Kaksivaiheinen prosessi: esikoulutus 193 462 robottiradalla 229 tehtävässä ja sen jälkeen sopeutus 5 847 itse kerätyllä ihmisvideo–robottirata-parilla. | Yhtiö kertoo mallin jatkuvasta, yli kahdeksan kuukautta kestäneestä koulutuksesta todellisella fyysisen vuorovaikutuksen datalla. Esikoulutuksessa ei sen mukaan käytetty simulaatiodataa. |
| Yhden demonstraation kesto | Keskimäärin noin 29 sekuntia uuden taidon hankkimiseen. | Yhtiön ilmoittama aika on 3–12 sekuntia. |
| Tarvitaanko perinteistä uudelleenkoulutusta? | Ei. Taito hankitaan päättelyvaiheessa ilman tehtäväkohtaista parametripäivitystä. | Ei yhden demonstraation tapauksessa: Generalist AI:n mukaan gradienttipäivityksiä tai hienosäätöä ei tarvita. |
| Tehtävien laajuus | Kokeissa 50 uutta käsittelytehtävää, joissa vaihtelivat esineet, työkalut ja liikkeen perusmuodot. Kutakin tehtävää kokeiltiin 20 kertaa. | Julkisissa esimerkeissä robotti avaa purkin, avaa vetoketjullisen pussin, pyyhkäisee esineen kulhoon, laittaa tussin kuppiin, kaataa pultteja ja käyttää työkaluja. Julkisesti kuvattu tehtäväkokonaisuus ei kuitenkaan ole yhtä tarkasti määritelty. |
| Onnistumisaste | Keskimäärin 62 prosenttia uusissa tehtävissä. | Generalist AI on raportoinut 59 prosentin keskimääräisen onnistumisasteen kymmenessä erilaisessa käsittelytehtävässä, mutta tulosta ei ole riippumattomasti varmennettu vastaavalla tavalla. |
| Vertailu ja lisäsopeutus | Tutkimuksen mukaan tulos oli 45 prosenttia parempi kuin vahvimmalla nollanäytön jäljittelyyn perustuvalla vertailumenetelmällä ja parempi kuin valvottu hienosäätö, jossa käytettiin 50 robottidemonstraatiota tehtävää kohden. | Jos yksi demonstraatio ei riitä, yhtiö kertoo mallin voivan sopeutua 1–10 gradienttiaskeleella 1–5 minuutin aineistolla, joka vastaa noin 10–50 demonstraatiota. |
| Tehokkuusväite | Uuden taidon hankinnan väitetään olevan noin 507 kertaa nopeampaa kuin valvotussa hienosäädössä, jossa käytetään 50 robottidemonstraatiota tehtävää kohden. | Yhtiö vertaa 3–12 sekunnin kehotetta perinteiseen koulutukseen, joka voi vaatia kymmeniätuhansia gradienttiaskeleita. Vertailua ei ole riippumattomasti benchmarkattu. |
HOST ei pyri vain muuttamaan ihmisen käsivarren liikkeitä robotin nivelkulmiksi. Sen sijaan video toimii etenemissuunnitelmana: järjestelmä arvioi, missä vaiheessa tehtävää ihminen on, suhteuttaa tämän robotin omiin havaintoihin ja ennustaa, millainen lopputulos robotin näkökulmasta pitäisi olla.
Robotin ei siis tarvitse olla ihmisen fyysinen kopio. Sen on tunnistettava tehtävän tavoite ja pääteltävä omasta tilanteestaan, millä liikkeillä tavoite voidaan saavuttaa. Tämä on tärkeä ero verrattuna suoraan liikeradan toistamiseen.
HOSTin 50 tehtävän ja 20 toiston testi antaa viitteitä siitä, että lähestymistapa yleistyy uusiin esineisiin, työkaluihin ja käsittelytapoihin. Keskimääräinen 62 prosentin onnistumisaste kertoo kuitenkin samalla, ettei kyse ole vielä kaikissa tilanteissa luotettavasti toimivasta järjestelmästä.
Tutkimuksessa raportoitiin myös kokeita, joissa valaistus, esineet, ympäristö tai ihminen muuttuivat. Näissä tilanteissa perustason tulos heikkeni ilmoitetusti 1, 4, 6 ja 9 prosenttia vastaavasti.
Generalist AI kuvaa GEN-1.5:tä laajaksi ruumiilliseksi eli fyysiseksi perustamalliksi. Ajatus muistuttaa kielimallien kontekstin hyödyntämistä: videota ei muuteta uudeksi koulutusdataksi, vaan se sijoitetaan mallin käytettävissä olevaan kontekstiin. Malli päättelee siitä, mitä seuraavaksi pitäisi tehdä.
Yhtiö kertoo GEN-1.5:n pystyvän muun muassa siirtämään ihmisen esittämän toiminnan robotille, yhdistämään kaksi demonstraatiolla annettua käyttäytymistä ja siirtämään simulaatiossa näytetyn toiminnan fyysiseen robottiin.
Samalla on tärkeää huomata, ettei ”ilman koulutusta” tarkoita, ettei koulutusta olisi tarvittu lainkaan. Yhden videon kehote ei vaadi uutta päivitystä, mutta vaikeammissa tehtävissä Generalist AI tarjoaa erillisen few-shot-sopeutuksen, jossa mallia päivitetään muutaman gradienttiaskeleen ajan.
Käytännössä käyttöliittymä voisi muuttua merkittävästi. Robotille ei tarvitsisi aina ohjelmoida liikkeitä rivi riviltä, suunnitella palkkiofunktiota tai kerätä satoja robotin omia demonstraatioita. Sen sijaan ihminen voisi näyttää tehtävän kerran.
Tässä on kuitenkin olennainen täsmennys: robotit eivät opi tyhjästä. Niiden taustalla on kallis, laajamittainen esikoulutus, joka on jo ammentanut tietoa fyysisestä maailmasta, esineistä ja liikkeistä. Uusi demonstraatio kertoo järjestelmälle, mikä tavoite ja toimintatapa juuri nyt ovat.
Kustannus siis siirtyy osittain etukäteen tehtävään yleiseen koulutukseen. Loppukäyttäjän näkökulmasta uuden tehtävän opettaminen voi silti nopeutua huomattavasti. HOST tekee väitteen konkreettiseksi noin 29 sekunnin hankinta-ajalla ja raportoidulla 507-kertaisella nopeusedulla.
HOST on akateeminen esijulkaisu, ei osoitus avoimen maailman luotettavuudesta. Sen tulokset perustuvat kontrolloituun laboratorioarviointiin 50 valitulla uudella tehtävällä, ja keskimääräinen onnistumisaste oli 62 prosenttia. Kotitalouksien, teollisuuden, pitkien tehtäväketjujen, turvallisuuskriittisten tilanteiden ja riippumattomien toistokokeiden tulokset ovat edelleen avoinna.
GEN-1.5:n näyttöä on vaikeampi arvioida ulkopuolelta. Mallia, koulutuksen kestoa, simulaatiodatan puuttumista, demonstraatioiden pituutta ja sopeutusväitteitä koskevat tiedot ovat Generalist AI:n julkaisemia tai sen ilmoituksiin perustuvia.
GEN-1.5:lle ei ole vielä vastaavaa julkista vertailukoetta. Saatavilla ei ole riittävästi riippumatonta tietoa standardoidusta tehtävämäärästä, koejärjestelystä, yhden demonstraation kokonaisonnistumisasteesta, vertailumenetelmistä, mallin ja datan julkaisemisesta tai kolmannen osapuolen toistosta.
Siksi GEN-1.5:n videot ovat näyttöä kiinnostavasta potentiaalista, eivät vielä vahvistettu osoitus alan parhaasta suorituskyvystä. HOST puolestaan osoittaa, että parametrien päivittämättä jättäminen ja yhden videon perusteella tapahtuva taidon hankinta voivat toimia määritellyssä käsittelytestissä.
Kokonaiskuva on silti lupaava: robotteja opetetaan vähitellen enemmän ihmisten tavoin – näyttämällä, ei pelkästään ohjelmoimalla. Käytännön robotiikassa tarvitaan kuitenkin edelleen tehtävien validointia, turvallisuussuunnittelua ja usein myös lisäsopeutusta ennen kuin nämä järjestelmät ovat valmiita hallitsemattomiin ympäristöihin.