APXInf tuo tekoälymallin päättelyn robotin omalle laitteistolle

Kun robotti havaitsee ympäristönsä, tekoälymallin on tuotettava seuraava toimintaohje riittävän nopeasti. APXInf on avoimen lähdekoodin päättelymoottori, jonka Infinigence AI on julkaissut yhdessä Tsinghuan yliopiston ja Shanghai Jiao Tong -yliopiston kanssa. Se on tarkoitettu ajamaan niin sanottuja kehollisen tekoälyn malleja lähellä robotin antureita ja toimilaitteita. APXInf nopeuttaa mallin tekemää toimintapäätöstä; se ei ole robotin moottoriohjain. 144

Mistä nopeus syntyy?

APXInfin kevyt Rust-ajoympäristö huolehtii suorituksesta ja muistinhallinnasta. Python-rajapintojen kautta kehittäjä voi puolestaan kutsua mallia tutusta robotiikkaohjelmistosta. Mallin siirtämisessä APXInfiin lähtökohtana ovat kiinteä vertailumallin tallennettu versio ja testisyötteet: siirretyn mallin tuloksia ja välivaiheita verrataan alkuperäiseen ennen suorituskyvyn optimointia. Näin pyritään varmistamaan, ettei nopeutus muuta laskennan tulosta huomaamatta. 35

Optimointi kohdistuu useaan kohtaan päättelyketjua. Pipeline-järjestelyllä pyritään vähentämään koko suorituspolun viiveitä, graafin talteenotto ja uudelleenkäytettävät muistipuskurit vähentävät toistuvaa valmistelutyötä, ja viritetyt GPU-laskentaoperaatiot nopeuttavat raskaita vaiheita. FP8- ja INT8-kvantisointi voi lisäksi pienentää laskennan ja muistiliikenteen määrää. Tavoitteena on nopea ja ennakoitava toiminta robotin omalla laitteistolla. 835

Mitä Jetson Thor -luvut tarkoittavat?

Julkaisun yhteydessä esitetyssä vertailussa π0.5-mallin FP8-version päästä päähän mitattu päättelyviive Jetson Thorilla laski optimoimattoman vertailutoteutuksen 278 millisekunnista alle 26 millisekuntiin – noin 10,7-kertainen nopeutuminen. Ilmoitettu tahti on 38,46 päättelyä sekunnissa; 278 millisekunnin viive vastaisi noin 3,6:ta päättelyä sekunnissa. Kyse on kuitenkin päättelynopeudesta, ei osoituksesta, että robotin koko anturista toimilaitteeseen ulottuva ohjaussilmukka toimisi 38,46 hertsin taajuudella. Joissakin uutisissa esiintyy myös 46 Hz, mutta 38,46 Hz vastaa ilmoitettua noin 26 millisekunnin viivettä. 869

Mittauslukuja ei pidä yhdistää huomaamatta: projektin GitHub-repositorion taulukossa Jetson AGX Thorin π0.5 FP8 -tulos on 41,16 ms ja 24,3 Hz, ei alle 26 ms. Luvut on siksi syytä lukea erillisinä julkaistuina mittauksina, joiden tuloksia ei voi olettaa samoiksi ilman vertailukelpoisten testiolosuhteiden tarkistamista. 58

Mallit, yhteensopivuus ja rajat

Julkaisua koskevissa tiedoissa ensimmäisiksi malleiksi nimetään π0.5 ja WALL-OSS ja laitteistoiksi RTX 4090, Jetson Orin ja Jetson Thor. Repositorio kuvaa erityisesti ensimmäisen version optimoitua π0.5-toteutusta Thorille ja Orinille sekä BF16-, FP8- ja INT8-tarkkuusvaihtoehtoja. APXInf kuuluu RLinf-ekosysteemin päättely- ja käyttöönotto-osaan. Robotille tarkoitetussa paketissa on myös OpenPI-yhteensopiva WebSocket-palvelin: rajapintayhteensopivuus ei tarkoita, että jokainen OpenPI-mallin tallennettu versio toimisi APXInfissä sellaisenaan. 451

Suunnitelmissa on tuki useammille näön ja kielen malleille, näön, kielen ja toiminnan yhdistäville malleille sekä maailmamalleille. Qwenia ja GR00Tia kerrotaan sovitettavan järjestelmään, ja myös laitteisto- ja taustajärjestelmätukea aiotaan laajentaa. Suunnitelma ei vielä ole lupaus valmiista tuesta. Thorilla ilmoitettua viivettä ei voi sellaisenaan siirtää toiseen malliversioon, laskentatarkkuuteen, laitteeseen tai tehonkulutusrajaan. Pelkkä päättelynopeus ei myöskään osoita, että robotti suorittaisi tehtävän onnistuneesti tai säilyttäisi nopeutensa pitkään lämpö- ja tehorajoitusten alaisena. 95