APXInf skal gi roboter raskere svar – men Thor-tallene spriker

Når en robot skal reagere på det den ser, er det ikke nok at KI-modellen kan foreslå riktig handling. Forslaget må også komme raskt nok. APXInf er en åpen inferensmotor fra Infinigence AI, Tsinghua-universitetet og Shanghai Jiao Tong-universitetet, laget for å kjøre slike modeller på maskinvare nær robotens sensorer og aktuatorer. Målet er kortere tid fra observasjon til modellgenerert handling. APXInf er ikke i seg selv styringen av robotens motorer. 144

Hva gjør systemet raskere?

En liten kjøretidskomponent i Rust håndterer kjøring og minne, mens Python-grensesnitt lar utviklere kalle modellen fra programvare de allerede bruker i robotikk. Ved portering av en modell starter den beskrevne arbeidsflyten med et fast referansesjekkpunkt og faste testdata. Deretter sammenlignes både sluttresultater og mellomverdier med referansen før ytelsesarbeidet begynner. Det er viktig: En raskere modell er lite verdt hvis porteringen endrer handlingene den foreslår. 35

Ytelsesarbeidet skjer på flere nivåer. Pipeline-planlegging skal begrense venting gjennom hele inferenskjeden. Grafopptak og buffere som brukes om igjen, reduserer gjentatt oppsett. Tilpassede GPU-kjerner gjør tunge beregninger raskere, mens kvantisering til blant annet FP8 eller INT8 kan redusere beregningsarbeid og datatrafikk i minnet. Hensikten er ikke bare høy fart, men mer forutsigbar responstid på roboten. 85

Hva viser Thor-testen – og hva viser den ikke?

I en publisert sammenligning for π0.5 i FP8 på Jetson Thor falt inferenstiden fra 278 millisekunder uten de aktuelle optimaliseringene til under 26 millisekunder – omtrent 10,7 ganger lavere latenstid. Den oppgitte hastigheten er 38,46 inferenser i sekundet, mot omtrent 3,6 som følger av 278 millisekunder per inferens. Enkelte omtaler nevner 46 Hz, men oppgir også 38,46 Hz sammen med 26-millisekunderstallet. 38,46 Hz er derfor det mest konsistente tallet for denne sammenligningen. 869

Det er en inferensrate, ikke dokumentasjon på at hele kjeden fra sensor til fysisk bevegelse i enhver robot går med samme frekvens. Det er også verdt å merke seg at prosjektets GitHub-kodebase oppgir 41,16 millisekunder og 24,3 Hz for en Jetson AGX Thor-test med FP8. Det er et annet publisert resultat; uten et avklart felles testoppsett bør det ikke behandles som om det var den samme målingen som tallet på under 26 millisekunder. 58

Modeller, integrasjon og veien videre

Lanseringsomtalen nevner π0.5 og WALL-OSS og maskinvare som RTX 4090, Jetson Orin og Jetson Thor. Kodebasen beskriver særlig en optimalisert π0.5-løsning for Thor og Orin, med valgene BF16, FP8 og INT8. APXInf hører til inferens- og utrullingssiden av RLinf-økosystemet. Den robotrettede pakken har også en WebSocket-server som er kompatibel med OpenPI-grensesnittet. Grensesnittkompatibilitet betyr ikke at alle OpenPI-sjekkpunkter allerede er portert. 1451

Planene omfatter flere modeller innen blant annet visjon, språk og robothandling, samt såkalte verdensmodeller. Qwen og GR00T er oppgitt å være under tilpasning, og det er varslet arbeid med flere plattformer og beregningsbakender. Dette er planer, ikke garantier om støtte i dagens utgave. Før Thor-resultatet brukes som grunnlag for en konkret robot, må hastigheten måles på nytt med riktig sjekkpunkt, tallformat, enhet og effektgrense. Inferenshastighet alene viser verken om roboten lykkes med oppgaven, eller om ytelsen holder seg over tid innenfor dens strøm- og varmebegrensninger. 95