APXInf skal gøre robotters AI hurtigere – men tallene kræver forbehold

Når en robot bruger en AI-model til at omsætte sanseindtryk til en handling, er det ikke nok, at modellen træffer en god beslutning. Svaret skal også komme hurtigt nok. APXInf er en open source-inferensmotor fra Infinigence AI, Tsinghua University og Shanghai Jiao Tong University, udviklet til at køre sådanne modeller tæt på robottens sensorer og aktuatorer – i stedet for at gøre robotten afhængig af fjern beregning. Motoren genererer modellens output; den er ikke i sig selv robottens motorstyring. 144

Fra model til handling

APXInf bruger en let runtime skrevet i Rust til at håndtere afvikling og hukommelse. Python-grænseflader gør det samtidig muligt at kalde modellen fra kode, som robotudviklere allerede arbejder i. Ved portering af en model er fremgangsmåden at begynde med et fast reference-checkpoint og faste testinput, kontrollere output og mellemliggende værdier mod referencen og først derefter optimere. Det skal mindske risikoen for, at en hurtigere implementering også ændrer modellens resultater. 35

Hastigheden søges forbedret flere steder i beregningskæden:

• Pipeline-optimering skal begrænse ventetid på tværs af inferensforløbet.
• Graph capture og genbrug af buffere skal undgå gentagen opsætning af de samme beregninger.
• Specialtilpassede GPU-kerner skal gøre de dyre operationer hurtigere.
• Kvantisering, blandt andet med FP8 eller INT8, kan reducere mængden af beregning og data, der skal flyttes. 85

Pointen er ikke blot flere beregninger i sekundet, men kortere og mere forudsigelig ventetid, når robotten skal omsætte en observation til et nyt handlingsforslag. 38

Hvad viser Thor-tallet – og hvad viser det ikke?

I en offentliggjort sammenligning for π0.5 med FP8 på Jetson Thor falder end-to-end-inferens fra 278 ms uden optimering til under 26 ms med APXInf. Det svarer til omtrent 10,7 gange lavere latenstid. Den oplyste inferensfrekvens er 38,46 pr. sekund, mod cirka 3,6 pr. sekund, hvis man omregner de 278 ms. Enkelte omtaler nævner 46 Hz, men samme omtale angiver også 38,46 Hz; sidstnævnte stemmer med et resultat omkring 26 ms. 86

Der er et væsentligt forbehold: Projektets eget repository opfører også π0.5 i FP8 på Jetson AGX Thor til 41,16 ms og 24,3 Hz i sin måletabel. De tilgængelige oplysninger fastslår ikke, hvorfor den tabel afviger fra sammenligningen med under 26 ms. Derfor bør hver måling læses med sine konkrete testbetingelser frem for som et løfte om en bestemt hastighed på enhver Thor-enhed. 58

Tallene gælder desuden inferens, ikke nødvendigvis hele robotforløbet fra sensorregistrering til fysisk bevægelse. De dokumenterer hverken, at alle robotter kan styres ved 38,46 Hz, eller at en given opgave lykkes i kontinuerlig drift. Et andet checkpoint, en anden talpræcision, anden hardware eller robotens strøm- og temperaturgrænser kan ændre resultatet. 85

Modeller, integration og næste skridt

Ved lanceringen nævnes π0.5 og WALL-OSS samt platformene RTX 4090, Jetson Orin og Jetson Thor. Repositoriet fremhæver især den optimerede π0.5-implementering til Thor og Orin og beskriver muligheder med BF16, FP8 og INT8. Omtale af en platform er dog ikke det samme som, at alle modeller og præcisioner er lige gennemtestede på den. 45

APXInf er inferens- og udrulningsdelen af RLinf-økosystemet. Den robotrettede pakke tilbyder også en WebSocket-server med en grænseflade, der er kompatibel med OpenPI. Det handler om, hvordan programmer kan tale sammen – ikke om, at ethvert OpenPI-checkpoint allerede er porteret til APXInf. 51

Planerne omfatter flere VLA-modeller, der kobler syn, sprog og handling, samt VLM- og world-modeller. Qwen og GR00T nævnes som modeller under tilpasning; yderligere hardware-backends er også på køreplanen. Det er planer, ikke garantier for nuværende understøttelse. For udviklere er den afgørende prøve derfor at måle deres eget checkpoint på deres egen robot og inden for dens reelle strøm- og temperaturgrænser. 95