APXInf: öppen inferensmotor för AI direkt på roboten

När en robot använder en AI-modell för att tolka sina observationer och föreslå nästa handling spelar även väntetiden roll. APXInf är en öppen inferensmotor som Infinigence AI har släppt tillsammans med Tsinghua University och Shanghai Jiao Tong University. Den är gjord för att köra sådana modeller nära robotens sensorer och ställdon, i stället för att vara robotens motorstyrning. 144

Hur ska APXInf minska fördröjningen?

En liten körmiljö i Rust sköter exekvering och minne. Python-gränssnitt gör samtidigt att utvecklare kan anropa modeller från bekant robotkod. När en modell flyttas till APXInf börjar det dokumenterade arbetsflödet med en bestämd referenskontrollpunkt och testdata. Den portade modellen jämförs sedan med referensens utdata och mellanliggande värden innan den optimeras. Syftet är att upptäcka avvikelser innan hastigheten skruvas upp. 35

Optimeringarna angriper flera delar av samma inferenskedja: schemaläggning av pipeline minskar väntan mellan steg, infångade beräkningsgrafer och återanvända buffertar minskar upprepat förarbete, och specialanpassade GPU-kärnor snabbar upp kostsamma beräkningar. Kvantisering till exempelvis FP8 eller INT8 kan dessutom minska beräknings- och minnesbehovet. Tillsammans ska detta ge snabbare och mer förutsägbara modellbeslut på roboten. 853

Vad betyder resultatet på Jetson Thor?

I en publicerad jämförelse för π0.5 i FP8 på Jetson Thor uppges inferenstiden från indata till modellutdata ha minskat från 278 millisekunder för en ooptimerad utgångspunkt till under 26 millisekunder med APXInf – ungefär 10,7 gånger kortare fördröjning. Den angivna takten är 38,46 inferenser per sekund, jämfört med cirka 3,6 per sekund om en inferens tar 278 millisekunder. Enstaka rapporter nämner 46 Hz, men 38,46 Hz är siffran som stämmer med 26 millisekunder per inferens. Det är inte ett bevis för att hela kedjan från sensoravläsning till utförd rörelse håller samma takt. 86

Det finns också skäl att skilja på olika publicerade mätningar: projektets GitHub-tabell anger 41,16 millisekunder och 24,3 Hz för π0.5 i FP8 på Jetson AGX Thor. Resultaten bör därför inte behandlas som utbytbara utan att testförutsättningarna kontrolleras. 5

Modeller, integration och nästa steg

Vid lanseringen nämndes π0.5 och WALL-OSS samt RTX 4090, Jetson Orin och Jetson Thor. Projektförrådet beskriver särskilt den första starkt optimerade π0.5-implementationen för Thor och Orin, med stöd för BF16, FP8 och INT8. APXInf är inferens- och driftsättningsdelen i RLinf-ekosystemet. Robotpaketet erbjuder även en WebSocket-server kompatibel med OpenPI:s gränssnitt; det betyder inte att varje OpenPI-kontrollpunkt redan har portats. 45

Planerna omfattar fler VLA-modeller, som kopplar syn och språk till handling, samt fler syn- och språkmodeller och världsmodeller. Qwen och GR00T anges vara under anpassning, och ytterligare hårdvaruplattformar och beräkningslösningar finns på färdplanen – inte på en lista över garanterat färdigt stöd. Resultatet på Thor behöver mätas om för andra modellkontrollpunkter, precisioner, enheter och effektgränser. Snabb inferens i sig visar varken att en robot lyckas med en uppgift i sluten styrning eller att hastigheten kan hållas vid dess faktiska effekt- och temperaturbegränsningar. 95