Wat is APXInf en hoe snel werkt het op een robot?

Een robot moet waarnemingen snel kunnen omzetten in een volgende actie. APXInf is een open-source inferentie-engine van Infinigence AI, samen met Tsinghua University en Shanghai Jiao Tong University, die daarvoor AI-modellen op of nabij de robot laat draaien. Inferentie is het uitvoeren van een getraind model; APXInf neemt niet de plaats in van de motorcontroller die de beweging uiteindelijk aanstuurt. 144

Hoe probeert APXInf vertraging te beperken?

De compacte Rust-runtime beheert de uitvoering en het geheugen. Via Python-interfaces kunnen ontwikkelaars een model vanuit bestaande robotsoftware aanroepen. Bij het overzetten van een model begint de beschreven werkwijze met een vast referentiecheckpoint en vaste testinvoer. De overgezette versie wordt vervolgens gecontroleerd aan de hand van uitkomsten en tussenwaarden van het origineel, vóór de snelheidsoptimalisaties worden toegepast. 35

Die optimalisaties grijpen op verschillende niveaus in. Pipelineplanning richt zich op wachttijd in de volledige inferentieketen. Graph capture en herbruikbare buffers beperken herhaald opstart- en voorbereidingswerk. Afgestemde GPU-kernels versnellen zware berekeningen, terwijl kwantisatie met onder meer FP8 of INT8 de hoeveelheid rekenwerk en geheugenverkeer kan verminderen. Het doel is een snelle, voorspelbare modelrespons tijdens gebruik op de robot. 85

Wat zeggen de Thor-cijfers precies?

Volgens de gepubliceerde vergelijking daalde de end-to-end inferentietijd voor π0.5 in FP8 op Jetson Thor van 278 ms bij de niet-geoptimaliseerde uitgangssituatie tot minder dan 26 ms met APXInf: ongeveer 10,7 keer zo weinig vertraging. Daarbij wordt 38,46 inferenties per seconde gemeld, tegenover circa 3,6 per seconde bij 278 ms. Dat is niet automatisch de frequentie van de volledige regelkring, van sensorwaarneming tot uitgevoerde beweging. Sommige berichtgeving noemt ook 46 Hz; 38,46 Hz sluit aan bij de eveneens gemelde 26 ms en is voor deze vergelijking het beter te onderbouwen cijfer. 896

Er is een belangrijk voorbehoud: de openbare repository vermeldt voor Jetson AGX Thor met FP8 óók 41,16 ms en 24,3 Hz. De aangeleverde gegevens maken niet duidelijk of daarvoor dezelfde meetopzet is gebruikt als bij de vergelijking met 278 ms. Behandel ‘minder dan 26 ms’ dus niet als een gegarandeerd resultaat voor elke installatie. 58

Welke modellen en apparaten vallen eronder?

Bij de introductie worden π0.5 en WALL-OSS genoemd, naast RTX 4090, Jetson Orin en Jetson Thor. De repository beschrijft vooral een sterk geoptimaliseerd π0.5-traject voor Thor en Orin, met opties voor BF16, FP8 en INT8. APXInf vormt de inferentie- en implementatiekant van het RLinf-ecosysteem. Het robotgerichte pakket biedt ook een OpenPI-compatibele WebSocket-server: dat zegt iets over de interface, niet dat elk OpenPI-checkpoint al is overgezet. 451

Op de planning staan meer vision-language-action-modellen (VLA), vision-language-modellen (VLM) en wereldmodellen; Qwen en GR00T worden genoemd als modellen waaraan wordt gewerkt. Ook verdere ondersteuning voor andere platforms en rekenbackends staat op de routekaart. Dat zijn plannen, geen toezeggingen over huidige ondersteuning. Een ander checkpoint, een andere precisie of een lager stroombudget kan de vertraging veranderen. Alleen een snelle inferentiemeting toont bovendien nog niet aan dat een robot een taak betrouwbaar afrondt of langdurig binnen zijn thermische grenzen blijft werken. 95