APXInf soll KI-Modelle auf Robotern schneller ausführen

Wenn ein Roboter aus Kamerabildern eine Bewegung ableiten soll, zählt nicht nur die Qualität des KI-Modells. Entscheidend ist auch, wie lange die Berechnung der nächsten Aktion dauert. APXInf setzt genau dort an: Die von Infinigence AI gemeinsam mit der Tsinghua-Universität und der Shanghai Jiao Tong University veröffentlichte Open-Source-Engine führt Modelle für Embodied AI – also KI für Systeme, die ihre Umgebung wahrnehmen und darin handeln – nahe an Sensoren und Aktoren aus. APXInf berechnet Modellantworten; die eigentliche Motorsteuerung ist nicht seine Aufgabe. 144

Wie APXInf in einen Roboter integriert wird

Eine schlanke Rust-Laufzeit verwaltet Ausführung und Speicher. Über Python-Schnittstellen können Entwicklerinnen und Entwickler die Modelle aus bestehender Robotik-Software aufrufen, ohne die leistungsrelevanten Berechnungen selbst in Python umsetzen zu müssen. Beim Portieren eines Modells beginnt der dokumentierte Ablauf mit einem festgelegten Referenz-Checkpoint und Testeingaben. Erst nachdem Ausgaben und Zwischenwerte mit der Referenz abgeglichen wurden, folgen die Optimierungen. So soll zunächst sichergestellt werden, dass die schnellere Implementierung dieselbe Berechnung ausführt. 35

Die Beschleunigung verteilt sich auf mehrere Ebenen: Pipeline-Optimierungen sollen Verzögerungen entlang des Inferenzpfads verringern. Graph Capture und wiederverwendete Speicherpuffer vermeiden wiederholte Vorbereitungsschritte. Angepasste GPU-Kernel beschleunigen aufwendige Rechenoperationen; Quantisierung etwa mit FP8 oder INT8 kann Rechenaufwand und Speicherverkehr senken. Das Ziel sind kurze und möglichst vorhersehbare Antwortzeiten beim Einsatz auf dem Roboter. 85

Was die Thor-Zahl tatsächlich aussagt

Für π0.5 in FP8 auf Jetson Thor nennt die veröffentlichte Gegenüberstellung eine End-to-End-Inferenzlatenz von 278 Millisekunden ohne Optimierung und unter 26 Millisekunden mit APXInf – eine Verringerung um ungefähr den Faktor 10,7. Dazu wird eine Rate von 38,46 Inferenzen pro Sekunde angegeben; aus 278 Millisekunden ergeben sich rechnerisch rund 3,6 pro Sekunde für die Vergleichsbasis. Die 38,46 sind eine Inferenzrate, kein Beleg dafür, dass der vollständige Weg von der Sensoraufnahme bis zur Motorbewegung bei jedem Roboter mit 38,46 Hz läuft. Einzelne Berichte nennen auch 46 Hz; die mehrfach angeführten 26 Millisekunden und 38,46 Hz passen rechnerisch zueinander. 86

Wichtig für den Vergleich: Die Tabelle im öffentlichen Projekt-Repository weist für Jetson AGX Thor mit FP8 auch 41,16 Millisekunden beziehungsweise 24,3 Hz aus. Der Wert unter 26 Millisekunden sollte deshalb nicht ohne Kenntnis des jeweiligen Testaufbaus mit dem Repository-Wert gleichgesetzt werden. 58

Modelle, Schnittstellen und Grenzen

Zum Start werden π0.5 und WALL-OSS sowie Jetson Orin, Jetson Thor und RTX 4090 genannt. Das Repository beschreibt insbesondere einen optimierten π0.5-Pfad für Thor und Orin und führt BF16, FP8 und INT8 als Präzisionsoptionen auf. APXInf übernimmt innerhalb des RLinf-Umfelds die Inferenz und Bereitstellung: Für eine APXInf-beschleunigte π0.5-Auswertung dokumentiert RLinf die Beibehaltung der OpenPI-Transformationen. Das roboterseitige Paket bietet zudem einen OpenPI-kompatiblen WebSocket-Server. Diese Schnittstellenkompatibilität bedeutet nicht, dass bereits jeder OpenPI-Checkpoint portiert wurde. 45

Auf der Roadmap stehen weitere VLA-Modelle (Vision-Language-Action), VLMs (Vision-Language-Modelle) und Weltmodelle; Qwen und GR00T befinden sich demnach in Anpassung. Auch zusätzliche Hardware-Backends und Plattformen sind geplant – nicht bereits pauschal unterstützt. 9 Wer APXInf für einen konkreten Roboter beurteilen will, muss mit dem eigenen Checkpoint, Zahlenformat, Gerät und Leistungsbudget messen. Inferenzlatenz allein belegt weder erfolgreiche Aufgaben im laufenden Regelkreis noch dauerhaftes Tempo unter den Strom- und Wärmegrenzen eines Roboters. 58