APXInf: jak działa silnik AI dla robotów i co mówią jego testy

Gdy robot korzysta z modelu AI do wyboru kolejnego działania, liczy się nie tylko jakość decyzji, lecz także czas jej obliczenia. APXInf to otwarty silnik wnioskowania przygotowany przez Infinigence AI we współpracy z Uniwersytetem Tsinghua i Uniwersytetem Jiao Tong w Szanghaju. Ma uruchamiać modele możliwie blisko czujników i elementów wykonawczych robota, ograniczając opóźnienie między obserwacją a działaniem wyznaczonym przez model. Nie jest sam w sobie sterownikiem silników robota. 144

Jak działa i skąd bierze się przyspieszenie?

Niewielkie środowisko uruchomieniowe napisane w Ruście zarządza wykonywaniem obliczeń oraz pamięcią. Interfejs Pythona pozwala natomiast wywoływać model z kodu, którego programiści robotów już używają. Opisany sposób przenoszenia modelu do APXInf zaczyna się od ustalenia referencyjnego checkpointu i zestawu wejść testowych; przed optymalizacją należy porównać wynik przeniesionej wersji z wynikami referencyjnymi, także na etapach pośrednich. Chodzi o to, by zysk szybkości nie ukrył błędu w obliczeniach. 35

APXInf ogranicza opóźnienie na kilku poziomach jednocześnie:

• Pipeline: organizuje kolejne etapy wnioskowania tak, by zmniejszyć przestoje w całej ścieżce obliczeń.
• Graph: przechwytuje powtarzalny przebieg obliczeń i korzysta ponownie z przygotowanych buforów, ograniczając koszt uruchamiania tych samych operacji.
• Kernel: wykorzystuje dostrojone operacje GPU do przyspieszenia najbardziej kosztownych fragmentów modelu.
• Kwantyzacja: formaty takie jak FP8 i INT8 mogą zmniejszyć ilość obliczeń oraz danych przesyłanych do i z pamięci. 85

Celem jest szybsze i bardziej przewidywalne wyznaczanie działań na urządzeniu robota, a nie automatyczne rozwiązanie wszystkich problemów sterowania w czasie rzeczywistym. 38

Co pokazuje wynik z Jetson Thor?

W opublikowanym porównaniu dla π0.5 w FP8 na Jetson Thor opóźnienie wnioskowania spadło z 278 ms w wariancie bez optymalizacji do poniżej 26 ms — około 10,7 razy. Podano też 38,46 wnioskowania na sekundę, podczas gdy 278 ms odpowiada w przybliżeniu 3,6 wnioskowania na sekundę. To częstotliwość wnioskowania, nie dowód, że pełna pętla obejmująca czujniki, pozostałe oprogramowanie i wykonanie ruchu działa w każdym robocie z częstotliwością 38,46 Hz. 86

Nie wszystkie publikowane liczby opisują ten sam pomiar. W części doniesień pojawia się 46 Hz, lecz zestawienie „poniżej 26 ms / 38,46 Hz” jest powtarzane i wzajemnie spójne, dlatego lepiej odnosić do tego porównania wartość 38,46 Hz. Z kolei tabela benchmarków w repozytorium projektu podaje dla Jetson AGX Thor i FP8 41,16 ms oraz 24,3 Hz. Bez ujednolicenia warunków pomiaru nie należy przedstawiać tych wartości jako jednego wyniku testu. 685

Jakie modele i urządzenia obejmuje projekt?

Materiały towarzyszące udostępnieniu APXInf wymieniają modele π0.5 i WALL-OSS oraz platformy RTX 4090, Jetson Orin i Jetson Thor. Repozytorium dokładniej opisuje mocno zoptymalizowaną ścieżkę pierwszej wersji dla π0.5 na Thor i Orin, z wariantami precyzji BF16, FP8 i INT8. Wymienienie urządzenia w materiałach projektu nie oznacza, że każdy model, checkpoint i wariant precyzji ma na nim identyczny poziom optymalizacji. 1454

APXInf odpowiada za wnioskowanie i wdrażanie w ekosystemie RLinf. Integracja obejmuje ewaluację π0.5 przyspieszoną przez APXInf z zachowaniem przekształceń danych używanych przez OpenPI. Pakiet przeznaczony do połączenia z robotem udostępnia też serwer WebSocket zgodny z interfejsem OpenPI. Zgodność interfejsu nie oznacza, że każdy checkpoint OpenPI został już przeniesiony do APXInf. 515

Co jest jeszcze w planach — i czego benchmark nie dowodzi?

W planach są kolejne modele VLA (łączące obraz, język i działania), VLM (łączące obraz i język) oraz modele świata. Wśród adaptowanych modeli wymienia się Qwen i GR00T; zapowiedziano również prace nad kolejnymi platformami i backendami. To kierunki rozwoju, a nie gwarancja obecnej obsługi każdej konfiguracji. 95

Wyniku „poniżej 26 ms” nie można bez nowego testu przenieść na inny checkpoint, format obliczeń, układ ani limit mocy. Samo opóźnienie wnioskowania nie potwierdza też skuteczności robota podczas wykonywania zadania ani tego, że utrzyma on tę wydajność przy ograniczeniach zasilania i temperatury. 85