APXInf для роботів: як працює рушій і що означають заявлені 26 мс

Коли робот отримує зображення з камери, модель має перетворити спостереження на дію, не змушуючи машину надовго завмирати в очікуванні відповіді. APXInf — відкритий рушій висновування, який Infinigence AI представила разом з Університетом Цінхуа та Шанхайським університетом Цзяотун саме для виконання таких моделей на пристрої. Він працює на ділянці між вхідними даними й згенерованою моделлю дією, але не замінює контролер двигунів і не відповідає самотужки за весь цикл керування роботом. 144

Що відбувається всередині

Компактне середовище виконання на Rust керує запуском обчислень і пам’яттю. Інтерфейс Python дає змогу викликати модель зі звичного для розробників робототехніки коду, не переносячи туди низькорівневе керування ресурсами. Для перенесення моделі описаний перевірний порядок роботи: зафіксувати еталонний чекпойнт і тестові входи, зіставити результати та проміжні значення нової реалізації з еталоном — і лише після цього оптимізувати її. Це важливо: швидший результат не допоможе роботу, якщо під час перенесення модель почне обчислювати інші дії. 35

Прискорення складається з кількох рівнів. Планування конвеєра зменшує паузи між етапами висновування; захоплення графа обчислень і повторне використання буферів скорочують витрати на повторну підготовку запуску; оптимізовані GPU-операції пришвидшують найважчі обчислення. Квантування, зокрема FP8 та INT8, може зменшити обсяг обчислень і обмін даними з пам’яттю. Мета цих змін — швидше й передбачуваніше отримувати дії моделі на самому роботі. 385

Що показав тест на Jetson Thor — і де є розбіжність

У повідомленнях про запуск наведено таке порівняння для π0.5 у форматі FP8 на Jetson Thor: затримка висновування від входу до виходу знизилася з 278 мс у базовій неоптимізованій версії до менш ніж 26 мс після оптимізації. Це приблизно 10,7-кратне скорочення затримки; заявлені 38,46 висновування за секунду узгоджуються з інтервалом близько 26 мс. Початкові 278 мс відповідають приблизно 3,6 висновування за секунду. В окремих публікаціях трапляється число 46 Гц, але в матеріалах також наведено узгоджену пару «26 мс / 38,46 Гц». 869

Водночас таблиця в репозиторії APXInf указує для Jetson AGX Thor і FP8 41,16 мс та 24,3 Гц. Отже, показник «менш ніж 26 мс» не слід видавати за універсальний результат для Thor: для прямого зіставлення потрібні однакові чекпойнт, параметри запуску й умови вимірювання. Ані 38,46, ані 24,3 висновування за секунду самі по собі не доводять, що весь шлях від сенсора до руху робота працює з такою частотою. 58

Моделі, обладнання та інтеграція

У повідомленнях про перший випуск названо моделі π0.5 і WALL-OSS, а серед платформ — RTX 4090, Jetson Orin і Jetson Thor. Сам репозиторій окремо описує оптимізований шлях для π0.5 на Thor та Orin і варіанти точності BF16, FP8 та INT8. Наявність платформи в переліку не означає, що кожна модель і кожен формат однаково оптимізовані на всьому обладнанні. 459

APXInf належить до екосистеми RLinf і відповідає за виконання та розгортання моделей. Для роботи з роботом пакет також пропонує WebSocket-сервер, сумісний з інтерфейсом OpenPI. Йдеться про спосіб підключення, а не про гарантію, що будь-який чекпойнт OpenPI вже перенесено й оптимізовано для APXInf. 515

У планах — підтримка нових моделей VLA (зір–мова–дія), VLM (зір–мова) і моделей світу; Qwen та GR00T названо серед напрямів адаптації. Також заявлено подальшу роботу над обчислювальними платформами й програмними бекендами. Це дорожня карта, а не перелік можливостей, доступних у поточному випуску. 95

Практичний висновок: APXInf може скоротити час, який робот витрачає на отримання дії від моделі. Але показник для π0.5 у FP8 не можна переносити на інший чекпойнт, точність, пристрій або ліміт потужності без нового тесту. Окремо потрібно перевіряти роботу під тривалим навантаженням, у межах теплового й енергетичного бюджету робота та під час виконання реального завдання. 58