APXInf: зачем роботу отдельный движок для запуска ИИ-моделей

Для робота важно не только какое действие выбрала модель, но и когда она выдала ответ. APXInf — открытый движок вывода, представленный Infinigence AI совместно с Университетом Цинхуа и Шанхайским университетом Цзяотун. Он предназначен для запуска моделей воплощённого ИИ непосредственно на вычислительном оборудовании робота: так можно сократить время от поступления наблюдения до рассчитанного моделью действия. Сам APXInf не управляет двигателями. 144

Как он устроен

Небольшая исполняющая среда на Rust отвечает за выполнение модели и работу с памятью, а интерфейс Python позволяет вызывать её из привычного разработчикам робототехники кода. При переносе модели описанный подход начинается с фиксированного исходного чекпойнта и тестовых входных данных: результаты перенесённой версии, в том числе промежуточные значения, сверяют с эталоном до оптимизации. Это помогает не спутать ускорение с изменением поведения модели. 35

Ускорение достигается на нескольких уровнях. Организация конвейера уменьшает задержки на всём пути вывода; захват вычислительного графа и повторное использование буферов сокращают накладные расходы при повторных запусках. Оптимизированные GPU-ядра ускоряют затратные операции, а вычисления с пониженной точностью, включая FP8 и INT8, могут уменьшить объём вычислений и обмена данными с памятью. Цель — быстрее и предсказуемее выдавать действия на устройстве с ограниченными ресурсами. 85

Что означают 26 мс на Jetson Thor

В опубликованном сравнении для π0.5 в формате FP8 на Jetson Thor задержка вывода от входа до выхода снизилась с 278 мс у неоптимизированного варианта до менее 26 мс — примерно в 10,7 раза. Указанная частота составляет 38,46 вывода в секунду, тогда как 278 мс соответствуют примерно 3,6 вывода в секунду. Это частота работы модели, не доказательство, что весь цикл от датчика до исполнительного механизма у любого робота работает на 38,46 Гц. В отдельных публикациях встречается и число 46 Гц, но с задержкой около 26 мс согласуется именно 38,46 Гц. 896

Есть важная оговорка: в таблице открытого репозитория для Jetson AGX Thor и FP8 приведены 41,16 мс и 24,3 Гц, а не менее 26 мс. По доступным данным нельзя установить, чем различаются условия этих измерений; считать их одним и тем же воспроизводимым тестом не стоит. 58

Модели, совместимость и планы

В сообщениях о запуске названы модели π0.5 и WALL-OSS и платформы RTX 4090, Jetson Orin и Jetson Thor. Репозиторий отдельно описывает оптимизированный в первом выпуске путь для π0.5 на Thor и Orin с вариантами BF16, FP8 и INT8. APXInf относится к части экосистемы RLinf, отвечающей за вывод и развёртывание модели. Пакет для подключения к роботу также предлагает WebSocket-сервер с интерфейсом, совместимым с OpenPI. Совместимость интерфейса не означает, что любой чекпойнт OpenPI уже перенесён в APXInf. 14515

В планах — дополнительные модели классов VLA и VLM, модели мира, адаптация Qwen и GR00T, а также развитие поддержки вычислительных платформ. Это дорожная карта, а не перечень уже работающих конфигураций. Для другого чекпойнта, формата точности, устройства или лимита энергопотребления задержку нужно измерять заново. Быстрый вывод сам по себе не подтверждает ни успешность задач в замкнутом контуре управления, ни устойчивую скорость при тепловых и энергетических ограничениях реального робота. 95