APXInf đưa suy luận AI lên robot: nhanh đến đâu và cần đọc số liệu thế nào?

Khi robot quan sát môi trường rồi quyết định bước tiếp theo, thời gian mô hình tạo ra hành động là một phần của độ trễ phản hồi. APXInf là động cơ suy luận mã nguồn mở do Infinigence AI phối hợp với Đại học Thanh Hoa và Đại học Giao thông Thượng Hải công bố, nhằm chạy các chính sách AI hiện thân ngay trên thiết bị gần cảm biến và bộ chấp hành. Nó xử lý phần suy luận để đề xuất hành động, chứ không phải bộ điều khiển trực tiếp các động cơ của robot. 144

Từ mô hình đến hành động trên robot

APXInf dùng một runtime Rust gọn nhẹ để quản lý thực thi và bộ nhớ. Lớp giao diện Python cho phép nhà phát triển gọi chính sách từ mã robot quen thuộc, trong khi các phép tính cần hiệu năng cao được xử lý ở tầng thấp hơn. Khi chuyển một mô hình sang động cơ này, quy trình được mô tả bắt đầu từ checkpoint tham chiếu và bộ đầu vào kiểm thử cố định; bản chuyển đổi được đối chiếu với đầu ra và các giá trị trung gian trước khi tối ưu tốc độ. Bước kiểm tra ấy giúp tránh tình huống chạy nhanh hơn nhưng cho kết quả khác mô hình gốc. 351

Tốc độ không đến từ một thủ thuật duy nhất. Tối ưu pipeline nhắm vào thời gian chờ trên toàn đường suy luận; graph capture và bộ đệm tái sử dụng giảm việc thiết lập lặp lại; các kernel GPU được tinh chỉnh tăng tốc những phép toán tốn tài nguyên. Lượng tử hóa, chẳng hạn FP8 hoặc INT8, có thể giảm lượng tính toán và dữ liệu phải chuyển qua bộ nhớ. Mục tiêu chung là tạo hành động với độ trễ thấp và ổn định hơn khi chạy trên robot. 835

Con số 26 ms cần được hiểu ra sao?

Trong so sánh được công bố cho π0.5 ở định dạng FP8 trên Jetson Thor, độ trễ suy luận đầu-cuối giảm từ 278 ms ở cấu hình chưa tối ưu xuống dưới 26 ms — xấp xỉ nhanh hơn 10,7 lần về độ trễ. Mức 38,46 lượt suy luận/giây được nêu cùng kết quả đó, so với khoảng 3,6 lượt/giây nếu tính từ mốc 278 ms. Đây là tần suất suy luận, không phải bằng chứng rằng toàn bộ vòng lặp từ cảm biến đến bộ chấp hành của mọi robot đều chạy ở 38,46 Hz. Một số bài viết ghi 46 Hz, nhưng 38,46 Hz khớp với mốc xấp xỉ 26 ms được nhắc lại trong cùng so sánh. 869

Đáng chú ý, kho mã APXInf hiện hiển thị một phép đo khác: π0.5 FP8 trên Jetson AGX Thor đạt 41,16 ms, tương ứng 24,3 Hz. Vì nguồn được cung cấp không xác lập rằng hai phép đo dùng cùng điều kiện thử nghiệm, không nên coi mốc dưới 26 ms là kết quả chắc chắn tái lập được cho mọi cách chạy trên Thor. 51

Hỗ trợ hiện tại và bước tiếp theo

Thông tin công bố ban đầu nêu hai mô hình π0.5, WALL-OSS và các nền tảng RTX 4090, Jetson Orin, Jetson Thor. Riêng kho mã nhấn mạnh đường suy luận π0.5 đã được tối ưu cho Thor và Orin, với các tùy chọn độ chính xác BF16, FP8 và INT8; mức tối ưu không mặc nhiên giống nhau trên mọi cặp mô hình–thiết bị. 459

APXInf đảm nhiệm phía suy luận và triển khai trong hệ sinh thái RLinf. Gói phục vụ robot còn có máy chủ WebSocket tương thích giao diện OpenPI, giúp kết nối với phần mềm sử dụng giao diện đó; tính tương thích này không có nghĩa mọi checkpoint OpenPI đã được chuyển sang APXInf. 5121

Lộ trình được nêu gồm thêm các mô hình VLA (thị giác–ngôn ngữ–hành động), VLM (thị giác–ngôn ngữ) và mô hình thế giới; Qwen và GR00T đang trong diện điều chỉnh để hỗ trợ. Nhóm cũng đề cập các hướng mở rộng nền tảng và backend, nhưng kế hoạch chưa phải cam kết hỗ trợ sẵn có. Với người muốn triển khai thật, điều cần kiểm tra là độ trễ của đúng checkpoint, độ chính xác, thiết bị và giới hạn điện năng mình dùng, cùng hiệu quả nhiệm vụ và khả năng duy trì tốc độ dưới tải nhiệt thực tế. Một benchmark suy luận riêng lẻ chưa trả lời được những câu hỏi đó. 95