Apa itu APXInf, dan seberapa cepat inferensi AI di robot?

Saat robot menerima gambar atau pembacaan sensor, model AI perlu mengubahnya menjadi keputusan tindakan tanpa menunggu terlalu lama. APXInf adalah mesin inferensi sumber terbuka dari Infinigence AI, Universitas Tsinghua, dan Shanghai Jiao Tong University yang ditujukan untuk menjalankan model embodied AI—AI yang bekerja melalui tubuh fisik seperti robot—di perangkat dekat sensor dan aktuator. APXInf mempercepat tahap pengambilan keputusan oleh model, bukan menggantikan pengendali motor robot. 144

Bagaimana APXInf bekerja?

Intinya adalah runtime ringkas berbasis Rust yang mengelola eksekusi dan memori. Antarmuka Python memungkinkan pengembang memanggil model dari kode robotika yang sudah mereka gunakan. Saat memindahkan model ke APXInf, alur yang didokumentasikan dimulai dari checkpoint acuan dan masukan uji yang tetap. Hasil serta nilai-nilai antara dari versi yang dipindahkan kemudian dibandingkan dengan acuan sebelum optimasi dilakukan. 35

Percepatan dicari di beberapa lapisan sekaligus: penjadwalan pipeline mengurangi waktu tunggu sepanjang proses inferensi; graph capture dan penggunaan ulang buffer menghindari persiapan berulang; kernel GPU yang disetel khusus mempercepat operasi berat; sedangkan kuantisasi FP8 atau INT8 dapat menekan kebutuhan komputasi dan lalu lintas memori. Tujuannya bukan hanya menghasilkan tindakan lebih cepat, melainkan juga membuat waktu respons lebih dapat diprediksi saat model berjalan di robot. 85

Seberapa besar peningkatan yang dilaporkan?

Untuk π0.5 dengan presisi FP8 di Jetson Thor, perbandingan yang dipublikasikan menyebut latensi inferensi ujung ke ujung turun dari 278 milidetik pada versi tanpa optimasi menjadi kurang dari 26 milidetik—sekitar 10,7 kali lebih rendah. Angka yang menyertainya adalah 38,46 inferensi per detik, dibandingkan sekitar 3,6 per detik jika dihitung dari latensi awal 278 milidetik. Ini adalah laju inferensi, bukan bukti bahwa seluruh siklus sensor-ke-aktuator setiap robot berjalan pada 38,46 Hz. 86

Angka itu juga perlu dibaca berdampingan dengan repositori proyek, yang mencantumkan 41,16 milidetik atau 24,3 Hz untuk π0.5 FP8 di Jetson AGX Thor. Karena hasil yang tercantum berbeda, pembaca tidak sebaiknya menganggap angka kurang dari 26 milidetik sebagai hasil yang akan selalu diperoleh dari paket dan pengaturan pengujian lain. Sejumlah laporan turut menyebut 46 Hz, tetapi angka 26 milidetik dan 38,46 Hz yang berulang dalam perbandingan tersebut saling sesuai secara matematis. 568

Model, integrasi, dan batasnya

Pemberitaan peluncuran menyebut π0.5 dan WALL-OSS sebagai model awal, serta RTX 4090, Jetson Orin, dan Jetson Thor sebagai platform yang dicakup. Repositori secara khusus menjelaskan jalur π0.5 yang sangat dioptimalkan untuk Thor dan Orin, dengan pilihan presisi BF16, FP8, dan INT8. APXInf berada di sisi inferensi dan penerapan dalam ekosistem RLinf. Paket untuk robot juga menyediakan server WebSocket yang kompatibel dengan antarmuka OpenPI; kompatibilitas antarmuka itu tidak berarti semua checkpoint OpenPI sudah siap dijalankan. 14515

Rencana pengembang mencakup lebih banyak model VLA, VLM, dan world model, termasuk adaptasi Qwen dan GR00T, serta pekerjaan lanjutan pada platform dan backend. Itu masih peta jalan, bukan jaminan dukungan saat ini. Untuk menilai pemakaian di robot tertentu, pengujian harus diulang dengan checkpoint, presisi, perangkat, serta batas daya dan termal yang sesuai. Inferensi yang cepat saja belum membuktikan keberhasilan tugas atau kinerja yang stabil ketika robot beroperasi terus-menerus. 95