APXInf mempercepat inferens AI pada robot, tetapi angka penanda arasnya perlu dibaca dengan cermat

Apabila robot menerima imej daripada kamera, model AI perlu memproses pemerhatian itu sebelum mencadangkan tindakan. APXInf ialah enjin inferens sumber terbuka yang dibangunkan oleh Infinigence AI bersama Universiti Tsinghua dan Universiti Jiao Tong Shanghai untuk menjalankan proses tersebut berhampiran sensor dan penggerak robot, bukannya bergantung pada pemprosesan di awan. Matlamatnya ialah memendekkan masa menunggu keputusan model; APXInf sendiri bukan pengawal motor yang melaksanakan setiap gerakan robot. 14412

Bagaimana APXInf berfungsi?

Runtime yang ringkas, dibina dengan Rust, mengurus pelaksanaan dan memori. Bindings atau antara muka Python pula membolehkan pembangun memanggil polisi model melalui kod robotik yang biasa mereka gunakan, tanpa perlu mengendalikan semua butiran pengoptimuman aras rendah secara langsung. 358

Sebelum mempercepat model, aliran kerja pemindahan modelnya bermula dengan checkpoint rujukan dan input ujian yang ditetapkan. Hasil model yang dipindahkan dibandingkan dengan output serta nilai perantaraan rujukan supaya perubahan semasa pengoptimuman dapat diperiksa. Ini penting: inferens yang pantas hanya berguna jika tindakan yang dihasilkan masih sepadan dengan model yang hendak digunakan. 35

Pecutan itu datang daripada beberapa lapisan kerja, bukan satu helah tunggal: penjadualan pipeline mengurangkan masa menunggu sepanjang laluan inferens; penggunaan semula graph dan penimbal memori mengelakkan kerja persediaan berulang; kernel GPU yang ditala mempercepat operasi mahal; manakala pengkuantuman seperti FP8 atau INT8 boleh mengurangkan pengiraan dan pemindahan data dalam memori. Gabungannya bertujuan menjadikan masa menghasilkan tindakan lebih singkat dan lebih mudah dijangka ketika model berjalan pada robot. 8518

Seberapa pantas pada Jetson Thor?

Bagi π0.5 dalam FP8 pada Jetson Thor, perbandingan yang diterbitkan melaporkan kependaman inferens hujung-ke-hujung menurun daripada 278 milisaat bagi versi asas tanpa pengoptimuman kepada kurang 26 milisaat — sekitar 10.7 kali lebih rendah. Kadar yang dilaporkan ialah 38.46 inferens sesaat, berbanding kira-kira 3.6 sesaat yang tersirat daripada 278 milisaat. Ini ialah kadar inferens, bukan bukti bahawa keseluruhan gelung daripada sensor hingga penggerak bagi setiap robot berjalan pada 38.46 Hz. 892

Angka tersebut juga perlu dibezakan daripada jadual penanda aras dalam repositori APXInf, yang menyenaraikan 41.16 milisaat dan 24.3 Hz untuk π0.5 FP8 pada Jetson AGX Thor. Sumber yang diberikan tidak menjelaskan perbezaan tetapan kedua-dua keputusan itu, jadi angka kurang 26 milisaat tidak wajar dianggap sebagai hasil yang pasti bagi setiap ujian Thor. Beberapa laporan turut menyebut 46 Hz, tetapi laporan yang sama juga menyatakan 38.46 Hz; angka 38.46 Hz lebih selaras dengan kependaman sekitar 26 milisaat dalam perbandingan yang diterbitkan. 5618

Model yang disokong dan hubungan dengan RLinf

Laporan pelancaran menamakan π0.5 dan WALL-OSS sebagai model awal, serta RTX 4090, Jetson Orin dan Jetson Thor sebagai platform yang diliputi. Repositori projek secara khusus menerangkan laluan π0.5 yang dioptimumkan untuk Thor dan Orin, dengan pilihan ketepatan BF16, FP8 dan INT8. Sokongan platform tidak bermakna setiap gabungan model, ketepatan dan peranti mempunyai keputusan prestasi yang sama. 456

APXInf berperanan pada bahagian inferens dan penggunaan model dalam ekosistem RLinf, bukannya menggantikan keseluruhan aliran kerja latihan. Pakej yang menghadap robot juga menyediakan pelayan WebSocket yang serasi dengan antara muka OpenPI. Keserasian antara muka itu memudahkan penyepaduan, tetapi tidak bermaksud semua checkpoint OpenPI sudah dipindahkan ke APXInf. 51

Seterusnya, rancangan projek merangkumi lebih banyak model VLA (penglihatan-bahasa-tindakan), VLM (penglihatan-bahasa) dan world model, dengan Qwen serta GR00T disebut sebagai model yang sedang disesuaikan. Kerja lanjutan pada platform dan backend turut disenaraikan; semuanya ialah hala tuju, bukan jaminan sokongan semasa. Sebelum menggunakan angka Thor untuk robot lain, pembangun masih perlu menguji semula checkpoint, ketepatan angka, perkakasan, had kuasa dan keadaan haba yang sebenar. Kepantasan inferens sahaja belum membuktikan kejayaan tugas robot dalam gelung kawalan tertutup atau prestasi yang kekal stabil semasa operasi berpanjangan. 95