APXInf, robotun karar verme gecikmesini nasıl azaltıyor?

Robotun kamerasından gelen görüntü ile modelin ürettiği hareket kararı arasındaki süre, cihaz üzerinde çalışacak yapay zekâ için kritik. APXInf, Infinigence AI’nin Tsinghua Üniversitesi ve Şanghay Jiao Tong Üniversitesi ile açık kaynak olarak yayımladığı, bu çıkarım süresini azaltmaya odaklanan bir motor. Robotun motor denetleyicisinin yerini almıyor; algıdan eylem önerisine uzanan hesaplama bölümünü hızlandırmayı amaçlıyor. 95

Gecikmeyi nasıl azaltıyor?

APXInf’in küçük Rust çalışma zamanı yürütme, bellek ve kaynak yönetimini üstleniyor. Python bağlantıları ise geliştiricilerin modeli alışık oldukları robotik yazılımından çağırmasına olanak tanıyor. Modeli taşıma iş akışında sabit bir referans kontrol noktası ve test girdileriyle başlanıyor; optimize etmeden önce taşınan sürümün çıktıları ve ara değerleri referansla karşılaştırılıyor. Böylece yalnızca hız değil, model davranışının korunması da denetleniyor. 35

Hızlandırma tek bir işlemden gelmiyor. Pipeline düzenlemesi çıkarım yolundaki beklemeleri hedefliyor. Graph capture ve yeniden kullanılabilir tamponlar tekrar eden kurulum yükünü azaltıyor. Donanıma göre ayarlanmış GPU kernel’ları pahalı hesaplamaları hızlandırırken FP8 ve INT8 gibi düşük hassasiyet seçenekleri hesaplama ve bellek trafiğini düşürebiliyor. Amaç, robotun üzerinde eylem üretimini daha hızlı ve öngörülebilir kılmak. 851

Jetson Thor sonucu ne söylüyor?

Yayımlanan duyuru karşılaştırmasına göre Jetson Thor’da FP8 hassasiyetindeki π0.5 için uçtan uca model çıkarımı gecikmesi, optimize edilmemiş sürümdeki 278 milisaniyeden 26 milisaniyenin altına indi. Bildirilen saniyede 38,46 çıkarım, 26 milisaniyelik süreyle uyumlu; gecikme yaklaşık 10,7 kat azalıyor. 278 milisaniye ise hesapla saniyede yaklaşık 3,6 çıkarıma karşılık geliyor. Bazı haberlerde 46 Hz de geçse de aynı haberin içinde 38,46 Hz değeri tekrarlanıyor. Bu rakamlar, kameradan motorlara kadar robotun bütün kontrol döngüsünün 38,46 Hz’de çalıştığını kanıtlamıyor. 896

Önemli bir ölçüm ayrımı var: Projenin GitHub deposundaki tabloda Jetson AGX Thor için π0.5 FP8 sonucu 41,16 milisaniye ve 24,3 Hz olarak listeleniyor. Bu nedenle duyurudaki 26 milisaniyenin altı sonucunu depodaki tabloyla aynı testin birbirini doğrulayan ölçümleri gibi okumamak gerekir; verilen bilgiler, koşulların neden farklı sonuç verdiğini açıklamaya yetmiyor. 58

Hangi modellerde kullanılabiliyor, sırada ne var?

İlk sürüm duyurularında π0.5 ve WALL-OSS modelleri ile RTX 4090, Jetson Orin ve Jetson Thor platformları anılıyor. Depo, özellikle Thor ve Orin üzerindeki optimize edilmiş ilk π0.5 yolunu ve BF16, FP8, INT8 seçeneklerini tarif ediyor. APXInf, RLinf ekosisteminin çıkarım ve dağıtım tarafında konumlanıyor. Robotla bağlantı kuran paket ayrıca OpenPI uyumlu bir WebSocket sunucusu sunuyor; arayüz uyumluluğu, her OpenPI model kontrol noktasının APXInf’e taşındığı anlamına gelmiyor. 251

Yol haritasında daha fazla görsel-dil-eylem modeli (VLA), görsel-dil modeli (VLM) ve dünya modeli var; Qwen ile GR00T’un uyarlanması ve başka donanım arka uçları üzerinde çalışma da belirtiliyor. Bunlar mevcut destek garantisi değil. Aynı şekilde Thor için açıklanan hız, başka bir kontrol noktasına, sayısal hassasiyete, cihaza veya güç sınırına doğrudan taşınamaz. Robotun uzun süreli güç ve ısı koşullarındaki performansı ile görevi başarıyla tamamlaması ayrıca sınanmalı. 95