Infinigence AI, त्सिंगहुआ विश्वविद्यालय और शंघाई जियाओ तोंग विश्वविद्यालय का APXInf एक ओपन सोर्स इंफ़रेंस इंजन है, रोबोट का मोटर कंट्रोलर नहीं। [14][4] प्रकाशित तुलना में Jetson Thor पर π0.5 FP8 का इंफ़रेंस समय 278 मिलीसेकंड से घटकर 26 मिलीसेकंड से कम बताया गया है; 38.46 Hz मॉडल के अनुमानों की दर है, पूरे रोबोट के न...
प्रकाशितकर्ताGPT-6 Sol से संपादितGPT Image 2 से चित्र बनाए गए
शोध उत्तर

Create a landscape editorial hero image for this Studio Global article: What is APXInf, the open source embodied edge inference engine released by Infinigence AI with Tsinghua University and Shanghai Jiao Tong Un. Article summary: APXInf is an open source inference engine from Infinigence AI, Tsinghua University, and Shanghai Jiao Tong University for running embodied AI policies close to a robot’s sensors and actuators.. Topic tags: general web, llm, agents, ai, workflow. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thum
रोबोट को कैमरे या दूसरे सेंसर से जानकारी मिलने के बाद अगली क्रिया तय करनी होती है। इस बीच AI मॉडल के अनुमान में लगा समय बढ़े, तो प्रतिक्रिया भी देर से आ सकती है। APXInf इसी हिस्से को तेज़ करने के लिए बनाया गया ओपन-सोर्स एज इंफ़रेंस इंजन है: यह मॉडल को रोबोट के पास उपलब्ध कंप्यूटिंग हार्डवेयर पर चलाने पर केंद्रित है। इसे Infinigence AI ने त्सिंगहुआ विश्वविद्यालय और शंघाई जियाओ तोंग विश्वविद्यालय के साथ जारी किया है। यह क्रिया सुझाने वाले मॉडल को चलाता है; स्वयं रोबोट का मोटर कंट्रोलर नहीं है। 14
4
APXInf का छोटा Rust रनटाइम मॉडल चलाने और मेमरी जैसे संसाधन संभालने के लिए है। Python बाइंडिंग डेवलपर को परिचित रोबोटिक्स कोड से मॉडल की पॉलिसी—यानी अगली क्रिया तय करने वाला हिस्सा—बुलाने देती हैं। मॉडल को APXInf पर लाने के बताए गए तरीके में पहले एक तय रेफ़रेंस चेकपॉइंट और परीक्षण इनपुट रखे जाते हैं। फिर ऑप्टिमाइज़ेशन से पहले पोर्ट किए गए मॉडल के अंतिम और बीच के नतीजों को रेफ़रेंस से मिलाया जाता है, ताकि तेज़ी हासिल करते समय गणना में अनचाहा बदलाव पकड़ में आ सके। 3
5
रफ्तार किसी एक उपाय से नहीं आती। पाइपलाइन शेड्यूलिंग पूरे इंफ़रेंस क्रम की देरी घटाने पर ध्यान देती है; ग्राफ कैप्चर और दोबारा इस्तेमाल होने वाले बफ़र बार-बार की तैयारी कम करते हैं; और विशेष रूप से ट्यून किए गए GPU कर्नेल भारी गणनाएँ तेज़ करते हैं। FP8 या INT8 क्वांटाइज़ेशन गणना और मेमरी में डेटा लाने-ले जाने का बोझ घटा सकता है। इन उपायों का लक्ष्य रोबोट पर क्रिया उत्पन्न होने का समय कम और अधिक पूर्वानुमेय बनाना है। 8
3
5
प्रकाशित तुलना के मुताबिक, Jetson Thor पर π0.5 को FP8 में चलाने पर ऑप्टिमाइज़ेशन से पहले के 278 मिलीसेकंड के मुकाबले इंफ़रेंस समय 26 मिलीसेकंड से कम रहा—लगभग 10.7 गुना कम देरी। रिपोर्ट में 38.46 इंफ़रेंस प्रति सेकंड बताए गए हैं; 278 मिलीसेकंड का आँकड़ा लगभग 3.6 प्रति सेकंड के बराबर बैठता है। कुछ कवरेज में 46 Hz भी लिखा है, लेकिन 26 मिलीसेकंड और 38.46 Hz एक-दूसरे से मेल खाते हैं। इस तुलना के लिए 38.46 Hz अधिक सुसंगत आँकड़ा है। 8
6
इस संख्या को रोबोट के पूरे सेंसर-से-मोटर नियंत्रण चक्र की दर न समझें। मॉडल का अनुमान उस चक्र का सिर्फ़ एक हिस्सा है। इसके अलावा, प्रोजेक्ट की रिपॉज़िटरी में Jetson AGX Thor पर FP8 के लिए 41.16 मिलीसेकंड और 24.3 Hz का अलग बेंचमार्क भी दर्ज है। इसलिए प्रकाशित ‘26 मिलीसेकंड से कम’ वाले प्रचारात्मक नतीजे को हर परीक्षण की सार्वभौमिक गति नहीं मानना चाहिए। 5
8
लॉन्च कवरेज में π0.5 और WALL-OSS मॉडल तथा RTX 4090, Jetson Orin और Jetson Thor प्लेटफ़ॉर्म का नाम है। रिपॉज़िटरी पहले संस्करण में विशेष रूप से ऑप्टिमाइज़ किए गए π0.5 मार्ग को Thor और Orin के लिए बताती है, जिसमें BF16, FP8 और INT8 विकल्प हैं। इन नामों का उल्लेख हर मॉडल, हर प्रिसिजन और हर डिवाइस संयोजन के लिए समान प्रदर्शन की गारंटी नहीं है। 4
5
APXInf, RLinf से जुड़े इकोसिस्टम का इंफ़रेंस और डिप्लॉयमेंट वाला हिस्सा है। दिए गए संदर्भ के अनुसार, RLinf में π0.5 के मूल्यांकन के लिए APXInf का उपयोग करते हुए OpenPI के ट्रांसफ़ॉर्म बनाए रखे जाते हैं। रोबोट से जुड़ने वाले पैकेज में OpenPI-संगत WebSocket सर्वर भी है। यहाँ ‘संगत’ का मतलब इंटरफ़ेस से है, न कि यह कि हर OpenPI चेकपॉइंट पहले से APXInf पर पोर्ट हो चुका है। 5
15
आगे की योजना में अधिक VLA (विज़न-लैंग्वेज-एक्शन), VLM (विज़न-लैंग्वेज) और वर्ल्ड मॉडल जोड़ना शामिल है; Qwen और GR00T के अनुकूलन तथा अतिरिक्त प्लेटफ़ॉर्म और बैकएंड पर काम का भी उल्लेख है। ये योजनाएँ हैं, मौजूदा सपोर्ट का वादा नहीं। किसी दूसरे चेकपॉइंट, प्रिसिजन, डिवाइस या सीमित पावर बजट के लिए देरी दोबारा मापनी होगी। तेज़ इंफ़रेंस अपने-आप यह साबित नहीं करता कि रोबोट पूरा काम सफलतापूर्वक करेगा या उसकी गति लंबे समय तक पावर और तापमान की सीमाओं में बनी रहेगी। 9
5
Studio Global AI
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
Infinigence AI, त्सिंगहुआ विश्वविद्यालय और शंघाई जियाओ तोंग विश्वविद्यालय का APXInf एक ओपन सोर्स इंफ़रेंस इंजन है, रोबोट का मोटर कंट्रोलर नहीं। [14][4]
Infinigence AI, त्सिंगहुआ विश्वविद्यालय और शंघाई जियाओ तोंग विश्वविद्यालय का APXInf एक ओपन सोर्स इंफ़रेंस इंजन है, रोबोट का मोटर कंट्रोलर नहीं। [14][4] प्रकाशित तुलना में Jetson Thor पर π0.5 FP8 का इंफ़रेंस समय 278 मिलीसेकंड से घटकर 26 मिलीसेकंड से कम बताया गया है; 38.46 Hz मॉडल के अनुमानों की दर है, पूरे रोबोट के नियंत्रण चक्र की नहीं। [8][6]
शुरुआती कवरेज में π0.5 और WALL OSS तथा RTX 4090, Jetson Orin और Jetson Thor का नाम है। प्रदर्शन को दूसरे मॉडल, डिवाइस या पावर सीमा पर लागू मानने से पहले अलग परीक्षण ज़रूरी है। [4][5]