คำตอบเผยแพร่แล้ว17 แหล่งที่มา
APXInf ช่วยให้หุ่นยนต์ใช้โมเดล AI ตอบสนองเร็วขึ้นได้อย่างไร
APXInf เป็นระบบโอเพนซอร์สสำหรับรันโมเดลที่สร้างคำสั่งการเคลื่อนไหวใกล้กับอุปกรณ์รับรู้และขับเคลื่อนของหุ่นยนต์ ไม่ใช่ตัวควบคุมมอเตอร์โดยตรง [14][4] ระบบใช้ Rust จัดการการทำงานและหน่วยความจำ มีอินเทอร์เฟซ Python สำหรับนักพัฒนา และลดเวลาประมวลผลด้วยการปรับแต่ง pipeline, graph, GPU kernel และความละเอียดของตัวเลข [3][5]...
เผยแพร่โดยแก้ไขด้วย GPT-6 Solรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- APXInf เป็นระบบโอเพนซอร์สสำหรับรันโมเดลที่สร้างคำสั่งการเคลื่อนไหวใกล้กับอุปกรณ์รับรู้และขับเคลื่อนของหุ่นยนต์ ไม่ใช่ตัวควบคุมมอเตอร์โดยตรง [14][4]
- ระบบใช้ Rust จัดการการทำงานและหน่วยความจำ มีอินเทอร์เฟซ Python สำหรับนักพัฒนา และลดเวลาประมวลผลด้วยการปรับแต่ง pipeline, graph, GPU kernel และความละเอียดของตัวเลข [3][5][8]
- รายงานการเปิดตัวระบุว่า π0.5 แบบ FP8 บน Jetson Thor ลดเวลาประมวลผลจาก 278 เหลือต่ำกว่า 26 มิลลิวินาที หรือ 38.46 ครั้งต่อวินาที แต่ตัวเลขในคลังโครงการระบุผลทดสอบ Thor FP8 อีกชุดที่ 41.16 มิลลิวินาที จึงไม่ควรเหมารวมผล...
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: What is APXInf, the open source embodied edge inference engine released by Infinigence AI with Tsinghua University and Shanghai Jiao Tong Un. Article summary: APXInf is an open source inference engine from Infinigence AI, Tsinghua University, and Shanghai Jiao Tong University for running embodied AI policies close to a robot’s sensors and actuators.. Topic tags: general web, llm, agents, ai, workflow. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thum
สำหรับหุ่นยนต์ ความเร็วของโมเดลไม่ได้วัดแค่ว่า “คิดได้เร็ว” แต่รวมถึงเวลาที่ต้องรอก่อนโมเดลจะสร้างคำสั่งการเคลื่อนไหวครั้งถัดไปด้วย APXInf คือระบบโอเพนซอร์สสำหรับรันโมเดล AI ประเภทนี้บนอุปกรณ์ใกล้ตัวหุ่นยนต์ พัฒนาโดย Infinigence AI ร่วมกับมหาวิทยาลัยชิงหัวและมหาวิทยาลัยเซี่ยงไฮ้เจียวทง เป้าหมายคือย่นช่วงเวลาระหว่างการรับข้อมูลกับการสร้างคำสั่ง ไม่ใช่เข้ามาทำหน้าที่ควบคุมมอเตอร์แทนระบบของหุ่นยนต์ 14
4
เร่งความเร็วตรงไหนบ้าง
แกนการทำงานเป็น runtime ขนาดเล็กที่เขียนด้วย Rust สำหรับจัดการการประมวลผลและหน่วยความจำ ขณะที่อินเทอร์เฟซ Python ช่วยให้นักพัฒนาเรียกใช้โมเดลจากโค้ดหุ่นยนต์ที่คุ้นเคยได้ ขั้นตอนย้ายโมเดลมารันบน APXInf เริ่มจากกำหนด checkpoint อ้างอิงและข้อมูลทดสอบชุดคงที่ ตรวจว่าผลลัพธ์รวมและค่าระหว่างทางตรงกับต้นฉบับ แล้วจึงค่อยปรับแต่งความเร็ว เพื่อลดความเสี่ยงที่โมเดลจะให้ผลต่างไปหลังย้ายระบบ 3
5
การลดความหน่วงไม่ได้พึ่งเทคนิคเดียว: การจัดตาราง pipeline มองเวลาที่เสียไปตลอดเส้นทางประมวลผล, การจับชุดคำสั่งเป็น graph และนำบัฟเฟอร์กลับมาใช้ช่วยลดงานเตรียมระบบที่ทำซ้ำ, GPU kernel ที่ปรับแต่งช่วยเร่งการคำนวณที่กินเวลา ส่วนการลดความละเอียดของตัวเลข เช่น FP8 หรือ INT8 ช่วยลดภาระคำนวณและการรับส่งข้อมูลในหน่วยความจำ แนวทางเหล่านี้มุ่งให้การสร้างคำสั่งเร็วและคาดการณ์เวลาได้ดีขึ้นเมื่อนำไปใช้บนหุ่นยนต์ 3
8
5
ตัวเลข Jetson Thor บอกอะไร—and ยังไม่บอกอะไร
ผลเปรียบเทียบที่เผยแพร่ช่วงเปิดตัวระบุว่า π0.5 แบบ FP8 บน Jetson Thor ใช้เวลาประมวลผลตั้งแต่รับข้อมูลเข้าโมเดลจนได้ผลลัพธ์ จาก 278 มิลลิวินาทีในระบบที่ยังไม่ปรับแต่ง เหลือต่ำกว่า 26 มิลลิวินาที หรือเร็วขึ้นราว 10.7 เท่า โดยรายงานอัตรา 38.46 ครั้งต่อวินาที เทียบกับประมาณ 3.6 ครั้งต่อวินาที ที่คำนวณได้จาก 278 มิลลิวินาที ตัวเลขนี้เป็น อัตราการประมวลผลของโมเดล ไม่ใช่หลักฐานว่าวงจรตั้งแต่เซนเซอร์จนถึงมอเตอร์ของหุ่นยนต์ทุกตัวทำงานได้ที่ 38.46 เฮิรตซ์ 14
8
6
ควรอ่านตัวเลขอย่างระมัดระวัง: บางรายงานระบุ 46 เฮิรตซ์ แต่เนื้อหารายงานเดียวกันและแหล่งอื่นระบุ 38.46 เฮิรตซ์ ซึ่งสอดคล้องกับเวลาประมาณ 26 มิลลิวินาทีมากกว่า 6
8 นอกจากนี้ ตารางผลทดสอบในคลังโครงการระบุ Jetson AGX Thor แบบ FP8 ที่ 41.16 มิลลิวินาที หรือ 24.3 ครั้งต่อวินาที อีกชุดหนึ่ง จึงไม่ควรถือว่าค่า “ต่ำกว่า 26 มิลลิวินาที” เป็นผลที่จะได้ในทุกการตั้งค่า โดยไม่มีรายละเอียดการทดสอบที่เทียบกันได้
5
ใช้กับโมเดลใด และเกี่ยวข้องกับ RLinf อย่างไร
ข้อมูลการเปิดตัวระบุโมเดล π0.5 และ WALL-OSS พร้อมแพลตฟอร์ม RTX 4090, Jetson Orin และ Jetson Thor ส่วนคลังโครงการอธิบายเส้นทางที่ปรับแต่งเป็นพิเศษสำหรับ π0.5 บน Thor และ Orin โดยมีตัวเลือก BF16, FP8 และ INT8 การระบุชื่อแพลตฟอร์มจึงไม่ได้หมายความว่าทุกโมเดลและทุกระดับความละเอียดได้รับการปรับแต่งเท่ากัน 14
5
APXInf อยู่ฝั่ง รันโมเดลและนำไปใช้งาน ในระบบนิเวศ RLinf โดยมีการใช้เร่งการประเมิน π0.5 พร้อมคงขั้นตอนแปลงข้อมูลของ OpenPI ไว้ แพ็กเกจฝั่งหุ่นยนต์ยังมี WebSocket server ที่ใช้อินเทอร์เฟซร่วมกับ OpenPI ได้ แต่ความเข้ากันได้ของอินเทอร์เฟซไม่เท่ากับการย้าย checkpoint ของ OpenPI ทุกชุดมารองรับแล้ว 5
15
แผนต่อไปครอบคลุมโมเดล VLA, VLM และ world model เพิ่มเติม โดยมี Qwen และ GR00T อยู่ระหว่างปรับให้ใช้งานได้ ตลอดจนการขยายแพลตฟอร์มและระบบประมวลผลเบื้องหลัง ทั้งหมดนี้ยังเป็นแผน ไม่ใช่คำรับประกันว่ารองรับแล้วในปัจจุบัน ก่อนนำผลทดสอบไปคาดการณ์การใช้งานจริง ควรทดสอบซ้ำกับ checkpoint, ระดับความละเอียด, อุปกรณ์ และขีดจำกัดกำลังไฟของหุ่นยนต์เป้าหมาย เพราะความเร็วของโมเดลเพียงอย่างเดียวไม่ได้ยืนยันความสำเร็จของงานหรือประสิทธิภาพที่รักษาไว้ได้เมื่อเครื่องร้อนและต้องทำงานต่อเนื่อง 14
5
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "APXInf ช่วยให้หุ่นยนต์ใช้โมเดล AI ตอบสนองเร็วขึ้นได้อย่างไร" คืออะไร
APXInf เป็นระบบโอเพนซอร์สสำหรับรันโมเดลที่สร้างคำสั่งการเคลื่อนไหวใกล้กับอุปกรณ์รับรู้และขับเคลื่อนของหุ่นยนต์ ไม่ใช่ตัวควบคุมมอเตอร์โดยตรง [14][4]
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
APXInf เป็นระบบโอเพนซอร์สสำหรับรันโมเดลที่สร้างคำสั่งการเคลื่อนไหวใกล้กับอุปกรณ์รับรู้และขับเคลื่อนของหุ่นยนต์ ไม่ใช่ตัวควบคุมมอเตอร์โดยตรง [14][4] ระบบใช้ Rust จัดการการทำงานและหน่วยความจำ มีอินเทอร์เฟซ Python สำหรับนักพัฒนา และลดเวลาประมวลผลด้วยการปรับแต่ง pipeline, graph, GPU kernel และความละเอียดของตัวเลข [3][5][8]
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
รายงานการเปิดตัวระบุว่า π0.5 แบบ FP8 บน Jetson Thor ลดเวลาประมวลผลจาก 278 เหลือต่ำกว่า 26 มิลลิวินาที หรือ 38.46 ครั้งต่อวินาที แต่ตัวเลขในคลังโครงการระบุผลทดสอบ Thor FP8 อีกชุดที่ 41.16 มิลลิวินาที จึงไม่ควรเหมารวมผล...