คำตอบเผยแพร่แล้ว16 แหล่งที่มา
AgentGarten แยก “กฎของโลก” ออกจาก “ภาพที่เห็น” เพื่อให้ AI ฝึกโต้ตอบได้
AgentGarten ใช้โค้ดในโปรแกรมจำลองกำหนดสถานะและกติกาของโลก แล้วให้ neural renderer สร้างภาพที่เอเจนต์ AI มองเห็น การแสดงผลเป็นวิดีโอสั้นต่อเนื่อง ช่วยให้เอเจนต์ลงมือ ดูผล แล้วตัดสินใจทำขั้นต่อไปได้ เอเจนต์บันทึกบทเรียนหลังจบรอบเป็น playbook เพื่อให้รอบถัดไปนำไปใช้ต่อ เป็นการฝึกจากประสบการณ์ ไม่ใช่การเริ่มฝึกด้วย rein...
เผยแพร่โดยแก้ไขด้วย GPT-6 Lunaรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- AgentGarten ใช้โค้ดในโปรแกรมจำลองกำหนดสถานะและกติกาของโลก แล้วให้ neural renderer สร้างภาพที่เอเจนต์ AI มองเห็น
- การแสดงผลเป็นวิดีโอสั้นต่อเนื่อง ช่วยให้เอเจนต์ลงมือ ดูผล แล้วตัดสินใจทำขั้นต่อไปได้
- เอเจนต์บันทึกบทเรียนหลังจบรอบเป็น playbook เพื่อให้รอบถัดไปนำไปใช้ต่อ เป็นการฝึกจากประสบการณ์ ไม่ใช่การเริ่มฝึกด้วย reinforcement learning ตั้งแต่ศูนย์
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: What is MirroS’s open-source AgentGarten framework, whose code, technical report and project page were reported publicly available by QbitAI. Article summary: AgentGarten is MirroS’s open-source research framework for creating interactive “code worlds”: executable simulators determine what happens, while a shared neural renderer determines what agents see. QbitAI’s October 9, . Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
AgentGarten คือกรอบงานวิจัยจาก MirroS สำหรับสร้างสภาพแวดล้อมแบบโต้ตอบที่โปรแกรมจำลองเป็นผู้กำหนดว่าอะไรเกิดขึ้น ส่วน neural renderer จะสร้างภาพที่เอเจนต์ AI ใช้สังเกตโลก QbitAI รายงานเมื่อวันที่ 9 ตุลาคม 2026 ว่าโค้ด รายงานทางเทคนิค และหน้าโครงการเปิดให้เข้าถึงได้ งานนี้มุ่งสร้างสนามฝึกให้เอเจนต์ ไม่ใช่การเปิดตัวผลิตภัณฑ์หุ่นยนต์ที่ใช้งานจริงแล้ว 1
7
แยกกติกาออกจากภาพที่เอเจนต์เห็น
โปรแกรมจำลองหรือเอนจินเกมเก็บสถานะของโลกและประมวลผลกติกาที่เขียนไว้ในโค้ด เช่น ฟิสิกส์ การปฏิสัมพันธ์ระหว่างวัตถุ และเงื่อนไขแพ้ชนะ จากนั้น renderer จะเปลี่ยนข้อมูลเชิงเรขาคณิตจากมุมกล้องของเอเจนต์ เช่น ความลึกหรือทิศทางของพื้นผิว ให้กลายเป็นภาพสำหรับสังเกต วิธีนี้ตั้งใจแยกกฎของโลกที่ระบุและปรับแก้ได้ ออกจากการสร้างรูปลักษณ์ของภาพ 1
5
แนวทางนี้ต่างจากการให้โมเดลวิดีโอสร้างทั้งฉากและพฤติกรรมทางกายภาพขึ้นมาเอง อีกทั้งยังเปิดทางให้สร้างสภาพแวดล้อมได้หลากหลายโดยไม่ต้องทำชุดภาพประกอบละเอียดชุดใหม่สำหรับทุกฉาก อย่างไรก็ตาม นี่คือเป้าหมายด้านการออกแบบ ไม่ใช่หลักฐานว่าต้นทุนการสร้างทุกสภาพแวดล้อมจะหมดไป 1
5
วิดีโอแบ่งเป็นช่วงสั้น ให้เอเจนต์โต้ตอบได้ต่อเนื่อง
AgentGarten ไม่ได้ให้ renderer สร้างคลิปยาวที่กำหนดตายตัวตั้งแต่ต้น แต่สร้างวิดีโอเป็นช่วงสั้น ๆ ต่อกัน เอเจนต์จึงลงมือ รับภาพผลลัพธ์ แล้วใช้สิ่งที่เห็นตัดสินใจว่าจะทำอะไรต่อ Renderer สร้างภาพโดยอิงทั้งข้อมูลเรขาคณิตและภาพก่อนหน้า ทำให้ภาพที่แสดงสอดคล้องกับสถานะจำลองที่เปลี่ยนไป 1
7
23
Adversarial Forcing ใช้ฝึก renderer ไม่ใช่เขียนคู่มือให้เอเจนต์
Adversarial Forcing เป็นวิธีฝึก renderer โดยนำโมเดลวิดีโอแบบ autoregressive มาถ่ายทอดความสามารถให้ renderer ที่สร้างภาพได้ด้วยจำนวนขั้นน้อยลง เมื่อใช้การ replay แบบแม่นยำ ความคลาดเคลื่อนจากวิดีโอช่วงหลังจะช่วยปรับวิธีที่โมเดลเข้ารหัสประวัติภาพที่สร้างมาก่อนหน้าได้ นอกจากนี้ยังใช้ discriminator ที่ฝึกด้วยวิดีโอจริงเพื่อช่วยปรับคุณภาพภาพระหว่างการสร้างต่อเนื่องเป็นเวลานาน 8
23
MirroS นำเสนอเทคนิคเหล่านี้เพื่อรับมือกับคุณภาพภาพที่อาจเสื่อมลงเมื่อสร้างต่อเนื่องนาน ๆ เช่น ภาพค่อย ๆ เพี้ยนหรือเกิดลวดลายคล้ายตาราง แต่เทคนิคดังกล่าวไม่ได้เปลี่ยนกฎในโปรแกรมจำลอง และไม่ได้รับประกันว่าภาพทุกช่วงจะถูกต้องเสมอ 23
ตัวเลข 30 เฟรมต่อวินาทีบอกอะไร
MirroS รายงานว่า renderer ประมวลผลได้มากกว่า 30 เฟรมต่อวินาทีที่ความละเอียด 480p บน GPU หนึ่งตัว โดยใช้ Triton kernels ที่ปรับแต่งเอง, CUDA graphs และตัวถอดรหัสขนาดเล็ก ตัวเลขนี้หมายถึงความเร็วในการเรนเดอร์ ไม่ได้แปลว่าเอเจนต์ทั้งระบบ รวมถึงขั้นตอนการให้เหตุผล ตัดสินใจได้มากกว่า 30 ครั้งต่อวินาที 8
23
เอเจนต์เก็บบทเรียนไว้ใน playbook
เอเจนต์สังเกตภาพจากมุมมองบุคคลที่หนึ่ง แล้วสั่งการผ่านโปรแกรม Python สั้น ๆ เมื่อจบรอบจะสรุปสิ่งที่เรียนรู้เป็น playbook แบบข้อความ ซึ่งเอเจนต์ในรอบต่อไปนำไปใช้และต่อยอดได้ ดังนั้นการทดลองนี้อาศัยเอเจนต์ที่ผ่านการฝึกล่วงหน้าและคำแนะนำที่สะสมจากประสบการณ์ ไม่ใช่การฝึกเอเจนต์จากศูนย์ด้วย reinforcement learning 1
8
ในการสาธิตเกมซ่อนหา MirroS รายงานว่าเอเจนต์เริ่มสร้างที่กำบังได้ภายในรอบที่ 4 และใช้ทางลาดช่วยปีนข้ามกำแพงได้ภายในรอบที่ 10 บริษัทนำผลนี้ไปเทียบกับงานศึกษาปี 2019 ซึ่งรายงานการสร้างที่กำบังหลังผ่านไปประมาณ 25 ล้าน episode และการใช้ทางลาดหลังสะสมประมาณ 100 ล้าน episode การเทียบนี้เป็นตัวอย่างจากการตั้งค่าการเรียนรู้ที่แตกต่างกัน ไม่ใช่การทดลองควบคุมที่วัดประสิทธิภาพการเรียนรู้จากจำนวนตัวอย่างในเงื่อนไขเดียวกัน 1
10
ตัวอย่างอื่นที่รายงานว่าเกิดขึ้นภายในสี่รอบ ได้แก่ คะแนนการมีส่วนร่วมของสุนัขคู่หูเพิ่มจาก 13 เป็น 19 รถสองคันข้ามสะพานเลนเดียวได้ใน 41 วินาที แทนที่จะใช้ 71 วินาที สุนัขสองตัวต้อนแกะเข้าคอกได้ครบทั้งสี่ตัว หลังจากช่วงแรกต้อนเข้าได้สามตัว และงานขนถ่ายวัสดุในเหมืองหินเสร็จก่อนกำหนด 31 วินาที ผลเหล่านี้เป็นตัวอย่างจากงานที่นำมาสาธิต ยังไม่ใช่หลักฐานว่าเอเจนต์ทำงานได้อย่างน่าเชื่อถือในสถานการณ์ทั่วไป 8
10
สิ่งที่ AgentGarten แสดงให้เห็น—and ข้อที่ยังไม่ยืนยัน
แนวคิดหลักของ AgentGarten คือการจับคู่กติกาโลกที่ระบุและแก้ไขได้ กับภาพที่สร้างขึ้น และประสบการณ์ของเอเจนต์ที่นำกลับมาใช้ต่อ โครงสร้างนี้ช่วยให้นักวิจัยศึกษาพฤติกรรมและการพัฒนาของเอเจนต์ในสภาพแวดล้อมเชิงโต้ตอบที่มีลักษณะคล้ายโลกทางกายภาพ ผลการทดลองที่รายงานเป็นตัวอย่างที่น่าสนใจ แต่ยังไม่ได้แสดงว่าพฤติกรรมที่เรียนรู้จะถ่ายโอนไปยังหุ่นยนต์จริงได้ หรือ AgentGarten พร้อมใช้งานในโลกกายภาพแล้ว 1
8
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "AgentGarten แยก “กฎของโลก” ออกจาก “ภาพที่เห็น” เพื่อให้ AI ฝึกโต้ตอบได้" คืออะไร
AgentGarten ใช้โค้ดในโปรแกรมจำลองกำหนดสถานะและกติกาของโลก แล้วให้ neural renderer สร้างภาพที่เอเจนต์ AI มองเห็น
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
AgentGarten ใช้โค้ดในโปรแกรมจำลองกำหนดสถานะและกติกาของโลก แล้วให้ neural renderer สร้างภาพที่เอเจนต์ AI มองเห็น การแสดงผลเป็นวิดีโอสั้นต่อเนื่อง ช่วยให้เอเจนต์ลงมือ ดูผล แล้วตัดสินใจทำขั้นต่อไปได้
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
เอเจนต์บันทึกบทเรียนหลังจบรอบเป็น playbook เพื่อให้รอบถัดไปนำไปใช้ต่อ เป็นการฝึกจากประสบการณ์ ไม่ใช่การเริ่มฝึกด้วย reinforcement learning ตั้งแต่ศูนย์