AnswersPublished16 sources
AgentGarten: apabila kod menentukan dunia dan AI melukis apa yang dilihat ejen
AgentGarten menggunakan kod simulator untuk menetapkan keadaan dan peraturan dunia, sementara perender saraf menjana paparan visual untuk ejen AI. Ejen bertindak melalui program Python ringkas dan boleh mencatat pengajaran dalam buku panduan yang diwarisi oleh ejen pada pusingan berikutnya.
Diterbitkan olehDisunting dengan GPT-6 LunaImej dijana dengan GPT Image 2
Research answer
Key takeaways
- AgentGarten menggunakan kod simulator untuk menetapkan keadaan dan peraturan dunia, sementara perender saraf menjana paparan visual untuk ejen AI.
- Ejen bertindak melalui program Python ringkas dan boleh mencatat pengajaran dalam buku panduan yang diwarisi oleh ejen pada pusingan berikutnya.
- Hasil seperti membina tempat berlindung menjelang pusingan keempat ialah demonstrasi penyelidikan, bukan bukti bahawa sistem ini sudah sedia digunakan pada robot sebenar.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is MirroS’s open-source AgentGarten framework, whose code, technical report and project page were reported publicly available by QbitAI. Article summary: AgentGarten is MirroS’s open-source research framework for creating interactive “code worlds”: executable simulators determine what happens, while a shared neural renderer determines what agents see. QbitAI’s October 9, . Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
AgentGarten ialah rangka kerja penyelidikan MirroS untuk membina persekitaran interaktif bagi ejen AI. Simulator atau enjin permainan mengawal keadaan dan peraturan dunia, manakala perender saraf menjana apa yang dilihat oleh ejen. Pada 9 Oktober 2026, QbitAI melaporkan bahawa kod projek, laporan teknikal dan laman projeknya tersedia kepada umum. Ini ialah persekitaran latihan untuk penyelidikan—bukan produk robot yang sudah digunakan di dunia sebenar. 1
7
Kod mengawal dunia, model menjana paparannya
Simulator mengekalkan keadaan dunia dan menjalankan peraturan yang ditentukan melalui program. Peraturan itu boleh meliputi fizik, interaksi antara objek dan hasil permainan. Selepas itu, perender menukar maklumat geometri—seperti kedalaman atau arah permukaan daripada kamera ejen—menjadi paparan visual. Dengan pembahagian tugas ini, peraturan simulasi kekal jelas dan boleh diubah, sementara perender yang sama boleh digunakan untuk menghasilkan rupa visual bagi pelbagai persekitaran. 1
5
Pendekatan ini berbeza daripada model video yang menjana kedua-dua rupa adegan dan tingkah laku fiziknya. Ia juga bertujuan memudahkan penciptaan persekitaran berbeza tanpa perlu membina set aset visual terperinci yang baharu bagi setiap adegan. Namun, itu ialah matlamat seni bina AgentGarten—bukan bukti bahawa semua kos membina persekitaran telah dihapuskan. 1
5
Video dijana sedikit demi sedikit supaya ejen boleh bertindak balas
AgentGarten menghasilkan video dalam cebisan pendek secara berurutan, bukannya menjana satu klip lengkap yang tetap. Ejen boleh membuat tindakan, menerima paparan baharu dan menggunakan pemerhatian itu untuk menentukan langkah seterusnya. Perender mengambil kira geometri dan sejarah visual sebelumnya, lalu menghubungkan paparan yang dijana dengan keadaan simulasi yang berubah. 1
7
23
Peranan Adversarial Forcing
Adversarial Forcing ialah kaedah melatih perender, bukannya cara ejen menulis buku panduan strateginya. Kaedah ini memadatkan model video autoregresif menjadi perender yang boleh menjana video dengan langkah yang lebih sedikit. Dengan main semula yang tepat, ralat pada cebisan video yang kemudian boleh digunakan untuk mengemas kini cara model mengekod sejarah visual yang dijananya sebelum itu. Pendekatan ini turut menggunakan diskriminator yang dilatih dengan video sebenar untuk memperbaik mutu visual dalam jujukan yang lebih panjang. 8
23
MirroS menyatakan bahawa teknik ini bertujuan mengurangkan kemerosotan visual semasa penjanaan berpanjangan, termasuk hanyutan imej dan artifak bercorak grid. Ia tidak mengubah peraturan simulator dan tidak menjamin setiap jujukan visual akan sentiasa tepat. 23
Apakah maksud angka masa nyata itu?
MirroS melaporkan kadar pemprosesan perender melebihi 30 bingkai sesaat pada resolusi 480p, menggunakan satu GPU. Sistem itu menggunakan kernel Triton tersuai, CUDA graphs dan penyahkod ringan. Angka ini merujuk kepada kelajuan perender—bukan bermaksud keseluruhan ejen, termasuk proses penaakulannya, membuat lebih 30 keputusan sesaat. 8
23
Ejen menyimpan pengalaman dalam buku panduan
Ejen memerhati paparan orang pertama yang dijana perender dan melaksanakan tindakan melalui program Python ringkas. Selepas setiap pusingan, mereka mencatat pengajaran dalam buku panduan teks yang boleh diwarisi oleh ejen pada pusingan seterusnya. Maka, sistem yang dilaporkan ini mengembangkan latihan ejen pralatih melalui pengalaman dan panduan terkumpul; ia bukan latihan pengukuhan dari sifar. 1
8
Dalam demonstrasi permainan sorok-sorok, MirroS melaporkan bahawa ejen membina tempat berlindung menjelang pusingan keempat dan menggunakan tanjakan untuk memanjat tembok menjelang pusingan kesepuluh. MirroS membandingkan hasil itu dengan kajian 2019, yang melaporkan pembinaan tempat berlindung selepas kira-kira 25 juta episod dan penggunaan tanjakan selepas kira-kira 100 juta episod terkumpul. Ini perbandingan ilustratif antara kaedah pembelajaran yang berbeza, bukannya ujian terkawal bagi mengukur kecekapan sampel yang setara. 1
10
Demonstrasi lain yang dilaporkan selepas empat pusingan termasuk skor keterlibatan anjing pendamping meningkat daripada 13 kepada 19; dua kereta melintasi jambatan satu lorong dalam 41 saat, berbanding 71 saat; dan dua ekor anjing berjaya mengurung keempat-empat biri-biri, selepas pada awalnya hanya mengurung tiga. Dalam tugasan memuatkan bahan di kuari, ejen dilaporkan selesai 31 saat sebelum had masa. Contoh ini menunjukkan hasil dalam tugasan yang dipersembahkan, tetapi belum membuktikan kebolehpercayaan luas di luar demonstrasi tersebut. 8
10
Apa yang ditunjukkan—dan belum ditunjukkan—oleh AgentGarten
Idea utamanya ialah menggabungkan dinamik dunia yang jelas dan boleh disunting, pemerhatian visual yang dijana model, serta pengalaman ejen yang boleh digunakan semula. Reka bentuk ini membolehkan penyelidik mengkaji bagaimana ejen bertindak dan berkembang dalam persekitaran interaktif yang menyerupai dunia fizikal. Hasil yang dilaporkan menarik sebagai demonstrasi penyelidikan, tetapi belum menunjukkan bahawa tingkah laku yang dipelajari boleh dipindahkan kepada robot sebenar atau bahawa AgentGarten sudah bersedia untuk digunakan di dunia fizikal. 1
8
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "AgentGarten: apabila kod menentukan dunia dan AI melukis apa yang dilihat ejen"?
AgentGarten menggunakan kod simulator untuk menetapkan keadaan dan peraturan dunia, sementara perender saraf menjana paparan visual untuk ejen AI.
What are the key points to validate first?
AgentGarten menggunakan kod simulator untuk menetapkan keadaan dan peraturan dunia, sementara perender saraf menjana paparan visual untuk ejen AI. Ejen bertindak melalui program Python ringkas dan boleh mencatat pengajaran dalam buku panduan yang diwarisi oleh ejen pada pusingan berikutnya.
What should I do next in practice?
Hasil seperti membina tempat berlindung menjelang pusingan keempat ialah demonstrasi penyelidikan, bukan bukti bahawa sistem ini sudah sedia digunakan pada robot sebenar.