AnswersPublished16 sources
AgentGarten låter AI-agenter öva i kodbyggda världar
AgentGarten använder redigerbar simulatorkod för världens regler och en neural renderare för att visa den för AI agenter. Korta videosekvenser gör det möjligt för agenter att agera, se resultatet och välja nästa steg i en återkommande loop.
Publicerad avRedigerad med GPT-6 LunaBilder genererade med GPT Image 2
Research answer
Key takeaways
- AgentGarten använder redigerbar simulatorkod för världens regler och en neural renderare för att visa den för AI agenter.
- Korta videosekvenser gör det möjligt för agenter att agera, se resultatet och välja nästa steg i en återkommande loop.
- Agenter kan skriva ned erfarenheter i strategihandböcker som förs vidare till senare rundor.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is MirroS’s open-source AgentGarten framework, whose code, technical report and project page were reported publicly available by QbitAI. Article summary: AgentGarten is MirroS’s open-source research framework for creating interactive “code worlds”: executable simulators determine what happens, while a shared neural renderer determines what agents see. QbitAI’s October 9, . Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
AgentGarten är MirroS forskningsramverk för interaktiva miljöer där körbar kod styr vad som händer och en neural renderare skapar det AI-agenten ser. QbitAI rapporterade den 9 oktober 2026 att projektets kod, tekniska rapport och projektsida fanns offentligt tillgängliga. Det handlar om en miljö där agenter kan öva – inte om en färdig robotprodukt. 1
7
Reglerna ligger i koden, utseendet i renderaren
En simulator eller spelmotor håller reda på världens tillstånd och kör reglerna som har skrivits in i programmet. Det kan handla om fysik, hur föremål påverkar varandra och vad som avgör spelets utfall. Renderaren omvandlar sedan strukturerad geometrisk information från agentens kamera, till exempel djup eller ytornas riktning, till visuella observationer. Tanken är att världens regler ska vara tydliga och styrbara, medan samma renderare kan användas för att skapa olika visuella miljöer. 1
5
Det skiljer sig från att låta en videogenereringsmodell hitta på både scenen och dess fysik. Upplägget kan också göra det möjligt att skapa varierade miljöer utan att bygga detaljerade visuella tillgångar från grunden för varje scen. Det är en ambition med arkitekturen, inte ett belägg för att alla kostnader för att skapa miljöer försvinner. 1
5
Korta videoblock låter agenten agera och se vad som händer
I stället för att generera en hel, färdig film skapar AgentGartens renderare korta videoblock i följd. Agenten kan utföra en handling, få en ny visuell observation och använda den för att välja nästa handling. Renderaren tar hänsyn till geometrin och den visuella historiken, så att de genererade vyerna följer simuleringens utveckling. 1
7
23
Adversarial Forcing tränar renderaren
Adversarial Forcing är en träningsmetod för renderaren – inte det sätt som agenter skriver sina strategihandböcker på. Metoden destillerar en autoregressiv videogenereringsmodell till en renderare som kan skapa resultat med färre steg. Med exakt återuppspelning kan fel i senare videoblock påverka hur modellen kodar den genererade historiken från tidigare block. En diskriminator som tränas med verklig video används också för att förbättra den visuella kvaliteten vid längre genereringar. 8
23
MirroS beskriver metoderna som ett sätt att motverka försämrad bildkvalitet över längre förlopp, däribland visuell drift och rutnätsliknande artefakter. De ändrar inte simulatorns regler och garanterar inte att varje genererad sekvens blir korrekt. 23
Vad betyder siffran över 30 bildrutor per sekund?
MirroS uppger att renderaren klarar mer än 30 bildrutor per sekund i 480p på en GPU. Enligt företaget används specialskrivna Triton-kärnor, CUDA-grafer och en lättviktig avkodare. Siffran gäller renderarens prestanda – inte att en hel AI-agent, inklusive sitt resonemang, fattar över 30 beslut i sekunden. 8
23
Agenterna för vidare erfarenheter i strategihandböcker
Agenterna observerar renderade vyer ur förstapersonsperspektiv och utför handlingar med korta Python-program. Efter varje runda sammanfattar de lärdomar i textbaserade strategihandböcker, som agenter i senare rundor kan ärva och bygga vidare på. Det rapporterade upplägget utgår alltså från en förtränad agent som övar och samlar erfarenheter, snarare än att träna en agent från grunden med förstärkande inlärning. 1
8
I demonstrationer av kurragömma uppger MirroS att agenterna började bygga skydd i den fjärde rundan och använde en ramp för att ta sig över en mur i den tionde. Företaget jämför detta med en studie från 2019, där skyddsbygge uppstod efter omkring 25 miljoner episoder och rampanvändning efter totalt cirka 100 miljoner. Det är en illustrativ jämförelse mellan olika upplägg, inte ett kontrollerat test av likvärdig inlärningseffektivitet. 1
10
Andra redovisade demonstrationer omfattar förbättringar över fyra rundor: poängen för hur engagerad en sällskapshund var steg från 13 till 19; två bilar klarade en bro med ett körfält på 41 sekunder i stället för 71; och två hundar lyckades få in alla fyra fåren i en fålla, jämfört med tre från början. I en uppgift med lastning i ett stenbrott blev agenterna enligt rapporten klara 31 sekunder före tidsgränsen. Exemplen visar resultat i de uppgifter som presenterats, men belägger inte bred tillförlitlighet utanför demonstrationerna. 8
10
Ett forskningsramverk – inte en färdig robotlösning
AgentGartens centrala idé är att kombinera tydliga, redigerbara regler för världen med genererade visuella observationer och erfarenheter som agenter kan använda igen. Det skapar en struktur för att studera hur agenter beter sig och utvecklas i interaktiva, fysikliknande miljöer. Resultaten är lovande demonstrationer, men visar inte att beteendena överförs till verkliga robotar eller att AgentGarten är redo att användas i den fysiska världen. 1
8
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "AgentGarten låter AI-agenter öva i kodbyggda världar"?
AgentGarten använder redigerbar simulatorkod för världens regler och en neural renderare för att visa den för AI agenter.
What are the key points to validate first?
AgentGarten använder redigerbar simulatorkod för världens regler och en neural renderare för att visa den för AI agenter. Korta videosekvenser gör det möjligt för agenter att agera, se resultatet och välja nästa steg i en återkommande loop.
What should I do next in practice?
Agenter kan skriva ned erfarenheter i strategihandböcker som förs vidare till senare rundor.