AnswersPublished16 sources
AgentGarten: AI-agenter øver sig i verdener bygget af kode
AgentGarten lader kode styre reglerne i en virtuel verden, mens en neural renderer skaber de billeder, AI agenten ser. Korte videosekvenser gør det muligt at veksle mellem handling og observation, mens agenten udforsker verden.
Udgivet afRedigeret med GPT-6 LunaBilleder genereret med GPT Image 2
Research answer
Key takeaways
- AgentGarten lader kode styre reglerne i en virtuel verden, mens en neural renderer skaber de billeder, AI agenten ser.
- Korte videosekvenser gør det muligt at veksle mellem handling og observation, mens agenten udforsker verden.
- Agenterne kan skrive erfaringer ned i tekstbaserede playbooks, som senere runder bygger videre på – men forsøgene viser ikke, at systemet er klar til brug i fysiske robotter.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is MirroS’s open-source AgentGarten framework, whose code, technical report and project page were reported publicly available by QbitAI. Article summary: AgentGarten is MirroS’s open-source research framework for creating interactive “code worlds”: executable simulators determine what happens, while a shared neural renderer determines what agents see. QbitAI’s October 9, . Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
AgentGarten er MirroS’ forskningsramme til interaktive miljøer, hvor kode bestemmer, hvad der sker, og en neural renderer skaber det, en AI-agent ser. QbitAI skrev 9. oktober 2026, at projektets kode, tekniske rapport og projektside var offentligt tilgængelige. Der er tale om et træningsmiljø for agenter – ikke et færdigt robotprodukt. 1
7
Reglerne er kode, billederne genereres
En simulator eller spilmotor holder styr på verdens tilstand og afvikler regler, som er skrevet ind i programmet. Det kan være regler for fysik, objekters bevægelser og spillets udfald. Rendereren omsætter derefter geometriske oplysninger fra agentens kamera – for eksempel dybde eller overfladers retning – til et visuelt billede. Tanken er at holde verdens regler tydelige og redigerbare, mens den samme renderer kan stå for det visuelle udtryk. 1
5
Det er en anden tilgang end at lade en videogenereringsmodel opfinde både omgivelserne og deres fysiske opførsel. Den kan også gøre det lettere at variere miljøer uden at skabe et nyt sæt detaljerede billeder og grafiske ressourcer til hver scene. Det er et mål med arkitekturen, ikke dokumentation for, at alle omkostninger ved at bygge miljøer er fjernet. 1
5
Korte videoklip skaber en løbende handlingscyklus
AgentGarten genererer video i korte bidder, der kommer efter hinanden, i stedet for at lave en hel, fast film på én gang. Agenten kan handle, modtage en ny visuel observation og bruge den til at vælge sit næste træk. Rendereren tager højde for både geometrien og den visuelle historik, så billederne følger den verden, der udvikler sig i simulatoren. 1
7
23
Hvad gør Adversarial Forcing?
Adversarial Forcing er en træningsmetode til rendereren – ikke den proces, hvor agenterne skriver deres playbooks. Metoden destillerer en autoregressiv videomodel til en renderer, der kan skabe billeder med færre trin. Ved præcis afspilning af forløbene kan fejl i senere videobidder påvirke, hvordan modellen koder den genererede historik, der kom før. Metoden bruger også en discriminator, der er trænet på rigtige videoer, for at forbedre billedkvaliteten over længere forløb. 8
23
MirroS præsenterer teknikkerne som måder at begrænse forringelser i billeder over tid, blandt andet drift og gitterlignende artefakter. De ændrer ikke simulatorens regler og er ingen garanti for, at alle genererede sekvenser forbliver præcise. 23
Hvad betyder hastigheden på over 30 billeder i sekundet?
MirroS oplyser, at rendereren kan levere over 30 billeder i sekundet ved 480p på én GPU. Det sker ved hjælp af specialtilpassede Triton-kerner, CUDA-grafer og en letvægtsdekoder. Tallet beskriver rendererens hastighed – ikke hvor mange beslutninger en agent kan nå at træffe i sekundet, når dens ræsonnering også regnes med. 8
23
Agenterne fører erfaringer videre i playbooks
Agenterne observerer verden fra et førstepersonsperspektiv og udfører handlinger via korte Python-programmer. Efter hver runde skriver de erfaringerne ned i tekstbaserede playbooks, som agenter i senere runder kan arve. Det beskrevne setup bygger altså videre på en forudtrænet agents øvelse og opsamlede vejledning – det er ikke træning af en agent fra bunden med reinforcement learning. 1
8
I demonstrationer med gemmeleg rapporterer MirroS, at agenterne byggede skjul senest i fjerde runde og brugte en rampe til at klatre over en mur i tiende runde. MirroS sammenligner det med et studie fra 2019, hvor skjulbygning ifølge selskabet opstod efter omkring 25 millioner episoder, og brug af ramper efter cirka 100 millioner episoder i alt. Det er en illustrativ sammenligning mellem forskellige træningsopsætninger – ikke en kontrolleret sammenligning af, hvor mange træningseksempler der skal til. 1
10
MirroS fremhæver også resultater fra andre demonstrationer over fire runder: En ledsagerhunds engagementsscore steg fra 13 til 19, to biler klarede en passage over en ensporet bro på 41 sekunder mod tidligere 71 sekunder, og to hunde gik fra at samle tre af fire får til at samle alle fire. I en opgave med læsning af stenbrudsmateriale blev arbejdet ifølge rapporten færdigt 31 sekunder før fristen. Resultaterne gælder de viste opgaver og dokumenterer ikke generel pålidelighed uden for demonstrationerne. 8
10
Hvad AgentGarten viser – og hvad det ikke viser
AgentGartens centrale forskningsidé er at kombinere tydelige, redigerbare regler for en virtuel verden med genererede visuelle observationer og erfaringer, som agenter kan genbruge. Det giver forskere mulighed for at undersøge, hvordan agenter handler og bliver bedre i interaktive miljøer, der efterligner fysiske forhold. Resultaterne er lovende demonstrationer, men viser hverken, at adfærden overføres til rigtige robotter, eller at AgentGarten er klar til brug i den fysiske verden. 1
8
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "AgentGarten: AI-agenter øver sig i verdener bygget af kode"?
AgentGarten lader kode styre reglerne i en virtuel verden, mens en neural renderer skaber de billeder, AI agenten ser.
What are the key points to validate first?
AgentGarten lader kode styre reglerne i en virtuel verden, mens en neural renderer skaber de billeder, AI agenten ser. Korte videosekvenser gør det muligt at veksle mellem handling og observation, mens agenten udforsker verden.
What should I do next in practice?
Agenterne kan skrive erfaringer ned i tekstbaserede playbooks, som senere runder bygger videre på – men forsøgene viser ikke, at systemet er klar til brug i fysiske robotter.