AnswersPublished16 sources
AgentGarten lar AI-agenter øve i verdener bygget med kode
AgentGarten bruker redigerbar simulator kode til å styre verden, mens en nevrale renderer lager bildene AI agentene ser. Korte videoklipp gjør det mulig å veksle mellom handling og observasjon mens simuleringen utvikler seg.
Publisert avRedigert med GPT-6 LunaBilder generert med GPT Image 2
Research answer
Key takeaways
- AgentGarten bruker redigerbar simulator kode til å styre verden, mens en nevrale renderer lager bildene AI agentene ser.
- Korte videoklipp gjør det mulig å veksle mellom handling og observasjon mens simuleringen utvikler seg.
- Agentene kan skrive erfaringer i tekstbaserte håndbøker som senere runder bygger videre på – uten at de trenes fra bunnen av med forsterkende læring.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is MirroS’s open-source AgentGarten framework, whose code, technical report and project page were reported publicly available by QbitAI. Article summary: AgentGarten is MirroS’s open-source research framework for creating interactive “code worlds”: executable simulators determine what happens, while a shared neural renderer determines what agents see. QbitAI’s October 9, . Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
AgentGarten er MirroS’ forskningsrammeverk for interaktive miljøer der kjørbar kode bestemmer hva som skjer, mens en nevrale renderer lager det AI-agenten ser. QbitAI meldte 9. oktober 2026 at prosjektets kode, tekniske rapport og prosjektside var offentlig tilgjengelige. Målet er å gi agenter et sted å øve; prosjektet dokumenterer ikke et ferdig robotprodukt. 1
7
Regler og utseende holdes adskilt
En simulator eller spillmotor holder orden på verdenstilstanden og kjører reglene som er definert i programkoden. Reglene kan styre fysikk, hvordan objekter påvirker hverandre, og hva som avgjør utfallet av et spill. Rendereren gjør så strukturerte geometridata – for eksempel dybde eller informasjon om overflatenes retning fra agentens kamera – om til visuelle observasjoner. Tanken er å holde reglene tydelige og redigerbare, samtidig som én felles renderer står for utseendet. 1
5
Dette er annerledes enn å la en videomodell finne opp både scenen og fysikken. Det kan også gjøre det mulig å lage varierte miljøer uten å bygge detaljerte visuelle ressurser fra bunnen av for hver scene. Det er en ambisjon med arkitekturen, ikke dokumentasjon på at alle kostnader ved å lage miljøer forsvinner. 1
5
Korte videoklipp gir en løpende handlingssløyfe
AgentGarten lager video i korte klipp etter hvert, i stedet for at rendereren skal produsere én ferdig film på forhånd. Agenten kan handle, få en ny visuell observasjon og bruke den til å velge neste handling. Rendereren tar hensyn til geometrien og det foregående visuelle forløpet, slik at bildene følger med på hvordan simuleringen utvikler seg. 1
7
23
Hva gjør Adversarial Forcing?
Adversarial Forcing er en treningsmetode for rendereren – ikke prosessen der agentene skriver håndbøkene sine. Metoden destillerer en autoregressiv videomodell til en renderer som kan lage bilder med færre steg. Ved nøyaktig avspilling kan feil i senere videoklipp påvirke hvordan modellen koder historikken den selv har generert. Tilnærmingen bruker også en diskriminator trent på ekte video for å forbedre den visuelle kvaliteten over lengre forløp. 8
23
MirroS presenterer disse teknikkene som måter å motvirke at bildene gradvis forringes over tid, blant annet ved at de driver bort fra simuleringen eller får rutenettlignende artefakter. De endrer ikke reglene i simulatoren og garanterer ikke at alle genererte sekvenser blir riktige. 23
Hva betyr tallet for sanntidshastighet?
MirroS oppgir at rendereren leverer over 30 bilder i sekundet ved 480p på én GPU, med spesialtilpassede Triton-kjerner, CUDA-grafer og en lettvektsdekoder. Dette er ytelsen til rendereren – ikke en påstand om at en hel agent, med resonnering inkludert, tar over 30 beslutninger i sekundet. 8
23
Agentene tar erfaring med seg videre
Agentene ser gjengitte førstepersonsbilder og utfører handlinger gjennom korte Python-programmer. Etter hver runde skriver de ned lærdom i tekstbaserte håndbøker som agenter i senere runder kan overta. Oppsettet bygger dermed videre på øvingen og erfaringene til en forhåndstrent agent, i stedet for å trene en agent fra bunnen av med forsterkende læring. 1
8
I demonstrasjoner med gjemsel rapporterer MirroS at agentene bygde skjulesteder innen runde fire og brukte en rampe til å klatre over en vegg innen runde ti. Selskapet sammenligner dette med en studie fra 2019, der bygging av skjulested dukket opp etter rundt 25 millioner episoder, og bruk av rampe etter omtrent 100 millioner episoder til sammen. Det er en illustrerende sammenligning mellom ulike læringsoppsett, ikke en kontrollert sammenligning av hvor effektivt de bruker like mye trening. 1
10
Andre demonstrasjoner over fire runder viser, ifølge MirroS, at poengsummen for kontakt med en selskapshund økte fra 13 til 19; at to biler gjennomførte en passering på en smal bro på 41 sekunder i stedet for 71; og at to hunder klarte å samle alle fire sauene i en innhegning, mot tre i starten. I en oppgave med lasting i et steinbrudd ble arbeidet angivelig ferdig 31 sekunder før fristen. Eksemplene viser resultater i oppgavene som ble presentert, men dokumenterer ikke generell pålitelighet i andre situasjoner. 8
10
Hva AgentGarten viser – og ikke viser
Kjernen i AgentGarten er å kombinere tydelige, redigerbare regler for hvordan verden oppfører seg, genererte visuelle observasjoner og erfaringer agenter kan bruke på nytt. Denne oppbygningen gjør det mulig å studere hvordan agenter handler og utvikler seg i interaktive miljøer som etterligner fysiske omgivelser. Resultatene er lovende demonstrasjoner, men de viser ikke at ferdighetene overføres til virkelige roboter, eller at AgentGarten er klart for bruk i den fysiske verden. 1
8
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "AgentGarten lar AI-agenter øve i verdener bygget med kode"?
AgentGarten bruker redigerbar simulator kode til å styre verden, mens en nevrale renderer lager bildene AI agentene ser.
What are the key points to validate first?
AgentGarten bruker redigerbar simulator kode til å styre verden, mens en nevrale renderer lager bildene AI agentene ser. Korte videoklipp gjør det mulig å veksle mellom handling og observasjon mens simuleringen utvikler seg.
What should I do next in practice?
Agentene kan skrive erfaringer i tekstbaserte håndbøker som senere runder bygger videre på – uten at de trenes fra bunnen av med forsterkende læring.