AnswersPublished16 sources
AgentGarten laat AI-agents oefenen in werelden waarvan de regels vastliggen
In AgentGarten bepaalt bewerkbare simulatorcode wat er in de wereld gebeurt; een neurale renderer maakt de beelden die AI agents te zien krijgen. De renderer levert korte videofragmenten, zodat een agent kan handelen, het resultaat kan bekijken en een volgende stap kan kiezen.
Gepubliceerd doorBewerkt met GPT-6 LunaAfbeeldingen gegenereerd met GPT Image 2
Research answer
Key takeaways
- In AgentGarten bepaalt bewerkbare simulatorcode wat er in de wereld gebeurt; een neurale renderer maakt de beelden die AI agents te zien krijgen.
- De renderer levert korte videofragmenten, zodat een agent kan handelen, het resultaat kan bekijken en een volgende stap kan kiezen.
- Agents leggen lessen uit eerdere rondes vast in tekstuele speelhandleidingen. De getoonde resultaten zijn onderzoeksdemonstraties, geen bewijs dat het systeem al betrouwbaar werkt in de echte wereld.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is MirroS’s open-source AgentGarten framework, whose code, technical report and project page were reported publicly available by QbitAI. Article summary: AgentGarten is MirroS’s open-source research framework for creating interactive “code worlds”: executable simulators determine what happens, while a shared neural renderer determines what agents see. QbitAI’s October 9, . Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
AgentGarten is een onderzoeksraamwerk van MirroS voor interactieve omgevingen waarin uitvoerbare code bepaalt wat er gebeurt en een neurale renderer bepaalt wat een AI-agent ziet. QbitAI meldde op 9 oktober 2026 dat de code, het technische rapport en de projectpagina openbaar beschikbaar waren. Het project onderzoekt hoe agents in een oefenomgeving kunnen leren; het is geen product met robots die al in de praktijk worden ingezet. 1
7
Wereldregels en beeld zijn van elkaar gescheiden
Een simulator of game-engine houdt de toestand van de wereld bij en voert de regels uit die in code zijn vastgelegd. Die regels kunnen bijvoorbeeld gaan over natuurkunde, hoe objecten op elkaar inwerken en wanneer een spel is gewonnen. De renderer zet vervolgens gestructureerde informatie uit het camerabeeld van de agent — zoals diepte of de richting van oppervlakken — om in visuele waarnemingen. Zo blijven de regels van de simulatie expliciet, terwijl één gedeelde renderer voor de beelden kan zorgen. 1
5
Dat is anders dan een videomodel vragen om zowel een scène als het gedrag van de natuurkunde te verzinnen. De aanpak kan ook nieuwe omgevingen mogelijk maken zonder voor elke scène een complete set gedetailleerde afbeeldingen te hoeven bouwen. Dat is een doel van de opzet, geen bewijs dat alle kosten voor het maken van omgevingen verdwijnen. 1
5
Korte videofragmenten maken interactie mogelijk
AgentGarten laat de renderer video in opeenvolgende korte fragmenten maken, in plaats van één vooraf bepaalde clip. Een agent kan een actie uitvoeren, een nieuwe visuele waarneming ontvangen en op basis daarvan kiezen wat hij daarna doet. De renderer gebruikt daarbij zowel geometrische informatie als eerder gegenereerde beelden, zodat de weergave aansluit op de veranderende simulatie. 1
7
23
Wat doet Adversarial Forcing?
Adversarial Forcing is een trainingsmethode voor de renderer, niet de manier waarop agents hun speelhandleidingen schrijven. De methode destilleert een autoregressief videomodel tot een renderer die met minder stappen beelden kan genereren. Dankzij een exacte herhaling van de gegenereerde reeks kunnen fouten in latere videofragmenten ook doorwerken in de manier waarop het model de eerdere, zelf gegenereerde beeldgeschiedenis verwerkt. Daarnaast gebruikt de aanpak een discriminator die met echte video is getraind om de beeldkwaliteit tijdens langere reeksen te verbeteren. 8
23
MirroS presenteert deze technieken als manieren om achteruitgang van het beeld bij lange generaties tegen te gaan, waaronder geleidelijke afwijkingen en rasterachtige artefacten. Ze veranderen niets aan de regels van de simulator en garanderen niet dat elk gegenereerd beeld nauwkeurig blijft. 23
Wat betekent de realtime snelheid?
MirroS meldt dat de renderer op één GPU meer dan 30 beelden per seconde haalt bij een resolutie van 480p. Daarbij worden onder meer eigen Triton-kernels, CUDA-graphs en een lichte decoder gebruikt. Dit cijfer gaat over de snelheid van de renderer; het betekent niet dat een complete agent, inclusief zijn redenering, meer dan 30 beslissingen per seconde neemt. 8
23
Agents nemen lessen mee in speelhandleidingen
Agents bekijken gerenderde beelden vanuit de eerste persoon en voeren acties uit met korte Python-programma’s. Na een ronde leggen ze hun lessen vast in tekstuele speelhandleidingen, die agents in latere rondes kunnen overnemen. Volgens de beschreven opzet bouwt het systeem dus voort op een vooraf getrainde agent en opgebouwde aanwijzingen, in plaats van een agent vanaf nul met reinforcement learning te trainen. 1
8
In demonstraties met verstoppertje meldt MirroS dat agents in ronde vier schuilplaatsen bouwden en in ronde tien een helling gebruikten om over een muur te klimmen. Het bedrijf vergelijkt die mijlpalen met een studie uit 2019, waarin een schuilplaats na ongeveer 25 miljoen episodes verscheen en het gebruik van een helling na ongeveer 100 miljoen episodes in totaal. Dit is een illustratieve vergelijking tussen verschillende leeropzetten, geen gecontroleerde vergelijking van gelijkwaardige leerefficiëntie. 1
10
In andere demonstraties over vier rondes rapporteert MirroS onder meer een stijging van de betrokkenheidsscore van een gezelschapshond van 13 naar 19, en twee auto’s die een brug met één rijstrook in 41 seconden overstaken in plaats van 71. Ook dreven twee honden eerst drie en later alle vier de schapen in een omheining. Bij een taak waarbij materiaal uit een groeve moest worden geladen, waren de agents volgens de rapportage 31 seconden vóór de deadline klaar. Deze voorbeelden laten resultaten zien in de gepresenteerde taken; ze bewijzen niet dat het systeem buiten die demonstraties breed betrouwbaar is. 8
10
Wat AgentGarten wel en niet laat zien
Het centrale onderzoeksidee van AgentGarten is om expliciete, aanpasbare wereldregels te combineren met gegenereerde beelden en ervaringen die agents kunnen hergebruiken. Zo kunnen onderzoekers bestuderen hoe agents zich gedragen en verbeteren in interactieve omgevingen die de fysieke wereld nabootsen. De gerapporteerde resultaten zijn demonstraties, maar tonen niet aan dat het geleerde gedrag overdraagbaar is naar echte robots of dat AgentGarten klaar is voor inzet in de fysieke wereld. 1
8
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "AgentGarten laat AI-agents oefenen in werelden waarvan de regels vastliggen"?
In AgentGarten bepaalt bewerkbare simulatorcode wat er in de wereld gebeurt; een neurale renderer maakt de beelden die AI agents te zien krijgen.
What are the key points to validate first?
In AgentGarten bepaalt bewerkbare simulatorcode wat er in de wereld gebeurt; een neurale renderer maakt de beelden die AI agents te zien krijgen. De renderer levert korte videofragmenten, zodat een agent kan handelen, het resultaat kan bekijken en een volgende stap kan kiezen.
What should I do next in practice?
Agents leggen lessen uit eerdere rondes vast in tekstuele speelhandleidingen. De getoonde resultaten zijn onderzoeksdemonstraties, geen bewijs dat het systeem al betrouwbaar werkt in de echte wereld.