AntwortenVeröffentlicht16 Quellen
AgentGarten verbindet programmierte Spielwelten mit KI-generierten Bildern
In AgentGarten legt ausführbarer Simulationscode fest, was in der Welt passiert; ein neuronaler Renderer erzeugt daraus visuelle Beobachtungen für KI Agenten. Kurze Videosequenzen ermöglichen einen fortlaufenden Kreislauf aus Handeln, Beobachten und erneuter Entscheidung.
Veröffentlicht vonBearbeitet mit GPT-6 LunaBilder erstellt mit GPT Image 2
Forschungsantwort
Wichtige Erkenntnisse
- In AgentGarten legt ausführbarer Simulationscode fest, was in der Welt passiert; ein neuronaler Renderer erzeugt daraus visuelle Beobachtungen für KI Agenten.
- Kurze Videosequenzen ermöglichen einen fortlaufenden Kreislauf aus Handeln, Beobachten und erneuter Entscheidung.
- Die Agenten halten Erfahrungen nach einer Runde in Playbooks fest, die spätere Runden übernehmen können – statt von Grund auf mit Reinforcement Learning trainiert zu werden.
KI-Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is MirroS’s open-source AgentGarten framework, whose code, technical report and project page were reported publicly available by QbitAI. Article summary: AgentGarten is MirroS’s open-source research framework for creating interactive “code worlds”: executable simulators determine what happens, while a shared neural renderer determines what agents see. QbitAI’s October 9, . Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
AgentGarten ist ein Forschungsframework von MirroS für interaktive Umgebungen, in denen ausführbarer Code die Regeln vorgibt und ein neuronaler Renderer die Bilder erzeugt, die ein KI-Agent wahrnimmt. Wie QbitAI am 9. Oktober 2026 berichtete, waren der Code, ein technischer Bericht und eine Projektseite öffentlich verfügbar. Das Projekt erprobt eine Übungsumgebung für Agenten – es belegt nicht, dass daraus ein einsatzbereites Roboterprodukt entstanden ist. 1
7
Weltregeln und Darstellung sind getrennt
Ein Simulator oder eine Game Engine verwaltet den Zustand der Welt und führt die programmierten Regeln aus. Dazu können etwa Physik, Interaktionen zwischen Objekten und Spielausgänge gehören. Der Renderer macht anschließend strukturierte geometrische Informationen – zum Beispiel Tiefen- oder Oberflächennormalen aus der Kameraperspektive des Agenten – zu visuellen Beobachtungen. Die Trennung soll die Regeln der Simulation explizit halten und zugleich eine gemeinsame Bildgenerierung ermöglichen. 1
5
Damit geht AgentGarten anders vor als ein Videomodell, das sowohl die Szene als auch ihr physikalisches Verhalten erzeugen soll. Außerdem können so unterschiedliche Umgebungen entstehen, ohne für jede einzelne eine komplett neue Sammlung detaillierter Grafikressourcen zu erstellen. Das ist ein Ziel der Architektur, aber kein Beleg dafür, dass der Aufwand für den Aufbau von Umgebungen vollständig entfällt. 1
5
Kurze Videosequenzen machen den Austausch interaktiv
AgentGarten erzeugt Videos in aufeinanderfolgenden kurzen Abschnitten, statt den Renderer einen vollständigen, feststehenden Clip produzieren zu lassen. Der Agent kann handeln, eine neue visuelle Beobachtung erhalten und daraufhin den nächsten Schritt wählen. Die Ausgabe des Renderers richtet sich nach der Geometrie und der vorherigen Bildgeschichte; so sollen die generierten Ansichten mit der sich verändernden Simulation zusammenhängen. 1
7
23
Was Adversarial Forcing leistet
Adversarial Forcing ist eine Trainingsmethode für den Renderer – nicht das Verfahren, mit dem Agenten ihre Playbooks schreiben. Dabei wird ein autoregressives Videomodell in einen Renderer überführt, der mit weniger Schritten Bilder erzeugen kann. Durch exaktes Replay können Fehler aus späteren Videosequenzen auch beeinflussen, wie das Modell die zuvor generierte Bildgeschichte verarbeitet. Zusätzlich soll ein mit echten Videos trainierter Diskriminator die Bildqualität bei längeren Abläufen verbessern. 8
23
MirroS beschreibt diese Verfahren als Ansätze gegen eine nachlassende Bildqualität bei längerer Generierung, etwa gegen visuelles Abdriften und gitterartige Artefakte. Sie ändern jedoch weder die Regeln des Simulators noch garantieren sie, dass jede gerenderte Sequenz korrekt bleibt. 23
Was die Echtzeitangabe bedeutet
MirroS gibt für den Renderer einen Durchsatz von mehr als 30 Bildern pro Sekunde bei 480p auf einer GPU an. Zum Einsatz kommen eigens angepasste Triton-Kernels, CUDA Graphs und ein schlanker Decoder. Die Angabe bezieht sich auf die Leistung des Renderers – nicht darauf, dass ein vollständiger Agent einschließlich seiner Schlussfolgerungen mehr als 30 Entscheidungen pro Sekunde trifft. 8
23
Playbooks geben Erfahrungen an spätere Runden weiter
Die Agenten beobachten gerenderte Ansichten aus der Ich-Perspektive und führen ihre Aktionen über kurze Python-Programme aus. Nach einer Runde halten sie ihre Erkenntnisse in Text-Playbooks fest, die Agenten in späteren Runden übernehmen können. Das berichtete Verfahren baut also auf dem Üben eines vortrainierten Agenten und weitergegebenen Hinweisen auf, statt einen Agenten von Grund auf mit Reinforcement Learning zu trainieren. 1
8
In Demonstrationen zum Versteckspiel berichtet MirroS, dass die Agenten bis zur vierten Runde Schutzwände bauten und bis zur zehnten Runde mithilfe einer Rampe über eine Mauer kletterten. Als Vergleich nennt das Unternehmen eine Studie aus dem Jahr 2019: Dort tauchte der Bau eines Schutzraums nach rund 25 Millionen Episoden auf, die Nutzung einer Rampe nach insgesamt etwa 100 Millionen. Das ist ein anschaulicher Vergleich verschiedener Lernverfahren, aber kein kontrollierter Vergleich gleichartiger Trainingsbedingungen. 1
10
Weitere berichtete Demonstrationen über vier Runden: Bei einer Aufgabe mit einem Begleithund stieg der Engagementwert von 13 auf 19. Zwei Autos bewältigten eine einspurige Brücke in 41 statt in 71 Sekunden. Zwei Hunde trieben zunächst drei, später alle vier Schafe in ein Gatter. Eine Aufgabe zum Verladen in einem Steinbruch schlossen die Agenten laut Bericht 31 Sekunden vor Ablauf der Frist ab. Diese Beispiele zeigen Ergebnisse in den vorgestellten Aufgaben, belegen aber keine allgemeine Zuverlässigkeit außerhalb dieser Demonstrationen. 8
10
Was AgentGarten zeigt – und was nicht
Die zentrale Forschungsfrage von AgentGarten ist, wie sich explizite, veränderbare Regeln für eine Welt mit generierten visuellen Beobachtungen und wiederverwendbaren Erfahrungen der Agenten verbinden lassen. Mit dieser Struktur können Forschende untersuchen, wie sich Agenten in interaktiven, physikähnlichen Umgebungen verhalten und verbessern. Die berichteten Ergebnisse sind vielversprechende Demonstrationen; sie zeigen jedoch weder, dass sich das Gelernte auf reale Roboter übertragen lässt, noch dass AgentGarten für den Einsatz in der physischen Welt bereit ist. 1
8
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Die Leute fragen auch
Wie lautet die kurze Antwort auf „AgentGarten verbindet programmierte Spielwelten mit KI-generierten Bildern“?
In AgentGarten legt ausführbarer Simulationscode fest, was in der Welt passiert; ein neuronaler Renderer erzeugt daraus visuelle Beobachtungen für KI Agenten.
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
In AgentGarten legt ausführbarer Simulationscode fest, was in der Welt passiert; ein neuronaler Renderer erzeugt daraus visuelle Beobachtungen für KI Agenten. Kurze Videosequenzen ermöglichen einen fortlaufenden Kreislauf aus Handeln, Beobachten und erneuter Entscheidung.
Was soll ich als nächstes in der Praxis tun?
Die Agenten halten Erfahrungen nach einer Runde in Playbooks fest, die spätere Runden übernehmen können – statt von Grund auf mit Reinforcement Learning trainiert zu werden.