RéponsesPublié16 sources
AgentGarten, ou comment apprendre à des agents IA dans des mondes définis par du code
AgentGarten s’appuie sur du code pour définir les règles du monde simulé et sur un rendu neuronal pour produire les images observées par les agents IA. Son principe central consiste à garder explicites la physique et les règles du jeu, tout en générant des images à partir de la géométrie et des observations précéden...
Publié parModifié avec GPT-6 LunaImages générées avec GPT Image 2
Réponse de recherche
Points clés à retenir
- AgentGarten s’appuie sur du code pour définir les règles du monde simulé et sur un rendu neuronal pour produire les images observées par les agents IA.
- Son principe central consiste à garder explicites la physique et les règles du jeu, tout en générant des images à partir de la géométrie et des observations précédentes.
- Les agents agissent avec de courts programmes Python, tirent des leçons de leurs essais et les consignent dans des guides transmis aux sessions suivantes : il s’agit d’un apprentissage par l’expérience, pas d’un entra...
Prompt IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What is MirroS’s open-source AgentGarten framework, whose code, technical report and project page were reported publicly available by QbitAI. Article summary: AgentGarten is MirroS’s open-source research framework for creating interactive “code worlds”: executable simulators determine what happens, while a shared neural renderer determines what agents see. QbitAI’s October 9, . Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
AgentGarten est un cadre de recherche de MirroS qui associe des environnements interactifs régis par du code à un modèle neuronal chargé de produire ce que voit un agent IA. QbitAI indiquait le 9 octobre 2026 que le code du projet, son rapport technique et sa page de présentation étaient accessibles au public. L’objectif est de créer un terrain d’entraînement pour agents, pas de présenter un robot déjà déployé. 1
7
Séparer les règles du monde de son apparence
Un simulateur ou un moteur de jeu conserve l’état du monde et exécute les règles définies par le programme : elles peuvent décrire la physique, les interactions entre objets ou les conditions de victoire. Un moteur de rendu transforme ensuite des informations géométriques structurées — par exemple la profondeur ou l’orientation des surfaces captées par la caméra de l’agent — en images. L’idée est de garder les règles de simulation explicites tout en utilisant un même moteur pour donner leur apparence visuelle à différents environnements. 1
5
Cette approche se distingue des modèles vidéo chargés d’inventer à la fois une scène et son comportement physique. Elle peut aussi permettre de créer des environnements variés sans fabriquer un ensemble de ressources visuelles détaillées pour chaque scène. C’est un objectif architectural, et non la preuve que tous les coûts de création d’environnements disparaissent. 1
5
Des séquences courtes pour une interaction en continu
Plutôt que de générer une vidéo complète à l’avance, AgentGarten produit des séquences courtes les unes après les autres. L’agent peut agir, recevoir une nouvelle observation visuelle, puis choisir la suite. Le rendu dépend de la géométrie et des images précédentes, afin de relier ce que l’agent voit à l’évolution de la simulation. 1
7
23
À quoi sert Adversarial Forcing ?
Adversarial Forcing est une méthode d’entraînement du moteur de rendu : ce n’est pas la façon dont les agents écrivent leurs guides de stratégie. La méthode distille un modèle vidéo autorégressif pour obtenir un moteur de rendu capable de générer des images en moins d’étapes. Grâce à une relecture exacte des séquences, les erreurs constatées dans les blocs vidéo ultérieurs peuvent aussi mettre à jour la manière dont le modèle encode l’historique généré précédemment. La méthode utilise également un discriminateur entraîné sur des vidéos réelles afin d’améliorer la qualité visuelle lors de générations prolongées. 8
23
MirroS présente ces techniques comme des moyens de limiter la dégradation visuelle au fil d’une longue génération, notamment la dérive et l’apparition d’artefacts en forme de grille. Elles ne modifient pas les règles du simulateur et ne garantissent pas que chaque séquence générée restera fidèle. 23
Ce que signifie la vitesse annoncée
MirroS indique que son moteur de rendu dépasse 30 images par seconde en 480p sur un seul GPU, grâce à des noyaux Triton personnalisés, aux CUDA Graphs et à un décodeur léger. Ce chiffre concerne le rendu : il ne signifie pas que l’agent complet, raisonnement compris, prend plus de 30 décisions par seconde. 8
23
Des guides pour transmettre les apprentissages
Les agents observent des vues rendues à la première personne et exécutent leurs actions au moyen de courts programmes Python. À la fin d’une manche, ils consignent leurs leçons dans des guides textuels que les agents des manches suivantes peuvent reprendre. Le dispositif s’appuie donc sur la pratique d’un agent préentraîné et sur l’accumulation de conseils, plutôt que sur un entraînement par renforcement mené de zéro. 1
8
Dans des démonstrations de cache-cache, MirroS rapporte que les agents construisent un abri dès la quatrième manche et utilisent une rampe pour franchir un mur à la dixième. L’entreprise compare ces résultats à une étude de 2019, dans laquelle la construction d’un abri apparaissait après environ 25 millions d’épisodes et l’usage d’une rampe après quelque 100 millions d’épisodes cumulés. Cette comparaison illustre des dispositifs d’apprentissage différents ; elle ne constitue pas une mesure contrôlée de leur efficacité à données égales. 1
10
D’autres démonstrations rapportées sur quatre manches font état d’un score d’interaction avec un chien de compagnie passant de 13 à 19 ; de deux voitures franchissant un pont à voie unique en 41 secondes, contre 71 auparavant ; et de deux chiens parvenant à parquer les quatre moutons, contre trois au départ. Dans une tâche de chargement en carrière, les agents auraient terminé 31 secondes avant la limite. Ces exemples montrent les résultats obtenus dans les tâches présentées, mais ne prouvent pas une fiabilité générale au-delà de ces démonstrations. 8
10
Ce que montre AgentGarten — et ce qu’il ne montre pas
L’idée centrale d’AgentGarten consiste à combiner des règles de monde explicites et modifiables, des observations visuelles générées et une expérience réutilisable par les agents. Cette architecture permet d’étudier leur comportement et leur progression dans des environnements interactifs qui évoquent le monde physique. Les résultats rapportés sont des démonstrations prometteuses, mais ils ne montrent ni que les comportements appris se transposent à de vrais robots, ni qu’AgentGarten est prêt à être déployé dans le monde réel. 1
8
Studio Global AI
Continuez vos recherches
Cette page comprend une réponse basée sur la source que vous pouvez continuer dans Studio Global.
Les gens demandent aussi
Quelle est la réponse courte à « AgentGarten, ou comment apprendre à des agents IA dans des mondes définis par du code » ?
AgentGarten s’appuie sur du code pour définir les règles du monde simulé et sur un rendu neuronal pour produire les images observées par les agents IA.
Quels sont les points clés à valider en premier ?
AgentGarten s’appuie sur du code pour définir les règles du monde simulé et sur un rendu neuronal pour produire les images observées par les agents IA. Son principe central consiste à garder explicites la physique et les règles du jeu, tout en générant des images à partir de la géométrie et des observations précédentes.
Que dois-je faire ensuite en pratique ?
Les agents agissent avec de courts programmes Python, tirent des leçons de leurs essais et les consignent dans des guides transmis aux sessions suivantes : il s’agit d’un apprentissage par l’expérience, pas d’un entra...