AnswersPublished16 sources
AgentGarten: код задає правила, нейромережа малює світ
У AgentGarten правила симуляції визначає редагований код, а нейронний рендерер генерує візуальне сприйняття світу для ШІ агента. Короткі відеофрагменти дають змогу будувати цикл взаємодії: агент діє, бачить результат і вирішує, що робити далі.
ОпублікувавВідредаговано за допомогою GPT-6 LunaЗображення створено за допомогою GPT Image 2
Research answer
Key takeaways
- У AgentGarten правила симуляції визначає редагований код, а нейронний рендерер генерує візуальне сприйняття світу для ШІ агента.
- Короткі відеофрагменти дають змогу будувати цикл взаємодії: агент діє, бачить результат і вирішує, що робити далі.
- Після раундів агенти занотовують висновки в текстові playbook и для наступних учасників; це практика з попередньо навченим агентом, а не навчання з нуля методом підкріплення.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is MirroS’s open-source AgentGarten framework, whose code, technical report and project page were reported publicly available by QbitAI. Article summary: AgentGarten is MirroS’s open-source research framework for creating interactive “code worlds”: executable simulators determine what happens, while a shared neural renderer determines what agents see. QbitAI’s October 9, . Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
AgentGarten — дослідницька система MirroS для інтерактивних середовищ, де виконуваний код визначає, що відбувається у світі, а нейронний рендерер створює зображення, які бачить ШІ-агент. За повідомленням QbitAI від 9 жовтня 2026 року, код проєкту, технічний звіт і сторінка проєкту були у відкритому доступі. Йдеться про середовище для практики агентів, а не про готовий роботизований продукт. 1
7
Як AgentGarten розділяє правила світу й те, який він на вигляд
Симулятор або ігровий рушій зберігає стан світу та виконує задані програмою правила. Вони можуть описувати фізику, взаємодію з об’єктами й умови перемоги. Рендерер перетворює структуровані геометричні дані — наприклад, глибину або інформацію про напрямок поверхонь із камери агента — на візуальне спостереження. Такий поділ має залишити правила симуляції явними, а візуальне оформлення доручити спільному рендереру. 1
5
Це відрізняється від підходу, за якого відеомодель сама вигадує і сцену, і її фізичні властивості. Така архітектура також дає змогу створювати різноманітні середовища, не готуючи для кожного з них окремий набір детальних візуальних ресурсів. Це мета підходу, а не свідчення, що всі витрати на створення середовищ зникають. 1
5
Короткі відеофрагменти підтримують цикл «дія — спостереження»
AgentGarten генерує відео послідовними короткими фрагментами, а не просить рендерер одразу створити цілий незмінний ролик. Агент може виконати дію, отримати нове візуальне спостереження й обрати наступний крок. Рендерер враховує геометричні дані та попередню візуальну історію, пов’язуючи зображення зі змінами в симуляції. 1
7
23
Що робить Adversarial Forcing
Adversarial Forcing — це метод навчання рендерера, а не спосіб, у який агенти пишуть свої playbook-и. Він дистилює авторегресійну відеомодель у рендерер, здатний генерувати зображення за меншу кількість кроків. Завдяки точному повторному відтворенню втрати на пізніших відеофрагментах можуть оновлювати те, як модель кодує згенеровану передісторію. Підхід також використовує дискримінатор, навчений на реальному відео, щоб покращити візуальну якість під час довших послідовностей. 8
23
MirroS описує ці методи як спосіб боротися з погіршенням зображення під час тривалої генерації, зокрема з дрейфом і артефактами у вигляді сітки. Вони не змінюють правил симулятора й не гарантують точності кожної згенерованої послідовності. 23
Що означає показник роботи в реальному часі
MirroS повідомляє про продуктивність рендерера понад 30 кадрів за секунду при роздільності 480p на одній GPU. Для цього використали власні ядра Triton, CUDA graphs і легкий декодер. Це показник швидкості роботи рендерера — не твердження, що весь агент, зокрема його процес міркування, ухвалює понад 30 рішень за секунду. 8
23
Агенти передають досвід у playbook-ах
Агенти спостерігають за зображеннями від першої особи та виконують дії за допомогою коротких Python-програм. Після раунду вони записують висновки в текстові playbook-и — їх можуть успадкувати агенти в наступних раундах. Отже, описаний підхід спирається на практику попередньо навченого агента й накопичені поради, а не на навчання з нуля методом підкріплення. 1
8
У демонстраціях із грою в хованки MirroS повідомляє, що до четвертого раунду агенти навчилися будувати укриття, а до десятого — використовувати рампу, щоб перелазити через стіну. Компанія порівнює ці результати з дослідженням 2019 року: у ньому будівництво укриття з’явилося приблизно після 25 мільйонів епізодів, а використання рампи — після близько 100 мільйонів епізодів загалом. Це наочне зіставлення різних підходів до навчання, а не контрольований тест їхньої ефективності за однакових умов. 1
10
Серед інших демонстрацій за чотири раунди — зростання оцінки взаємодії з собакою-компаньйоном із 13 до 19; скорочення часу, за який дві машини перетинають односмуговий міст, із 71 до 41 секунди; загін усіх чотирьох овець двома собаками замість трьох на початку; а також завершення завдання із завантаження в кар’єрі за 31 секунду до дедлайну. Ці приклади показують результати в описаних завданнях, але не доводять надійності системи в ширшому колі ситуацій. 8
10
Що AgentGarten показує — і чого не доводить
Ключова дослідницька ідея AgentGarten — поєднати явні, придатні до редагування правила світу зі згенерованими візуальними спостереженнями та досвідом, який агенти можуть передавати далі. Така структура дає змогу вивчати поведінку агентів і те, як вони вдосконалюються в інтерактивних середовищах, подібних до фізичного світу. Наведені результати — перспективні демонстрації, але вони не доводять, що здобуті навички переносяться на реальних роботів або що AgentGarten готовий до застосування у фізичному світі. 1
8
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "AgentGarten: код задає правила, нейромережа малює світ"?
У AgentGarten правила симуляції визначає редагований код, а нейронний рендерер генерує візуальне сприйняття світу для ШІ агента.
What are the key points to validate first?
У AgentGarten правила симуляції визначає редагований код, а нейронний рендерер генерує візуальне сприйняття світу для ШІ агента. Короткі відеофрагменти дають змогу будувати цикл взаємодії: агент діє, бачить результат і вирішує, що робити далі.
What should I do next in practice?
Після раундів агенти занотовують висновки в текстові playbook и для наступних учасників; це практика з попередньо навченим агентом, а не навчання з нуля методом підкріплення.