답변게시됨16 소스
규칙은 코드로, 화면은 AI로…에이전트의 연습장을 만든 AgentGarten
AgentGarten은 시뮬레이터 코드로 세계의 상태와 규칙을 정하고, 신경 렌더러로 AI 에이전트가 보는 화면을 생성합니다. 짧은 영상 조각을 이어서 렌더링하므로 에이전트가 행동한 뒤 결과를 보고 다음 행동을 정하는 흐름을 만들 수 있습니다.
게시자GPT-6 Luna로 편집GPT Image 2로 이미지 생성
연구 답변
주요 시사점
- AgentGarten은 시뮬레이터 코드로 세계의 상태와 규칙을 정하고, 신경 렌더러로 AI 에이전트가 보는 화면을 생성합니다.
- 짧은 영상 조각을 이어서 렌더링하므로 에이전트가 행동한 뒤 결과를 보고 다음 행동을 정하는 흐름을 만들 수 있습니다.
- 에이전트는 라운드별 경험을 플레이북에 기록해 다음 라운드에 전달합니다. 처음부터 강화학습을 하는 방식과는 다릅니다.
AI 프롬프트
openai.comCreate a landscape editorial hero image for this Studio Global article: What is MirroS’s open-source AgentGarten framework, whose code, technical report and project page were reported publicly available by QbitAI. Article summary: AgentGarten is MirroS’s open-source research framework for creating interactive “code worlds”: executable simulators determine what happens, while a shared neural renderer determines what agents see. QbitAI’s October 9, . Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
AgentGarten은 실행 가능한 시뮬레이터나 게임 엔진과 신경 렌더러를 결합해, AI 에이전트가 상호작용하며 연습할 수 있는 환경을 만드는 MirroS의 연구 프레임워크입니다. QbitAI는 2026년 10월 9일 이 프로젝트의 코드와 기술 보고서, 프로젝트 페이지가 공개됐다고 전했습니다. 공개된 연구는 에이전트의 연습 환경을 다루며, 실제 로봇 제품이 출시됐다는 뜻은 아닙니다. 1
7
세계의 규칙과 화면을 따로 만든다
AgentGarten에서는 시뮬레이터나 게임 엔진이 세계의 상태를 유지하고, 프로그램으로 정해 둔 규칙을 실행합니다. 물체가 어떻게 움직이고 상호작용하는지, 게임의 결과가 어떻게 결정되는지가 여기에 포함됩니다. 신경 렌더러는 에이전트 카메라에서 얻은 깊이나 표면 법선 같은 기하 정보를 바탕으로 시각적 관측을 생성합니다. 쉽게 말해, 세계의 작동 방식은 코드가 맡고 그 세계가 어떻게 보일지는 렌더러가 담당하는 구조입니다. 1
5
이 방식은 영상 생성 모델에 물리 규칙과 장면의 겉모습을 모두 맡기는 것과 다릅니다. 장면마다 세밀한 시각 자산을 새로 만드는 부담을 줄이려는 설계이기도 합니다. 다만 새로운 환경을 만드는 비용이 모두 사라졌다는 의미는 아닙니다. 1
5
행동에 맞춰 짧은 영상 조각을 생성
기존처럼 미리 정해진 전체 영상을 한 번에 만드는 대신, AgentGarten의 렌더러는 짧은 영상 조각을 순차적으로 생성합니다. 에이전트가 행동하면 그 결과를 화면으로 확인하고, 다음 행동을 결정하는 식으로 상호작용을 이어갈 수 있습니다. 렌더러는 기하 정보와 앞서 생성된 화면의 흐름을 조건으로 삼아, 변화하는 시뮬레이션에 맞춘 관측을 만듭니다. 1
7
23
Adversarial Forcing은 렌더러를 학습시키는 방법
Adversarial Forcing은 에이전트가 플레이북을 작성하는 절차가 아니라 렌더러의 학습 방법입니다. 자동회귀 방식의 비디오 모델을 더 적은 단계로 화면을 생성하는 렌더러로 증류합니다. 정확한 재생을 활용해 뒤쪽 영상 조각의 손실이 앞서 생성된 이력을 모델이 인코딩하는 방식에도 반영되도록 하고, 실제 영상으로 학습한 판별기도 시각적 품질을 높이는 데 사용합니다. 8
23
MirroS는 이 기법을 긴 영상 생성에서 나타날 수 있는 화면의 누적 변형이나 격자무늬 같은 시각적 흔들림을 줄이기 위한 접근으로 제시합니다. 그렇다고 시뮬레이터의 규칙이 바뀌거나, 모든 생성 화면이 언제나 정확하다는 뜻은 아닙니다. 23
초당 30프레임은 렌더러 성능
MirroS는 GPU 한 대에서 480p 해상도로 초당 30프레임을 넘는 렌더러 처리량을 보고했습니다. 여기에는 맞춤형 Triton 커널, CUDA 그래프, 경량 디코더가 사용됐습니다. 이 수치는 화면을 생성하는 렌더러의 성능이지, 추론을 포함한 에이전트 전체가 초당 30회 넘게 판단한다는 의미는 아닙니다. 8
23
경험을 플레이북에 기록해 다음 라운드로
에이전트는 1인칭 시점으로 렌더링된 화면을 보고, 짧은 Python 프로그램으로 행동합니다. 라운드가 끝난 뒤에는 경험에서 얻은 교훈을 텍스트 플레이북에 정리하고, 뒤이은 라운드의 에이전트가 이를 물려받을 수 있습니다. 따라서 보고된 설정은 강화학습으로 에이전트를 처음부터 훈련하는 방식이라기보다, 사전학습된 에이전트가 연습하고 축적된 지침을 활용하는 방식에 가깝습니다. 1
8
숨바꼭질 시연에서 MirroS는 숨는 쪽이 4라운드에 은신처를 만들고, 찾는 쪽이 10라운드에 경사로를 이용해 벽을 넘는 모습을 보고했습니다. 연구진은 이를 2019년 연구와 비교했습니다. 해당 연구에서는 은신처 건설에 약 2,500만 에피소드, 경사로 활용에 누적으로 약 1억 에피소드가 걸렸다고 보고됐습니다. 다만 학습 방식이 서로 다른 사례를 보여주는 비교이므로, 동등한 조건에서 샘플 효율을 측정한 결과로 볼 수는 없습니다. 1
10
다른 4라운드 시연에서도 변화가 보고됐습니다. 반려견과 교감하는 과제의 점수는 13점에서 19점으로 올랐고, 자동차 두 대가 한 차선 다리를 건너는 데 걸린 시간은 71초에서 41초로 줄었습니다. 양치기견 두 마리는 처음에는 양 네 마리 중 세 마리를 우리에 넣었지만, 이후에는 네 마리 모두를 몰아넣었습니다. 채석장 적재 과제에서는 마감 시각보다 31초 일찍 작업을 마친 것으로 보고됐습니다. 이는 제시된 과제에서의 시연 결과이지, 다른 상황에서도 폭넓게 신뢰할 수 있음을 입증하는 자료는 아닙니다. 8
10
연구의 가능성과 아직 남은 한계
AgentGarten의 핵심은 조정 가능한 세계의 규칙, 생성형 시각 관측, 다음 라운드에 이어지는 에이전트의 경험을 하나의 상호작용 구조로 묶는 데 있습니다. 이를 통해 물리적 세계와 비슷한 환경에서 에이전트가 어떻게 행동하고 개선되는지 연구할 수 있습니다. 다만 현재 공개된 시연만으로 학습한 행동이 실제 로봇에 전이된다거나, 물리적 환경에 바로 배치할 준비가 됐다고 결론 내릴 수는 없습니다. 1
8
Studio Global AI
연구를 계속하세요
이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.
사람들은 또한 묻습니다.
"규칙은 코드로, 화면은 AI로…에이전트의 연습장을 만든 AgentGarten"에 대한 짧은 대답은 무엇입니까?
AgentGarten은 시뮬레이터 코드로 세계의 상태와 규칙을 정하고, 신경 렌더러로 AI 에이전트가 보는 화면을 생성합니다.
먼저 검증할 핵심 포인트는 무엇인가요?
AgentGarten은 시뮬레이터 코드로 세계의 상태와 규칙을 정하고, 신경 렌더러로 AI 에이전트가 보는 화면을 생성합니다. 짧은 영상 조각을 이어서 렌더링하므로 에이전트가 행동한 뒤 결과를 보고 다음 행동을 정하는 흐름을 만들 수 있습니다.
실무에서는 다음으로 무엇을 해야 합니까?
에이전트는 라운드별 경험을 플레이북에 기록해 다음 라운드에 전달합니다. 처음부터 강화학습을 하는 방식과는 다릅니다.