시뮬레이션으로 배운 로봇, 험난한 현실을 정복하다: NVIDIA ICRA 2026 연구 총정리

로봇공학이 변곡점을 맞고 있습니다. 수년간 인상적인 데모들은 실험실과 엄격하게 통제된 공장 자동화 작업장에 국한되어 왔습니다. 하지만 이제 엔비디아의 새로운 연구 물결은 시뮬레이션에서 훈련된 로봇이 예측 불가능한 현실 속에서도 믿음직스럽게 기능하기 시작했음을 시사합니다. IEEE 국제 로봇 및 자동화 학술대회(ICRA) 2026에서 NVIDIA Research는 28편의 논문 중 여덟 편을 통해, 시뮬레이션-현실 전이(Sim-to-Real) 기술이 어떻게 로봇이 역동적인 환경을 인식하고, 추론하고, 계획하고, 행동하도록 돕는지를 구체적으로 제시했습니다 .

그 공통된 핵심 메시지는 분명합니다. 수백만 건의 실제 시연 데이터를 고통스럽게 수집하는 대신, 고충실도 시뮬레이션에서의 훈련이 실험실 밖에서도 범용 가능하고 신뢰할 수 있는 체화된 자율성(Embodied Autonomy)의 확장 가능한 기반이 되고 있다는 것입니다 .

여덟 편의 논문: 현실 세계로의 전면적인 진출

이 여덟 편의 논문은 오늘날 로봇 개발자들이 직면한 핵심 과제들, 즉 다중 팔 협업부터 비전-언어-행동 추론까지 폭넓게 다룹니다.

ScheduleStream: 다중 팔 계획을 3배 빠르게

기존 로봇 스케줄링 소프트웨어는 로봇 팔을 순차적으로 처리해 다중 팔 셀의 병목 현상을 유발했습니다. ScheduleStream은 GPU에서 계산을 수행하여 여러 팔이 동시에 움직임을 계획하고 병렬로 작동하도록 합니다. NVIDIA Jetson 엣지 AI 플랫폼에서 구동되어 다중 로봇 팔 계획 시나리오에서 3배의 속도 향상을 제공했으며, 이 프레임워크는 GitHub에 오픈소스로 공개되어 있습니다 .

COMPASS: 다양한 로봇 바디에서 80% 실제 성공률

바퀴형 모바일 로봇, 휴머노이드 등 서로 다른 신체 유형을 넘나들며 탐색하는 로봇을 만드는 것은 매우 어렵습니다. COMPASS 정책 프레임워크는 먼저 모방 학습을 통해 기본 내비게이션 정책을 훈련한 후, NVIDIA Isaac Lab의 잔여 강화 학습을 활용해 다양한 로봇 바디에 특화된 정책을 시뮬레이션 내에서 생성합니다. 모방 학습 기준선과 비교했을 때 COMPASS는 평균 성공률에서 4.5배의 개선을 달성했으며, 실제 환경에서도 매끄럽게 전이되어 자율 이동 로봇과 휴머노이드의 20회 실제 내비게이션 실험에서 약 80%의 성공률을 기록했습니다 .

Grasp-MPC: 움직임 중간에도 교정하는 적응형 파지

고정된 파지 계획은 물체가 움직이거나 초기 추정이 부정확할 경우 실패하기 마련입니다. Grasp-MPC는 로봇이 물체에 다가가는 동안 지속적으로 움직임을 교정합니다. 연구진은 GraspGen 데이터셋과 CUDA 가속 모션 생성 라이브러리인 cuRobo를 활용하여 8,000개의 물체에 걸쳐 200만 개의 시뮬레이션 궤적을 생성했습니다. 실제 로봇 테스트에서 기존 41% 대비 약 75%의 전체적인 파지 성공률을 달성했습니다 .

변형 가능한 클러스터 조작: 제로샷으로 장애물 제거

전선 위의 나뭇가지처럼 얽히고 유연한 물체를 조작하려면 정밀한 그리퍼 이상이 필요합니다. 엔비디아 연구진은 Isaac 시뮬레이션 프레임워크 내의 수천 개의 합성 나무를 사용해 로봇 팔 전체로 클러스터를 쓸어내는 정책을 훈련했습니다. 그 결과, 별도의 추가 훈련 없이 실제 나뭇가지로 제로샷 전이되는 정책을 확보했습니다 .

PEEK: 집중된 시야로 41배 정확도 향상

로봇 카메라 화면 속 시각적 방해 요소는 잘 훈련된 조작 정책마저 무너뜨릴 수 있습니다. PEEK는 비전-언어 모델을 사용해 작업 지시를 읽고, 로봇의 시야가 관련된 물체에 집중하고 나머지는 흐리게 처리하도록 합니다. 순수 시뮬레이션으로 훈련된 정책에 PEEK를 추가하자 실제 환경에서 41배의 정확도 향상이 나타났으며, 대규모 비전-언어-행동(VLA) 모델에서는 2~3.5배의 성능 향상을 보였습니다. PEEK는 어떤 카메라 기반 정책에도 수정 없이 통합됩니다 .

말한 대로 행동하기 (SEAL): 추론과 행동 사이의 간극 해소

카네기 멜런 대학, 유타 대학교, 시드니 대학교와 협력한 SEAL 프레임워크는 모델이 올바르게 추론하고 올바른 계획을 선택했음에도 실제로는 다른 행동을 하는, 흔하지만 간과되기 쉬운 실패 모드를 해결합니다. SEAL은 여러 후보 행동 시퀀스를 생성하고 각각이 어떤 결과로 이어질지 시뮬레이션한 후, 명시된 의도와 가장 잘 맞는 것을 선택합니다. 기존 작업 대비 최대 15%의 정확도 향상을 제공하며, 지시 표현이 바뀌거나, 주변이 어지럽거나, 카메라 각도가 바뀌어도 견고하게 작동합니다 .

Refinery: 91% 시뮬레이션 성공률로 조립 단계 연결하기

여러 부품으로 이뤄진 조립 공정은 각 단계의 결과가 다음 단계를 결정합니다. Refinery는 수백 개의 시뮬레이션 시나리오를 통해 학습하며, 이러한 의존성을 이해하는 정책을 훈련합니다. 시뮬레이션에서 91%의 성공률을 달성했으며, 기준선 대비 약 11%의 평균 개선을 기록했습니다. 이 정책들은 연결되어 길고 복잡한 조립 시퀀스를 완수합니다 .

인간형 로봇의 손재주 있는 작업을 위한 비전 기반 Sim-to-Real 강화 학습

별도의 비전 기반 Sim-to-Real 강화 학습 레시피로 인간형 로봇을 훈련시켜 '잡아서 뻗기', '상자 들기', '양손 핸드오버' 작업을 수행하게 했습니다. 이 접근 방식은 보지 못한 물체에 대해 높은 성공률과 견고하고 적응적인 행동을 보여주며, 강화 학습을 통한 비전 기반 정밀 조작이 실제 환경에서도 실행 가능하고 확장 가능함을 입증했습니다 .

이를 뒷받침하는 플랫폼: GR00T, Cosmos, Newton, cuMotion, Jetson

이 8편의 논문은 시뮬레이션을 실용적인 엔드투엔드 개발 환경으로 전환하는 여러 NVIDIA 플랫폼을 기반으로 합니다.

• NVIDIA Isaac GR00T: 범용 로봇 파운데이션 모델을 위한 연구 이니셔티브 및 개발 플랫폼입니다. 인간형 로봇의 추론 및 제어를 위한 오픈 모델(GR00T N 시리즈), Omniverse 및 Cosmos 기반 시뮬레이션 프레임워크, 그리고 로봇의 두뇌 역할을 하는 Jetson AGX Thor 엣지 컴퓨터를 포함합니다 .
• NVIDIA Cosmos 월드 모델: 물리적 AI 시스템을 위한 맞춤형 월드 모델을 대규모로 구축할 수 있도록 지원하는 최첨단 생성형 월드 파운데이션 모델 플랫폼으로, 시뮬레이션 내에서 합성 데이터 생성과 정책 평가를 가능하게 합니다 .
• Newton 1.0 물리 엔진: Google DeepMind 및 Disney Research와 공동 개발한 오픈 소스 GPU 가속 물리 엔진입니다. NVIDIA Isaac Lab에서 사용 가능하며, 더 유능하고 적응력 뛰어난 로봇 개발에 기여합니다 .
• NVIDIA cuMotion: 여러 궤적 최적화를 동시에 실행하여 최상의 솔루션을 찾아내는 CUDA 가속 라이브러리로, 로봇 모션 계획 문제를 대규모로 해결합니다 .
• NVIDIA Jetson 엣지 AI 플랫폼: ScheduleStream의 3배 가속 데모 실행을 포함해 로봇에 탑재되어 전체 로봇 스택을 구동하는 하드웨어 플랫폼이며, Jetson AGX Thor가 온보드 컴퓨터 역할을 합니다 .

시뮬레이션-현실 전이의 효율성을 실제로 입증한 파트너들

도요타 리서치 인스티튜트(TRI), 실제 데이터 의존도 절감

도요타 리서치 인스티튜트는 최첨단 동적 뷰 합성과 로봇 텔레오퍼레이션을 위해 NVIDIA Cosmos 월드 파운데이션 모델을 맞춤화하여, 비전 기반 조작 정책 훈련에 필요한 실제 데이터의 양을 효과적으로 줄였습니다 .

Mimic Robotics: 10배 더 나은 샘플 효율성

Mimic Robotics는 NVIDIA 플랫폼을 사용하여 비디오-액션 모델을 개발했습니다. 이 모델은 실제 조작 작업에서 10배 더 나은 샘플 효율성과 2배 더 빠른 수렴 속도를 달성하여, 비용이 많이 드는 실제 시연의 필요성을 획기적으로 절감했습니다 .

두산 로보틱스, 상황 인식형 팔레타이징 구현

두산은 NVIDIA Cosmos Reason을 사용하여 팔레타이징 로봇이 상자의 내용물을 분석하고, 손상 여부를 감지하며, 무게와 취약성에 따라 핸들링을 조정할 수 있도록 했습니다. 이는 철저한 실제 데이터 훈련 없이도 상황 인식 기반 의사 결정을 가능하게 합니다 .

더 큰 그림: 제한된 시연에서 체화된 자율성으로

엔비디아는 이번 연구 성과를 로봇공학 산업의 근본적인 변화를 보여주는 일부로 설명합니다.

"로봇공학은 통제된 데모와 스크립트 기반 자동화에서, 실제 세상에서 일반화 가능하고 신뢰할 수 있는 체화된 자율성으로 나아가는 새로운 국면에 접어들고 있습니다."

Sim-to-Real 전이는 더 이상 학계의 호기심거리가 아닙니다. ICRA에서 선보인 여덟 편의 논문은 이 기술이 전체 스택(병렬 다중 팔 협업, 크로스 임바디먼트 정책 일반화, 복잡한 환경 속 새로운 물체 파지, 변형 가능한 물체의 제로샷 조작, 정밀한 순차적 조립, 그리고 행동하기 전에 추론하는 비전-언어-액션 모델)을 해결하는 모습을 보여줍니다 . 그 명확한 메시지는, 방대한 양의 현실 세계 인간 시연 데이터에 의존하는 대신 시뮬레이션 기반 훈련이야말로 비구조적이고 역동적인 환경에서 견고하게 작동하는 로봇으로 가는 확장 가능한 길이라는 점입니다.