51World의 AperEgo·AperOS, 휴머노이드 로봇 학습 데이터 병목에 도전

휴머노이드 로봇이 실제 환경에서 사람처럼 움직이려면 단순히 사물을 보는 데이터만으로는 부족하다. 사람의 몸이 어떻게 움직이고, 어디에 손을 뻗으며, 어떻게 잡고 조작하는지까지 담긴 현실 세계의 학습 사례가 필요하다. 하지만 이런 고품질 실세계 데이터는 피지컬 AI의 발전을 가로막는 주요 병목으로 꼽힌다.

중국 베이징에 기반을 둔 51World는 이 문제를 겨냥한 하드웨어·소프트웨어 통합 시스템을 공개했다. 핵심 제품은 웨어러블 데이터 수집 장비인 AperEgo와 수집된 멀티모달 데이터를 처리·관리하는 플랫폼 AperOS다.

51World가 공개한 제품은 무엇인가

AperEgo는 다중 카메라 헤드셋과 손목 장치, 손가락 장치로 구성된다. 사용자가 장비를 착용한 채 특정 작업을 수행하면, 시스템은 사용자의 시점에서 본 주변 환경과 신체 움직임을 기록한다.

AperOS는 AperEgo에서 들어오는 시각·동작·음성 데이터를 처리하는 소프트웨어 플랫폼이다. 두 제품은 51World가 8월 18일 개최한 발표 행사에서 공개한 피지컬 AI 사업의 일부로, 회사가 제시한 더 큰 구상인 체화형 데이터 인프라 AperData와 체화형 애플리케이션 플랫폼 AperOne과도 연결된다.

사람의 움직임을 로봇 학습 데이터로 바꾸는 방식

사용자가 작업을 수행하는 동안 AperEgo의 헤드셋은 파노라마 형태의 1인칭 시야를 기록한다. 센서는 시각 정보와 움직임, 음성 입력을 서로 맞춰 기록하고, 손목·손가락 장치는 팔과 손, 손가락의 세부 동작을 추가한다.

이렇게 모인 데이터는 단순한 영상 기록을 넘어선다. 예를 들어 사람이 물체를 바라본 시점, 손을 뻗은 방향, 물체를 쥔 방식과 조작 과정이 하나의 작업 흐름 안에서 연결될 수 있다. 이는 물체를 집거나 다루는 정교한 조작 능력을 학습해야 하는 로봇에 특히 중요한 정보다.

데이터 처리 흐름은 다음과 같다.

1. 수집: 사용자가 작업을 수행하는 동안 AperEgo가 1인칭 시각·동작·음성 데이터를 기록한다.
2. 손목과 손가락 장치가 뻗기, 잡기, 조작하기와 관련된 세부 움직임을 포착한다.