로봇 훈련 데이터가 부족하다고? 사람의 뇌파와 근육 신호를 활용하는 스타트업이 있다

물리적 AI(Physical AI) — 로봇이 물건을 집고, 걷고, 운전하고, 조작할 수 있게 해주는 시스템 — 에는 어떤 멋진 모델 아키텍처로도 해결할 수 없는 병목이 있습니다. 바로 실제 세계 훈련 데이터의 심각한 부족입니다.

대규모 언어 모델(LLM)은 웹에서 수조 개의 단어를 긁어와 학습할 수 있지만, 로봇은 실제 세계의 고충실도 물리 데이터가 필요합니다. 그런 데이터는 생산 비용이 엄청나게 비싸고, 주석(annotation)을 달기도 어렵고, 그냥 흔하지 않습니다.

AI 팀을 위한 데이터 툴링을 만들던 회사 엔코드(Encord)는 이제 이 문제를 해결하기 위해 스스로 데이터 제조사로 변신하고 있습니다. 캘리포니아 샌리앤드로(San Leandro)의 한 창고에서, 이 회사는 실험적인 생체신호 캡처(뇌파와 근육 신호)를 대규모 원격 조작, 1인칭 비디오, 실험실 기반 수집과 결합해 로봇 회사들이 쉽게 만들 수 없는 종류의 멀티모달 데이터셋을 생산하고 있습니다. 어떻게 작동하는지, 그리고 어떤 도전 과제가 있는지 살펴보겠습니다.

엔코드의 훈련 데이터 수집 방식

뇌파(EEG) 센서

엔코드의 '파일럿(pilot)'이라고 불리는 작업자들은 독일 신경과학 스타트업 잰더 랩스(Zander Labs)가 만든 헤드셋을 착용하고 물리적 작업을 수행하면서 뇌 활동을 측정합니다 . 파일럿이 젠가 탑에서 블록을 조심스럽게 빼낼 때, 헤드셋은 의도, 오류 감지, 놀람 같은 정신 상태를 나타내는 신호를 포착합니다. 목표는 로봇 모델이 더 높은 인지적 노력이 필요한 시점을 이해하거나 고장 모드를 감지하는 데 도움이 될 수 있는 뇌파 태그 데이터셋을 만드는 것입니다 .

엔코드의 로봇 학습 책임자 비니스 벨무루간(Vineeth Velmurugan)은 이를 로봇 데이터 병목 현상을 해결하는 '최첨단(bleeding edge)' 시도라고 설명합니다 . 다만 이 시험은 현재 평가 단계에 있습니다. 엔코드는 초기 데이터셋을 구축한 뒤 고객의 로봇 모델에 적용해 성능이 개선되는지 확인한 후에야 확장 여부를 결정할 계획입니다 .

근전도(EMG) 센서

엔코드는 동시에 팔뚝에 착용하는 근육 신호(EMG) 센서도 테스트하고 있습니다. 손의 표준 비디오는 종종 섬세한 손가락 위치를 가리기 때문에, 회사는 EMG 신호로 3D 손 자세를 재구성해 모델이 정밀한 조작을 더 잘 이해할 수 있도록 하려고 합니다 .

원격 조작(Teleoperation) 데이터

샌리앤드로 R&D 시설에서 엔코드는 리더-팔로워(leader-follower) 로봇팔을 운영합니다. 사람 조작자가 한쪽 팔을 직접 제어하면 다른 쪽 팔이 그 움직임을 따라 하며, 커피 따르기, 포커칩 쌓기, 이더넷 케이블 연결 및 분리, 가정용 물체 조작 등의 작업에 대한 고충실도 데이터를 생산합니다 . 엔코드에 따르면, 모든 휴머노이드 로봇 회사가 이런 작업별 데이터셋을 요청했다고 합니다 .

1인칭(자아 중심) 비디오

파일럿들은 머리에 장착된 카메라를 통해 자신이 보는 것을 캡처하며, 전 세계 여러 공장에서 수집된 데이터로 보완됩니다. 이는 확장 가능한 실제 세계 관찰 데이터 소스를 제공합니다 .

현장 및 실험실 기반 수집

엔코드는 전담 현장 작업자를 배치하고 재구성 가능한 실험실 환경을 운영하여 LiDAR, 포인트 클라우드, 동기화된 멀티모달 센서 스트림 등을 포함한 구체화된(embodiment-specific) 데이터를 수집합니다 . 수집 프로토콜은 고객의 훈련 파이프라인에서 역방향으로 설계되어, 모든 에피소드가 분류되고 동기화되며 대상 모델에 맞춰 정렬됩니다 . 또한 배포 피드백 루프를 통해 고장 모드를 캡처합니다. 현장에서 모델이 실패하면, 원격 조작을 통해 실패 데이터를 포착해 데이터 수집 정책에 다시 반영합니다 .

주요 기술적 과제

신경 데이터의 가치 입증

잰더 랩스의 접근 방식은 특정 생각을 해독하는 것이 아니라 대략적인 수준에서 뇌 활동으로부터 정신 상태를 추론하는 것입니다. 예를 들어 파일럿이 얼마나 많은 인지적 노력을 사용하고 있는지 측정하는 식입니다 . 시험에서는 이 신호가 표준 비디오 및 원격 조작 데이터만으로 얻은 성능보다 실제로 로봇 모델 성능을 개선하는지 검증해야 합니다. 개선 효과가 미미하다면 모든 데이터 수집 세션에 EEG를 추가하는 비용이 정당화되지 않을 수 있습니다.

멀티모달 동기화 및 주석

물리적 AI는 비디오, 깊이, LiDAR, 오디오, IMU, 그리고 이제는 EEG/EMG와 같은 센서들이 정밀하게 시간 정렬되고 함께 주석 처리되어야 합니다. 엔코드는 기본 형식(MCAP, ROSBAG) 및 센서 퓨전에 대한 지원을 구축했지만, 2D, 3D 및 생체신호 스트림을 동기화하는 복잡성은 여전히 어려운 엔지니어링 문제입니다 .

데이터 다양성 및 고장 모드 캡처

모델은 다양한 환경, 조명, 작업자 및 고장 사례에 노출되어야 합니다. 엔코드는 배포 피드백 루프를 통합하고 있지만, 고장 데이터는 강력한 물리적 AI에 필수적이면서도 과소평가된 요소로 널리 인식됩니다 . 충분한 에지 케이스가 없으면 가장 풍부한 데이터로 훈련된 모델도 일반화 능력이 떨어집니다.

주요 경제적 과제

물리적 데이터 생성의 막대한 비용

LLM이 인터넷에서 긁어온 텍스트로 훈련되는 것과 달리, 물리적 AI는 고가의 하드웨어, 사람 작업자 및 통제된 환경에서 생성되는 독점적인 실제 세계 데이터가 필요합니다. 엔코드의 모델은 더 비싸고 전문화된 데이터 제조로의 의도적인 전환을 나타내며, 웹 스크래핑보다 저렴하게 확장되지 않습니다 .

높은 자본 요구 사항

엔코드는 2026년 2월 웰링턴 매니지먼트(Wellington Management)가 주도한 6000만 달러의 시리즈 C를 포함해 총 1억 1000만 달러를 조달했습니다 . 회사는 대부분의 고객이 생산 로봇을 본격적으로 배포하기도 전에 시설(베이에어리어 R&D 랩), 로봇 하드웨어, 훈련된 인력(파일럿) 및 데이터 주석 인프라에 막대한 자금을 지출해야 합니다.

시뮬레이션 격차(Simulation Gap)

시뮬레이션은 대규모 합성 데이터셋을 저렴하게 생성할 수 있지만, 현실 세계의 물리, 에지 케이스 및 미세한 조작을 체계적으로 포착하지 못합니다. 엔코드와 다른 회사들은 비용과 복잡성에도 불구하고 실제 인간 시연 데이터만이 범용 로봇공학에 필요한 시뮬레이션-현실(sim-to-real) 격차를 해소할 수 있다고 믿습니다 .

시장 타이밍 위험

엔코드는 향후 4년 안에 4억 대 이상의 지능형 로봇이 등장하여 물리적 AI 산업을 연간 300억 달러 이상으로 끌어올릴 것으로 예상합니다 . 만약 채택 속도가 예상보다 느리다면, 값비싼 맞춤형 훈련 데이터에 대한 수요가 현재의 인프라 지출을 감당할 만큼 빠르게 실현되지 않을 수 있습니다.

결론

엔코드는 원격 조작, 1인칭 비디오 및 실험실 기반 물리적 데이터 수집과 함께 실험적인 생체신호 캡처(뇌파 및 근육 센서)를 개척하여 업계의 실제 세계 훈련 데이터 부족 문제를 해결하고 있습니다. 이 접근 방식은 아직 대규모로 입증되지 않았습니다. 뇌파 시험은 현재 평가 단계에 있으며, 핵심 경제적 트레이드오프는 물리적 데이터가 웹 규모의 텍스트 데이터보다 훨씬 비싸게 생산된다는 점입니다. 성공 여부는 이러한 풍부한 데이터 양식이 로봇 모델 성능을 의미 있게 개선하는지, 그리고 물리적 AI 시장이 선제적 투자를 정당화할 만큼 충분히 빠르게 성장하는지에 달려 있습니다.