답변게시됨2개월 전Last edited 2개월 전16 소스

X Square Robot의 HOST, 로봇 학습을 ‘재훈련’에서 ‘즉시 적응’으로 바꿀까

HOST는 평균 29초 분량의 인간 시연 영상 하나를 바탕으로 조작 기술을 습득해 62%의 평균 성공률을 기록했다고 보고됐다. 약 50회의 로봇 시연과 4시간의 파인튜닝을 거친 Pi 0.5 기반 비교 방식은 38%였다.

게시자GPT-5.6 Luna로 편집GPT Image 1.5로 이미지 생성

Studio Global AI로 검색 및 팩트체크 인기 페이지 더 보기

연구 답변

주요 시사점

HOST는 평균 29초 분량의 인간 시연 영상 하나를 바탕으로 조작 기술을 습득해 62%의 평균 성공률을 기록했다고 보고됐다. 약 50회의 로봇 시연과 4시간의 파인튜닝을 거친 Pi 0.5 기반 비교 방식은 38%였다.
사람의 움직임을 그대로 복사하거나 모델 가중치를 업데이트하는 대신, 로봇 자신의 시점에서 작업 결과를 예측하고 그 결과에 도달할 행동을 생성한다.
이 방식은 로봇을 과제마다 반복 원격조작하고 재훈련하는 대신, 사전 학습된 능력에 짧은 시연을 입력하는 ‘추론 시점 적응’으로 embodied AI의 방향을 바꿀 가능성을 보여준다.

Humanoid robot observing a human demonstration as a visual pathway illustrates one-shot embodied-AI skill learning — How does X Square Robot’s open-sourced HOST framework change embodied-AI training by enabling a humanoid robot to watch a 29-second human deHOST frames a human video as task-specific context for robot skill acquisition.
AI 프롬프트
Create a landscape editorial hero image for this Studio Global article: How does X Square Robot’s open-sourced HOST framework change embodied-AI training by enabling a humanoid robot to watch a 29-second human de. Article summary: HOST’s important shift is from task-specific retraining to inference-time skill acquisition: rather than gathering a new teleoperation dataset and updating model weights, the robot conditions on one human video, translat. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
openai.com

핵심은 로봇이 29초 만에 집안일을 완벽하게 배웠다는 데 있지 않다. X Square Robot의 HOST(Human-to-robot One-Shot Skill AcquisiTion)가 던지는 더 중요한 제안은 새로운 물리적 기술을 별도의 재훈련 프로젝트가 아니라 하나의 프롬프트처럼 다룰 수 있다는 점이다.

사람이 작업하는 모습을 한 번 보여주면 로봇은 시연 영상에서 의도한 결과를 해석하고, 이를 자신의 카메라와 신체 구조에 맞춰 작업을 시도한다. 이 과정에서 기본 모델의 가중치는 업데이트하지 않는다. 18 34

연구진이 보고한 평가에서는 29초 분량의 시연 영상으로 평균 62%의 성공률을 기록했다. 반면 Pi-0.5 시스템을 기반으로 한 비교 방식은 약 50회의 로봇 시연과 4시간의 파인튜닝 뒤 38%에 도달한 것으로 나타났다. 다만 이 수치는 연구진의 실험 환경에서 나온 결과이며, 실제 배치 환경에서의 신뢰성을 의미하지는 않는다. 18 34

재훈련 대신 추론 시점 적응

전통적인 모방학습에서는 새로운 작업을 배울 때마다 시연 데이터를 다시 수집하고, 이를 이용해 모델을 최적화하거나 파인튜닝하는 경우가 많다. 이 과정에는 사람의 원격조작 시간과 로봇 운용 시간이 들어가며, 기존에 익힌 행동이 손상될 가능성도 있다.

HOST는 적응이 일어나는 위치를 바꾼다. 사전 학습된 모델은 그대로 둔 채, 시연 영상을 추론 시점에 과제별 문맥으로 제공한다. 이는 경사하강법으로 모델에 새로운 행동을 영구적으로 학습시키는 방식보다, 문맥 안에서 행동을 조정하는 인컨텍스트 학습에 가깝다. 로봇 학습 분야에서도 모델이 가중치를 바꾸지 않고 관찰과 행동의 문맥을 활용해 행동을 조정할 수 있다는 가능성이 연구돼 왔다. 20

실용적으로는 “이렇게 해”라고 로봇에게 보여준 뒤 곧바로 시도하게 만드는 경로가 짧아진다. 그렇다고 로봇이 29초 만에 모든 물리 법칙을 처음부터 학습하는 것은 아니다. 더 정확히 말하면, 폭넓게 사전 학습된 기술의 기반 위에서 한 편의 영상이 새로운 과제를 선택하고, 로봇의 몸에 맞게 해석하며, 실행을 유도하는 방식이다.

사람의 동작을 그대로 복사하지 않는 이유

사람과 로봇은 카메라 위치, 손의 형태, 관절 구조, 도달 거리, 움직이는 속도가 서로 다르다. 따라서 영상의 픽셀이나 사람의 관절 궤적을 그대로 옮기는 방식은 쉽게 불안정해질 수 있다.

HOST는 대신 ‘자기 기준으로 근거를 세우는 예측’을 연쇄적으로 수행한다. 먼저 시연된 작업에서 로봇이 현재 어느 단계에 있는지 추정하고, 이어서 그 진행 상황이 로봇 자신의 시점에서 어떻게 보일지 예측한 다음, 예측된 관찰 결과에 도달할 행동을 계산한다. 18

보고된 구성 요소는 이 변환 과정의 서로 다른 문제를 맡는다.

비전 모듈은 로봇 중심의 인식 프레임에서 시연된 작업과 의도한 결과를 해석한다.
행동 생성 모듈은 예측된 결과를 실제 로봇이 수행할 수 있는 행동으로 변환한다.
**동적 시간 왜곡(DTW)**은 사람과 로봇이 서로 다른 속도로 움직일 때 작업의 대응 단계를 정렬한다.

이 차이는 중요하다. 로봇이 사람 시연자의 신체 움직임을 똑같이 재현하는 것이 목표가 아니기 때문이다. 로봇은 작업 과정에서 의미 있는 상태 변화의 순서를 파악한 뒤, 자신의 신체 조건에 맞는 방법으로 같은 결과를 만들어야 한다.

시뮬레이션과 인지과학이 가리키는 학습법

HOST의 설계는 인간의 목표 지향적 모방과도 닮아 있다. 사람은 다른 사람이 무엇을 하려는지 관찰한 뒤, 그 목표에 맞는 자신의 운동 계획을 세운다. 이는 시연을 프레임 단위의 동작 궤적으로 간주하고 그대로 재생하는 것과 다르다.

시뮬레이션과 대규모 사전 학습은 실제 배치 전에 다양한 물리적·행동적 상황을 제공할 수 있다. 이후 짧은 실세계 영상은 로봇이 바로 그 순간 필요로 하는 과제별 정보를 보충한다. 이 역할 분담은 embodied AI의 새로운 학습 조합을 시사한다. 오프라인에서는 폭넓은 물리·행동의 사전 지식을 익히고, 실제 환경에서는 추론 시점의 문맥으로 빠르게 특화하는 방식이다.

서로 다른 로봇 플랫폼에서 수집한 경험을 공유하는 개방형 로봇 데이터셋과 여러 embodiment를 아우르는 파운데이션 모델의 흐름도 이 방향과 맞닿아 있다. Open X-Embodiment 연구는 22종의 로봇에서 수집한 데이터로 학습한 모델이 다른 플랫폼의 경험을 활용해 여러 로봇의 성능을 높일 수 있음을 보였다. 25

HOST 오픈소스 공개가 중요한 이유

X Square Robot이 HOST를 공개하면서 다른 연구자와 개발자는 이 접근법을 직접 살펴보고 재현하며 검증할 수 있게 됐다. 오픈소스 구현은 영상에서 행동으로 이어지는 변환이 카메라, 조작기, 환경, 과제가 달라져도 작동하는지 확인할 기회를 넓힌다. 반대로 폐쇄적인 단일 시연만으로는 이런 주장을 폭넓게 검증하기 어렵다.

X Square Robot은 WALL embodied-model 생태계를 위한 코드와 도구도 공개했다. 여기에는 학습, 추론, 데이터 준비, 평가 구성 요소가 포함된다. 26 27 회사 입장에서 오픈소스는 외부 실험을 촉진하는 동시에 모델과 하드웨어에 대한 개발자들의 관심과 친숙도를 높이는 전략이 될 수 있다.

물론 코드 공개 자체가 HOST의 벤치마크를 입증하는 것은 아니다. 다만 “로봇의 사전 학습 능력을 과제마다 반복 파인튜닝하지 않고 짧은 시연으로 조정할 수 있는가”라는 핵심 가설을 더 많은 연구자가 시험할 수 있게 만든다는 점은 분명하다.

62%가 보여주는 것과 보여주지 않는 것

62%의 성공률은 의미 있는 연구 결과다. 특히 필요한 시연 횟수와 학습 시간이 줄었다는 보고와 함께 보면 데이터 효율성 측면에서 주목할 만하다. 하지만 이를 안정적인 자율성으로 해석해서는 안 된다. 해당 평가에서는 명시된 조건에서 5번 중 약 2번이 실패한 셈이다.

가정용 로봇이 마주할 모든 상황에서 견고하게 작동한다는 것도 아직 입증되지 않았다. 조명 변화, 주변 clutter, 물체의 외관 차이, 접촉 물리, 실수 뒤 복구, 안전 제약, 더 긴 작업 순서, 서로 다른 로봇 신체에 대한 추가 검증이 필요하다. 해당 논문은 연구 프리프린트이며 비교 결과 역시 특정 벤치마크에 한정돼 있으므로, 독립적인 평가도 중요하다. 18 34

따라서 현재 가장 신뢰할 만한 결론은 “휴머노이드가 이제 영상 하나로 집안일을 배운다”가 아니다. HOST는 로봇이 폭넓은 능력을 사전 학습하고, 인간의 시연을 통해 빠르게 새 과제에 적응하며, 과제마다 모델 가중치를 다시 조정하지 않는 embodied-AI 시스템의 가능성을 보여준다.

이 결과가 연구진의 벤치마크를 넘어 일반화된다면, 추론 시점의 기술 습득은 원격조작과 데이터 수집, 반복 파인튜닝에 의존해 온 기존 학습 비용을 줄일 수 있는 유력한 대안으로 자리 잡을 수 있다.

Studio Global AI

연구를 계속하세요

이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.

Studio Global AI로 검색 및 팩트체크

사람들은 또한 묻습니다.