영상 한 편으로 로봇을 가르친다…Skild AI S1이 바꾸려는 로봇 학습의 방식

Skild AI의 S1은 로봇이 새로운 작업을 배울 때마다 다시 훈련하는 대신, 사람이 작업하는 영상을 한 편 보여주는 방식을 택한 로봇 파운데이션 모델이다. 회사 설명에 따르면 S1은 사전 학습에서 보지 못한 작업도 최대 10분 동안 수행할 수 있으며, 해당 작업을 위해 모델 가중치를 바꾸거나 별도의 미세 조정을 거치지 않는다. 15

이 방식은 물리적 인공지능(physical AI)이 더 유연해질 수 있다는 가능성을 보여준다. 다만 이것만으로 가정이나 공장에서 어떤 작업이든 안정적으로 처리하는 범용 로봇이 완성됐다고 보기는 어렵다. 현재 공개된 핵심 성과는 Skild AI의 자체 시연과 내부 평가에 기반하고 있어, 외부 연구진의 재현과 표준화된 검증이 필요하다.

영상이 ‘실행 가능한 설명서’가 되는 이유

기존 로봇 학습 시스템은 특정 작업, 특정 로봇 형태, 특정 환경에 맞춰 설계되는 경우가 많다. 반면 S1은 시연 영상을 단순한 참고 자료가 아니라 작업을 수행하기 위한 실행 가능한 프롬프트로 취급한다. 영상에서 목표와 행동 순서, 물체 간 관계, 도구 사용법, 힘과 방향의 조절 방식을 추론한 뒤 로봇의 움직임으로 변환하는 것이다. 13

‘커피를 만들어라’라는 문장만으로는 어느 순서로 컵과 도구를 배치하고, 물을 어떻게 붓고, 각 단계에서 손을 어떻게 움직여야 하는지 알기 어렵다. 영상은 결과뿐 아니라 순서, 속도, 물체의 위치, 잡는 방식, 여러 단계에 걸친 전략까지 보여준다. Skild AI의 핵심 주장은 이런 풍부한 맥락 덕분에 S1이 사전 학습에 없던 긴 작업도 일반화할 수 있다는 것이다. 15

회사는 이를 대규모 언어 모델에 맥락을 담은 프롬프트를 입력하는 과정에 비유한다. 모델의 기본 능력을 작업마다 다시 바꾸는 대신, 시연 영상이 그때그때 필요한 작업 정보를 제공한다는 의미다.

커피부터 팬케이크까지…S1이 보여준 작업

Skild AI가 공개한 조작 작업에는 다음과 같은 사례가 포함된다.

• 핸드드립 커피 내리기
• 화분에 식물 옮겨 심기
• 키트 조립하기
• 팬케이크 뒤집기

일부 시연은 최대 10분 동안 이어지며, 수십 개의 순차적인 동작을 포함한다. 135

회사는 S1이 단순히 영상을 통째로 재생하거나 외운 동작을 반복하는 것이 아니라는 점을 보여주기 위한 정성적 테스트도 제시했다. 해당 테스트에서 S1은 주변 장면이 바뀌자 행동을 조정했고, 일부 실수 뒤 재시도했으며, 시연에 사용된 물뿌리개 대신 컵을 사용했다. 시연자가 달걀을 서툴게 다뤘을 때는 그 동작을 그대로 복사하지 않고 더 적절한 방식으로 수정했다고 Skild AI는 설명한다. 5

다만 이런 영상 사례는 행동의 유연성을 보여주는 참고 자료일 뿐이다. 다양한 장소와 물체, 조명, 안전 조건에서 같은 수준의 신뢰성을 보장한다는 뜻은 아니다.

언어로 지시하는 VLA 모델보다 얼마나 나은가

VLA는 ‘비전-언어-행동(vision-language-action)’ 모델을 뜻한다. 카메라로 주변을 보고, 언어 명령을 해석한 뒤, 로봇의 행동으로 연결하는 방식이다. S1과의 가장 구체적인 비교는 Skild AI가 공개한 낯선 작업 내부 평가다.

회사는 학습 데이터 10만 시간 규모의 평가에서 영상 프롬프트 기반 인컨텍스트 정책이 **평균 단계별 성공률 66%**를 기록했다고 밝혔다. 같은 조건의 언어 프롬프트 기반 VLA 기준선은 **9%**였다. 14

또 물체가 시연 영상과 달라지거나 반대쪽 팔을 사용해야 하는 등 배치 조건이 크게 바뀌었을 때, 언어 프롬프트 기반 VLA의 성능 저하 폭이 S1보다 최대 3배 컸다고 Skild AI는 설명한다. 1

회사는 사전 학습된 정책이 특정 작업에 맞춰 추가 학습하는 에피소드 약 380회와 비슷한 성능을 영상 프롬프트 한 번으로 얻었다는 비교도 제시했다. 1

이 수치가 사실이라면 영상 프롬프트의 장점은 분명하다. 영상은 원하는 결과만이 아니라 작업 순서, 타이밍, 물체 배치, 도구 사용, 물리적 전략을 함께 전달하기 때문이다. 하지만 위 수치는 Skild AI가 자체적으로 보고한 결과다. 제공된 자료에는 공개 논문, 모델 가중치, 독립 기관이 수행한 표준 외부 평가가 포함돼 있지 않다. 415

영상을 본 뒤 얼마나 빨리 움직이나

Skild AI는 S1이 시연 영상을 본 뒤 실시간으로 작동하며, 출시 관련 보도에서도 로봇이 영상을 본 직후 작업을 수행할 수 있다고 설명했다. 25

그러나 일반적인 시스템이 영상 종료 후 정확히 몇 초 또는 몇 분 만에 실행을 시작하는지 확인할 수 있는 근거는 충분하지 않다. 산업 현장에서는 모델의 성공률뿐 아니라 준비 시간, 추론 지연, 안전 점검, 오류 복구 시간도 중요하다. 따라서 ‘즉시 실행’이라는 표현과 검증된 실행 대기시간은 구분해서 볼 필요가 있다.

데이터 전략: 시뮬레이션과 인간 영상, 실제 로봇을 묶다

Skild AI는 범용 로봇 모델을 만들기 위해 여러 종류의 데이터를 결합한다고 설명한다. 대규모 시뮬레이션, 인터넷에 공개된 인간 행동 영상, 로봇 데이터, 원격 조작 데이터, 실제 배치 현장에서 수집한 정보를 함께 활용하는 방식이다. Series C 관련 자료는 로봇이 실제 환경에 배치될수록 더 많은 경험이 쌓이고, 이 데이터가 여러 로봇과 환경에서 모델을 개선하는 ‘데이터 플라이휠’도 강조한다. 37

2026년 SMARTCLOUD SHOW에서 공동 창업자 아비나브 굽타는 Skild AI가 로봇 데이터 수집의 “모든 종류”를 활용하며 경쟁사보다 100~1,000배 많은 데이터를 확보했다고 말했다고 보도됐다. 다만 이 배수는 회사 측 주장으로, 공개적으로 감사된 업계 비교 자료는 아니다. 6

각 데이터의 역할은 다르다. 인간 영상은 물체와 행동의 관계를 보여주고, 시뮬레이션은 로봇 몸체와 환경의 조합을 대규모로 확장한다. 실제 로봇 데이터는 이런 추상적 지식을 현실의 센서와 모터 제어에 연결한다.

‘옴니바디’ 로봇 두뇌란 무엇인가

S1은 Skild AI가 내세우는 ‘옴니바디(omni-bodied)’ 로봇 두뇌 전략의 일부다. 이 말은 이족보행 로봇, 사족보행 로봇, 바퀴형 로봇, 로봇 팔이 모두 같은 방식으로 움직인다는 뜻이 아니다. 관절과 센서, 팔다리, 바퀴, 가능한 동작 자체가 서로 다르다. 45

의도된 구조는 여러 로봇 형태에서 공통적으로 나타나는 물리적 규칙을 학습한 뒤, 각 로봇의 센서와 구동기, 관절 구조에 맞춰 행동을 변환하는 것이다. 따라서 하나의 모델이 여러 로봇에 지식을 공유하면서도, 각 하드웨어가 실제로 할 수 있는 동작에 맞춰 출력을 조정하는 것을 목표로 한다. 45

이 방식이 성공하면 로봇 구성마다 완전히 별도의 모델을 개발하고 유지해야 하는 부담을 줄일 수 있다. Skild AI는 더 일반적인 물리 행동을 학습하기 위해 서로 다른 가상 로봇 10만 종을 활용한 훈련도 소개한 바 있다. 4245

실제 산업 현장에는 어디까지 들어갔나

Skild AI는 산업용 로봇 기업 ABB Robotics와 Universal Robots와 협력해 소프트웨어를 산업 시스템에 통합한다고 발표했다. 로이터는 Skild AI와 엔비디아가 엔비디아 블랙웰 시스템과 관련된 조립 라인에 로봇 두뇌를 배치하고 있다고 보도했다. 3444

이 발표들은 상용 시험과 통합으로 향하는 경로를 보여준다. 하지만 공개 자료만으로는 공장 처리량, 가동률, 오류율, 안전사고, 투자수익률 같은 독립 검증 지표를 확인할 수 없다. 로봇이 현장에 배치됐다는 사실은 기술이 시험되거나 통합되고 있다는 의미이지, 기존 자동화를 대규모로 대체했다는 증거는 아니다.

140억 달러 기업가치가 말해주는 것

투자자들의 관심은 상당하다. 블룸버그는 소프트뱅크가 주도한 14억 달러 규모 Series C 투자로 Skild AI의 기업가치가 140억 달러를 넘어섰다고 보도했다. 기업가치는 약 7개월 만에 세 배 이상 높아졌다. 17

누적 투자액은 출처에 따라 18억 달러 이상 또는 20억 달러 이상으로 다르게 보도된다. 따라서 현재 공개된 자료만으로 확정적인 감사 수치를 제시하기보다는, 대규모 자금이 로봇 소프트웨어 플랫폼의 가능성에 투입됐다는 정도로 해석하는 편이 적절하다. 182122

‘로봇의 ChatGPT 모멘트’라는 표현도 확정된 결론이라기보다 비유에 가깝다. S1은 로봇이 작업별로 다시 훈련받는 대신 시연을 통해 새로운 기술을 습득하는 방향을 제시한다. 투자자 라비 마트레는 이를 장기 작업과 인간 노동 과제를 위한 ‘GPT-3의 순간’이라고 평가했지만, 이는 투자자의 판단이지 독립적인 과학적 검증은 아니다. 10

결론: 중요한 것은 모방이 아니라 조합과 적응

S1의 핵심은 로봇이 영상을 보고 그대로 따라 한다는 데만 있지 않다. 한 번의 시연으로 이미 학습한 기술을 조합하고, 달라진 장면에 대응하며, 특정 작업을 위해 모델 가중치를 업데이트하지 않고 긴 작업 순서를 수행할 수 있다는 주장에 의미가 있다.

Skild AI가 제시한 **66% 대 9%**의 내부 평가와 최대 10분에 이르는 작업 시연은 물리적 인공지능 분야에서 주목할 만한 기술적 방향을 보여준다. 14 그러나 공개 근거의 상당 부분은 회사 자료와 선별된 시연, 초기 배치 발표에 의존한다. 외부 연구진이 표준 조건에서 결과를 재현하고, 산업 고객이 신뢰성·안전성 데이터를 공개하기 전까지 S1은 범용 로봇 두뇌의 도착을 증명한 제품이라기보다, 로봇이 새로운 기술을 배우는 방식을 바꿀 가능성을 보여준 유망한 접근으로 보는 것이 정확하다.