Zeva란? 재학습 없이 행동 결과를 기억해 적응하는 로봇 조작 AI

핵심: 재학습 대신 ‘행동→결과’의 기억을 다음 판단에 쓴다

Zeva는 로봇 조작을 위한 배포 시점 적응 프레임워크다. Cosmos3 기반 정책 모델의 가중치를 배포 뒤에도 고정한 채, 로봇이 실행한 행동이 실제 환경에 일으킨 변화를 온라인 메모리에 기록하고 다음 행동을 만들 때 그 정보를 활용한다. 즉, 낯선 물체 배치나 물리적 특성에 부딪힐 때마다 데이터를 모으고 라벨링한 뒤 파인튜닝하는 대신, 추론 문맥을 바꾸는 방식으로 적응한다. 15

여기서 중요한 점은 이것이 영구적인 파라미터 학습은 아니라는 것이다. 로봇은 가중치에 새 지식을 새겨 넣지 않고, 현재 에피소드에서 쌓인 기억을 통해 행동을 조정한다.

Zeva의 작동 구조

1. 인과 전이 인코더(CTE): 무엇을 했고, 무엇이 변했는가

각 행동 뒤 Zeva의 인과 전이 인코더(Causal Transition Encoder·CTE) 는 시각 상태, 실행한 행동, 관측된 상태 변화를 결합해 잠재적 인과 상호작용 표현으로 바꾼다. 이 표현은 작업이 어느 단계에 있는지를 나타내는 단계 토큰(phase token) 과, 행동이 유발한 물리적 변화를 담으려는 상호작용 신호로 나뉜다. 배경이나 조명처럼 행동과 직접 관련 없는 시각적 상관관계보다, ‘집게를 닫았더니 물체가 잡혔는가’ 같은 행동 유발 효과를 포착하려는 설계다. 14

2. 두 시간대의 메모리: 방금의 실수와 이전 시도의 경험을 분리

Zeva는 기억을 한 저장소에 뒤섞지 않고 두 층으로 관리한다.

• BIT(Brief Interaction Trace·단기 상호작용 궤적): 현재 시도 안에서 막 발생한 상호작용을 보관한다. 직전 행동의 실수를 바로 수정하거나, 해당 시도의 국지적인 물리 조건에 맞춰 조정하는 데 쓰인다. 1
• PIM(Persistent Interaction Memory·지속 상호작용 메모리): 같은 에피소드 안에서 여러 번 시도하며 얻은 관련 경험을 유지·통합한다. 실패와 성공에서 얻은 증거가 다음 재시도에 반영될 수 있다. 1

쉽게 말해 BIT는 ‘방금 무엇이 잘못됐는지’를 위한 작업 기억이고, PIM은 ‘이전 시도에서 무엇을 배웠는지’를 위한 누적 기억에 가깝다.

3. 문맥 내 정책 주입: 꺼낸 기억을 프롬프트로 넣는다

행동을 생성할 때 Zeva는 현재 작업 단계와 맞는 인과적 상호작용 증거를 두 메모리에서 검색한다. 이어 이를 인과 프롬프트 형태로 만들어, 동결된 기반 정책의 행동 생성 경로에 주입한다. 그래서 정책의 파라미터를 바꾸지 않아도, 주어진 문맥에 따라 다른 행동을 선택할 수 있다. 15

이 방식은 낯선 조건을 만난 뒤에도 별도 라벨, 재학습 실행, 모델 버전 교체, 그에 따른 운영 중단 없이 적응할 가능성을 제시한다. 다만 검색·문맥 처리라는 추론 비용은 추가된다. 16

보고된 성능은 어느 정도인가

논문과 프로젝트가 보고한 수치는 다음과 같다.

• 5개 작업으로 구성된 RoboCasa365-Atomic5 시뮬레이션에서 Zeva의 평균 성공률은 **76.8%**였다. Fast-WAM은 72.4%, Cosmos3-Nano는 64.8%로 제시됐다. 1
• 누적 성공률은 첫 번째 진화 시도에서 약 26%, 네 번째 시도에서 **73%**로 높아진 그래프가 보고됐다. 다만 제공된 1차 자료에서 이 그래프는 ChemLab-Evo가 아니라 RoboCasa365로 표기돼 있다. 따라서 ‘ChemLab-Evo에서 26%→73%’라는 귀속은 현재 제공된 핵심 근거만으로는 확인하기 어렵다. 1
• 실제 ARX 로봇을 사용한 ChemLab-Evo Level-1 반복 시도에서는 다음 변화가 보고됐다.
  • 시험관 집기: 65%→100%
  • 비커 놓기: 25%→70%
  • 물 붓기: 30%→80% 1
• 최종 Level-1 표에서 Zeva는 이 세 작업에 각각 100%·70%·80%, 평균 **83.3%**를 기록했다. 비교 대상인 Cosmos3-Nano는 80%·70%·60%, Fast-WAM은 85%·70%·75%였다. 1

사람의 시연 한 번도 ‘웜스타트’로 활용

사람이 물리적으로 안내한 단 한 번의 롤아웃도 같은 상호작용 메모리에 기록해 초기 단서, 즉 웜스타트로 쓸 수 있다. 이후 정책은 여전히 동결된 상태로, 그 시연에서 얻은 인과적 상호작용 문맥을 이용해 동작 순서를 재현한다. 6

제공된 근거는 이러한 원샷 웜스타트 메커니즘 자체는 뒷받침한다. 그러나 비커 놓기나 물 붓기에서 시연 전후 성능이 정확히 얼마나 올랐는지를 보여 주는 검증된 수치는 제공하지 않는다. 따라서 해당 작업을 개선하거나 초기화하는 데 활용됐다고 보는 것은 가능하지만, 구체적인 상승 폭을 단정하기는 어렵다. 6

왜 기본 정책이 약할수록 개선 폭이 클 수 있나

합리적인 해석은 개선 여지(headroom) 다. 사전학습 정책이 새 물리 조건에서 더 자주, 더 체계적으로 실패할수록 명시적인 ‘행동→결과’ 피드백이 바로잡을 수 있는 오류도 많아진다. 반대로 강한 기본 모델은 처음부터 성공하는 비율이 높으므로 메모리 기반 프롬프팅으로 회복할 실패가 상대적으로 적다.

하지만 이것을 보편 법칙으로 볼 수는 없다. 1차 자료가 보여 주는 것은 비교 과제에서의 성능과 배포 중 개선이지, 모든 약한 정책이 항상 더 큰 이득을 얻는다는 일반 정리는 아니다. 1

왜 화학 실험 조작을 시험했나

ChemLab-Evo는 작은 용기, 정밀한 배치, 기울이기와 액체 붓기, 다단계 절차처럼 물리적 변수가 결과를 크게 좌우하는 작업을 포함한다. 벤치마크는 ARX 매니퓰레이터의 7개 작업으로 구성되며, 시험관 집기·비커 놓기·물 붓기 같은 원자적 동작에서 시작해 짧은 시퀀스, 적정·염 용액 제조·저울 계량·추출 같은 긴 절차로 확장된다. 1

이 환경은 단순히 화면에서 본 동작을 모방하는지를 넘어, 기억한 행동 효과가 재시도와 유사 기술 사이에서 실제로 전이되는지를 살피기에 적합하다.

실용화 전 남은 과제

• 추론 비용과 문맥 길이: 메모리 검색과 인과 프롬프트 주입은 연산량과 문맥 처리 부담을 늘린다. 이력이 길수록 무조건 좋아지는지, 지연 시간·검색 정확도·문맥 용량의 한계가 어디인지에 대해서는 아직 충분한 근거가 없다. 1
• 메모리 오염 위험: 인과 표현이 잘못 만들어지거나, 작업 단계 매칭이 틀리거나, 오해를 부르는 실패 경험이 검색되면 오히려 해로운 문맥이 들어갈 수 있다. BIT와 PIM의 분리는 이를 완화하려는 장치이지 안전한 통합을 보장하지는 않는다. 1
• 물리적 범위의 한계: 실제 실험은 주로 단단한 실험실 물체와 액체 이송에 집중됐다. 천, 케이블, 식품, 부드러운 포장재처럼 크게 변형되는 물체나 힘·촉각 피드백이 중요한 접촉 집약 작업으로의 일반화는 입증되지 않았다. 1
• 장기 현장 안정성: 평가는 시도 사이에 환경을 초기화하고, PIM을 한 에피소드 안에서 유지하는 통제된 방식이다. 카메라 보정 변화, 장비 마모, 사람의 이동, 잡동사니, 장기 메모리 관리가 얽힌 실제 시설에서 무기한 운용할 수 있음을 보여 주지는 않는다. 1
• 로봇·하드웨어 전이: 실제 평가는 80cm×60cm 작업공간의 특정 ARX 매니퓰레이터에서 이뤄졌다. 다른 로봇팔, 그리퍼, 이동형 매니퓰레이터, 양팔 시스템, 센서 구성, 제어 주기, 안전 제약으로 같은 방식이 깔끔하게 옮겨갈지는 미해결 문제다. 1
• 작업 분류의 확장성: 주방 및 화학 작업 일부에서 기능적으로 유사한 효과—집게 닫기, 들어 올리기, 용기 기울이기—의 전이 가능성을 보였지만, 전혀 다른 작업군과 다양한 자연어 지시까지 폭넓게 일반화하는지는 추가 실증이 필요하다. 1
• 증거의 성숙도: 현재 결과는 논문과 프로젝트 팀이 보고한 평가이며 독립 재현 결과는 아니다. 방법의 핵심 설명은 분명하지만, 긴 작업 지평, 폭넓은 하드웨어, 변형 물체, 통제되지 않은 생산 현장에서의 견고성은 더 강한 검증이 필요하다. 1

Zeva의 의미는 로봇이 현장에서 겪은 실패를 곧바로 모델 재학습으로 이어 붙이지 않고도, 다음 행동의 판단 근거로 전환하려 했다는 데 있다. 다만 이는 ‘가중치가 스스로 진화한다’는 주장보다는, 동결된 정책이 잘 설계된 인과 기억 문맥을 통해 일시적으로 적응한다는 기술로 이해하는 편이 정확하다.