PixVerse R2는 어떻게 실시간 AI 세계를 이어갈까

PixVerse R2는 AI 영상 생성을 ‘완성된 클립을 받아보는 일’에서 ‘생성 중인 세계에 들어가 계속 개입하는 일’로 넓히려는 AIsphere의 시도입니다. 사용자는 텍스트, 이미지, 오디오와 동작으로 장면을 조정할 수 있고, 모델은 오디오와 비디오를 동기화해 이어서 생성하도록 설계됐습니다. AIsphere는 2026년 9월 22일 R2를 발표했고, 중국에서의 정식 공개일은 9월 23일로 보도됐습니다. 기술 개요는 8월에 먼저 공개됐습니다. 159

한 번의 프롬프트가 아니라, 이어지는 장면에 개입하기

일반적인 영상 생성처럼 프롬프트 한 번으로 결과물을 받은 뒤 끝나는 방식과 달리, R2는 실행 중인 세션에 계속 입력을 더하는 것을 목표로 합니다. 텍스트와 참고 이미지, 오디오, 동작 제어를 지원하며, 보도된 사용 방식에는 WASD 키처럼 캐릭터를 움직이는 조작도 포함됩니다. 장면이 생성되는 도중 프롬프트로 캐릭터를 바꾸거나 사물을 추가하고 배경을 바꾸는 식으로 개입할 수 있습니다. 16

핵심은 입력을 받을 때마다 별개의 영상을 새로 시작하는 게 아니라, 현재 장면과 세션의 흐름을 다음 생성에 반영하는 것입니다. AIsphere는 R2가 세션에서 일어난 일을 이어 기억하고, 캐릭터와 사물, 공간 사이의 관계를 유지하는 방향으로 설계됐다고 설명합니다. 136

《제로 마크》와 디지털 캐릭터 Eve 시연

크리에이터 샤오룽바오가 만든 인터랙티브 필름 게임 《제로 마크》에서는 플레이어의 선택에 따라 같은 만남의 다음 장면이 달라집니다. 생물에게 나뭇잎 대신 용을 건네면 실시간으로 다른 반응이 나온다는 예시는, 입력이 장면의 연속을 바꿀 수 있다는 점을 보여줍니다. 12

또 다른 시연에는 디지털 캐릭터 Eve가 등장합니다. 보도에 따르면 Eve는 음성, 캐릭터 설정, 기억과 관계 상태를 바탕으로 플레이어의 질문이나 이야기의 전개에 응답하며, 여러 차례 대화에서도 정체성을 유지하는 것을 목표로 합니다. 다만 이는 의도된 상호작용 방식을 보여주는 시연이지, 긴 세션에서도 일관성이 얼마나 안정적으로 유지되는지 독립적으로 검증한 결과는 아닙니다. 6

실시간성과 연속성을 뒷받침한다는 설계

AIsphere는 R2의 구조를 두 축으로 설명합니다. Omni Causal AR은 입력의 종류를 함께 처리하고, 현재 세계 상태를 바탕으로 장면을 시간의 흐름에 따라 발전시키는 모델입니다. Real-Time Acceleration은 그 능력을 실시간 상호작용에 쓸 수 있도록 가속하는 계층입니다. 1913

이와 함께 공개된 주요 기법은 다음과 같습니다.

• 동적 분할(Dynamic Chunking): 입력이나 사건의 성격에 따라 생성 구간의 길이를 조절합니다. 짧은 구간은 빠른 국소 반응에, 긴 구간은 움직임이나 사건을 더 연결된 형태로 표현하는 데 쓰일 수 있습니다. 3
• 세 가지 시간 규모의 메모리: 기술 개요는 지속적인 기준점을 저장하는 Sink Memory, 최근의 변화를 다루는 Rolling History, 객체 단위 표현을 재사용하는 Object KV Cache를 소개합니다. 장기적인 정체성과 직전 움직임을 함께 고려하기 위한 구성입니다. 10
• Error Bank: 대표적인 오류 상태를 저장해 정상적인 이력과 함께 학습에 다시 활용합니다. 모델이 오류가 없는 사례뿐 아니라 생성 중 빗나간 상황도 학습하도록 하려는 방식입니다. 310
• 블록 희소 어텐션: 세션이 길어질수록 계산을 모든 과거 정보에 똑같이 쓰기보다, 관련성이 높은 연결에 집중하는 기법입니다. 일부 2차 보도는 품질 손실이 거의 없는 상태에서 희소도가 90%를 넘었다고 전하지만, 이는 독립 벤치마크가 아니라 보도된 시스템 결과입니다. 716

성능 수치와 확인이 더 필요한 부분

AIsphere는 내부 평가에서 긴 세션의 시각적 드리프트가 35.8% 감소했다고 밝혔습니다. 회사가 공개한 내부 평가 결과로, 다양한 사용 환경 전반의 성능을 독립적으로 검증한 수치와는 구분해서 볼 필요가 있습니다. 2

제공된 자료에는 비교 가능한 독립 지연 시간, 프레임률 또는 영상 품질 벤치마크가 제시돼 있지 않습니다. 따라서 R2가 실시간 작동과 긴 세션의 일관성을 지향한다는 점은 확인할 수 있지만, 장면과 조작 방식이 달라져도 얼마나 안정적으로 작동하는지까지 입증된 것은 아닙니다. 시연은 작동 개념을 보여주지만, 더 폭넓은 사용에서의 신뢰성까지 결론 내리지는 않습니다. 13

R1에서 게임 엔진으로 이어지는 방향

PixVerse는 2026년 1월 공개한 R1을 연속 생성형 인터랙티브 영상의 초기 단계로 설명하고, R2는 입력의 폭과 장면 상태의 지속성을 확장하려는 업그레이드로 제시합니다. PixVerse Game Engine은 실시간 생성 영상에 AI 에이전트와 게임 규칙을 연결해, 목표와 규칙, 변화하는 세계 상태가 있는 경험을 만드는 방향을 보여줍니다. 1418

자료는 이런 제품 방향을 설명하기에는 충분하지만, CEO 왕창후가 인터랙티브 세계에 대해 더 구체적으로 어떤 비전을 밝혔는지 직접 인용할 만큼 근거가 충분하지는 않습니다.