답변게시됨14 소스
CASIA의 PhiZero, 영상을 그리기 전에 ‘물리 언어’로 움직임부터 추론한다
PhiZero는 ‘먼저 추론하고, 나중에 렌더링하는’ 방식으로 장면의 변화와 시각적 외양을 분리한다. 전환 수준 Q Former와 유한 스칼라 양자화(FSQ) 토크나이저가 움직임과 상호작용을 이산적인 ‘물리 언어’ 토큰으로 압축한다.
게시자GPT-5.6 Luna로 편집GPT Image 1.5로 이미지 생성
연구 답변
주요 시사점
- PhiZero는 ‘먼저 추론하고, 나중에 렌더링하는’ 방식으로 장면의 변화와 시각적 외양을 분리한다.
- 전환 수준 Q Former와 유한 스칼라 양자화(FSQ) 토크나이저가 움직임과 상호작용을 이산적인 ‘물리 언어’ 토큰으로 압축한다.
- 약 4초 분량의 33프레임 영상에서 256개 토큰을 사용해 Wan2.2 VAE의 44,800개 연속 시각 토큰보다 약 175배 짧은 표현을 제시했지만, 이는 전체 추론 비용이나 저장 용량이 175배 줄었다는 뜻은 아니다.
AI 프롬프트
openai.comCreate a landscape editorial hero image for this Studio Global article: What is CASIA’s PhiZero world model, published in the August 21, 2026 arXiv paper “PhiZero: A World Model Built Around Physical Language,” h. Article summary: PhiZero is CASIA’s proposed “reason-then-render” world model: it first represents predicted world-state changes as a short sequence of learned discrete “physical-language” tokens, then renders those changes into video. I. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
중국과학원(CAS) 자동화연구소 연구진이 제안한 PhiZero는 영상의 미래 프레임을 픽셀 단위로 바로 예측하는 대신, 장면의 상태가 어떻게 변하는지를 학습한 이산 표현인 **‘물리 언어(physical language)’**로 먼저 추론하는 세계 모델이다. 이후 이 추론 결과를 영상으로 렌더링한다. 1
2
이 접근법이 겨냥하는 문제는 영상 예측 모델에서 외양과 동역학이 뒤섞이는 현상이다. 질감, 조명, 배경은 그럴듯하게 재현하면서도 실제 움직임이나 물체 간 상호작용은 틀릴 수 있다는 뜻이다. PhiZero는 예측의 중심을 ‘다음 화면이 어떻게 보이는가’에서 ‘세계의 상태가 어떻게 달라지는가’로 옮기고, 시각적 외양은 별도의 디코더가 담당하도록 나눈다. 1
2
핵심은 ‘먼저 추론하고, 나중에 렌더링’하는 것
PhiZero의 작동 방식은 다음 네 단계로 요약할 수 있다.
- 첫 프레임과 행동 또는 의도를 입력한다.
- 미래의 상태 변화를 나타내는 짧은 이산 토큰 시퀀스를 예측한다.
- 첫 프레임과 이 토큰들을 영상 디코더에 전달한다.
- 디코더가 예측된 변화를 미래 프레임으로 렌더링한다.
여기서 ‘물리 언어’는 사람이 읽을 수 있는 문장이나 일반적인 단어가 아니다. 실제 영상에서 자기지도학습으로 얻은 기호 체계로, 각 장면의 외양 자체보다는 움직임과 상호작용, 시간에 따른 상태 전이를 표현하도록 학습된다. 1
2
3
이를 간단히 표현하면 다음과 같다.
첫 프레임 = 장면이 어떻게 보이는가, 물리 언어 토큰 = 장면이 어떻게 변하는가, 디코더 = 그 변화를 어떻게 영상으로 보여줄 것인가
변화와 외양을 나누는 토크나이저
1. 전환 수준 Q-Former
PhiZero의 토크나이저는 각 프레임을 독립적인 시각 정보로 처리하기보다 영상 전체의 시간적 변화를 분석한다. 쿼리 기반 병목 구조인 전환 수준 Q-Former는 장면의 모든 시각적 세부사항이 아니라 상태 변화에 집중한 압축 특징을 추출한다. 1
일반적인 영상 코덱이 프레임을 복원하는 데 필요한 정보를 반복해서 보존한다면, 이 구조는 정적인 배경이나 표면 질감보다 ‘한 상태에서 다음 상태로 무엇이 달라졌는가’를 중심으로 표현을 만들도록 설계됐다.
2. 유한 스칼라 양자화(FSQ)
Q-Former가 추출한 연속적인 전환 특징은 **유한 스칼라 양자화(Finite Scalar Quantization·FSQ)**를 거친다. 이 과정에서 특징은 이산 인덱스로 바뀌고, PhiZero가 사용하는 물리 언어의 유한한 어휘가 된다. 1
2
표현이 이산화되면 언어 모델과 비슷한 방식으로 토큰 시퀀스를 자기회귀적으로 예측할 수 있다. 모델은 수만 개의 시각 잠재 토큰을 직접 이어 붙이는 대신, 짧은 상태 전이 궤적을 나타내는 토큰을 조합하게 된다.
다만 ‘언어’라는 표현이 곧 해석 가능성을 의미하는 것은 아니다. 특정 토큰이 사람이 이해할 수 있는 ‘중력’이나 ‘좌회전’ 같은 개념에 일대일로 대응한다고 볼 수는 없다.
3. 첫 프레임을 외양의 기준점으로 활용하는 확산 디코더
PhiZero의 영상 디코더는 깨끗한 첫 프레임을 고주파 시각 정보의 기준점으로 사용한다. 이후 무엇이 바뀌어야 하는지는 물리 언어 시퀀스가 제공하고, 디코더는 질감과 조명, 배경, 인물의 정체성 같은 세부 정보를 활용해 변화가 반영된 영상을 복원한다. 2
덕분에 전환 토큰은 제한된 용량을 모든 시각적 세부사항을 기록하는 데 사용할 필요가 없다. 첫 프레임이 이미 장면의 상당 부분을 설명하고, 토큰은 그 위에 발생할 변화를 전달하는 셈이다.
학습 과정에서는 순수한 노이즈로 시작하는 워밍업 절차도 사용된다. 디코더가 미래 프레임에 부분적으로 남아 있는 정보를 그대로 참고하지 못하게 해, 첫 프레임과 물리 언어 조건만으로 미래 영상을 복원하도록 유도하는 방식이다. 2
토큰 수는 약 175배 줄었지만, 의미를 정확히 봐야 한다
논문이 제시한 사례에서 약 4초 길이의 33프레임 영상은 약 2만5,000개 기호로 구성된 어휘에서 뽑은 256개의 이산 물리 언어 토큰으로 표현된다. 이에 비해 Wan2.2 VAE 표현은 44,800개의 연속 시각 토큰을 사용한다. 토큰 시퀀스 길이만 놓고 보면 약 175배 감소한 수치이며, 연구진은 경쟁력 있는 복원 품질을 보고했다. 1
그러나 175배라는 숫자를 전체 시스템의 속도나 비용 절감으로 확대 해석해서는 안 된다. 이 비교는 표현 토큰 수를 기준으로 한 것이며, 총 저장 비트 수나 메모리 사용량, 하드웨어 비용, 엔드투엔드 추론 시간과 같은 지표를 직접 비교한 결과는 아니다. PhiZero 역시 상당한 규모의 확산 또는 플로 매칭 디코더와 영상을 시작할 초기 프레임을 필요로 한다. 1
2
따라서 이 결과의 핵심은 ‘영상 생성이 175배 빨라졌다’는 주장이 아니라, 세계의 변화를 추론하는 중간 표현을 크게 압축했다는 데 있다.
로봇과 자율주행에 어떤 의미가 있나
로봇·체화형 AI
로봇은 행동을 실행하기 전에 그 결과를 예측해야 한다. PhiZero와 같은 구조라면 상세한 영상을 곧바로 생성하기보다, 먼저 행동에 따른 결과를 짧은 전이 시퀀스로 예측한 뒤 필요할 때 시각화할 수 있다. 이는 행동 조건부 시뮬레이션이나 계획 수립을 더 명확한 단계로 나누는 데 도움이 될 가능성이 있다. 프로젝트는 인터랙티브 세계 모델링, 행동 조건부 시뮬레이션, 동작 전이 등의 응용을 제시한다. 2
4
물론 이것이 로봇에 완전한 물리 이론을 부여한다는 뜻은 아니다. 더 제한적인 중간 목표, 즉 시각적 세부사항을 계산하기 전에 현실에서 일어날 법한 변화를 표현하고 조합하는 구조를 제시한다는 의미에 가깝다.
자율주행
자율주행에서도 중요한 예측은 도로 표면의 정확한 질감이나 조명보다 차량과 보행자가 앞으로 어떻게 움직이고 상호작용하는지일 수 있다. 차량의 감속, 보행자의 횡단, 양보와 충돌 가능성 같은 상태 변화를 별도의 표현으로 다루는 발상은 이 분야와 맞닿아 있다.
다만 이는 아키텍처에서 도출되는 가능성이지, PhiZero가 안전이 중요한 실제 주행 환경에 사용할 준비가 됐다는 증거는 아니다. 생성된 영상이 일관돼 보여도 실제 궤적이 틀릴 수 있으며, 학습된 토큰 역시 본질적으로 해석 가능하거나 검증 가능한 물리 상태 변수는 아니다.
영상 코덱보다 ‘짧은 프로그램’에 가까운 세계 모델
기존 시각 표현이 영상을 복원하기 위한 압축 스트림에 가깝다면, PhiZero는 물체와 장면의 변화를 설명하는 짧은 프로그램에 가까운 중간 표현을 지향한다. 비전·언어 모델 계열의 추론기가 먼저 이 궤적을 예측하고, 디코더가 이를 다시 픽셀로 바꾸는 구조다. 1
2
4
이런 전환은 세계 모델의 추론을 더 조합 가능하게 만들 여지가 있다. 시스템이 모든 시각적 세부사항을 다시 생성하지 않고도 서로 다른 전이 패턴을 비교하거나, 다른 외양의 장면에 적용하거나, 행동 결과를 계획하는 방식이다. 다만 이런 장점이 다양한 과제에서 실제로 유지되려면 학습된 표현이 각 과제에 중요한 동역학을 얼마나 잘 보존하는지가 관건이다.
PhiZero가 보여준 것과 보여주지 않은 것
PhiZero의 가장 분명한 기여는 세계 모델에서 동역학을 명시적인 병목으로 만들 방법을 제시했다는 점이다. 연구진은 이산적인 전환 표현을 학습하고, 초기 장면과 의도에서 해당 표현의 미래 시퀀스를 예측한 뒤, 결과를 영상으로 렌더링한다. 256개와 44,800개의 토큰을 비교한 결과는 이런 추상화가 왜 매력적인지를 보여준다. 1
그렇다고 물리적 이해가 해결됐다는 뜻은 아니다. 학습된 어휘가 유용한 규칙성을 포착하더라도 실제 물리 변수와 깔끔하게 대응하지 않을 수 있고, 그럴듯한 영상 역시 올바른 세계 상태를 보장하지 않는다.
가장 신중한 결론은 이렇다. PhiZero는 장면이 무엇인지와 장면이 어떻게 변하는지를 분리해 다루려는 유망한 연구 아키텍처다. 영상 생성 모델이 픽셀을 그리는 데 앞서, 세계의 변화를 먼저 ‘생각하게’ 하려는 시도인 셈이다.
Studio Global AI
연구를 계속하세요
이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.
사람들은 또한 묻습니다.
"CASIA의 PhiZero, 영상을 그리기 전에 ‘물리 언어’로 움직임부터 추론한다"에 대한 짧은 대답은 무엇입니까?
PhiZero는 ‘먼저 추론하고, 나중에 렌더링하는’ 방식으로 장면의 변화와 시각적 외양을 분리한다.
먼저 검증할 핵심 포인트는 무엇인가요?
PhiZero는 ‘먼저 추론하고, 나중에 렌더링하는’ 방식으로 장면의 변화와 시각적 외양을 분리한다. 전환 수준 Q Former와 유한 스칼라 양자화(FSQ) 토크나이저가 움직임과 상호작용을 이산적인 ‘물리 언어’ 토큰으로 압축한다.
실무에서는 다음으로 무엇을 해야 합니까?
약 4초 분량의 33프레임 영상에서 256개 토큰을 사용해 Wan2.2 VAE의 44,800개 연속 시각 토큰보다 약 175배 짧은 표현을 제시했지만, 이는 전체 추론 비용이나 저장 용량이 175배 줄었다는 뜻은 아니다.