Puffin-World, 중력과 기하·외형을 하나로 묶는 오픈 3D 월드 모델

Puffin-World는 ACE Robotics, 난양공과대학교(NTU) S-Lab, 베이징교통대, 미시간대 소속 연구진이 공개한 오픈소스 멀티모달 3D 월드 모델이다. 핵심은 세계를 단순한 RGB 영상의 연속으로 보지 않고, 물리·기하·외형이라는 서로 연결된 세 가지 상태로 함께 모델링한다는 데 있다. 이를 통해 AI가 카메라가 중력에 대해 어떻게 기울어져 있는지 파악하고, 지정한 카메라 움직임에 맞는 새 시점을 생성하며, RGB-D 장면을 하나의 체계에서 재구성하도록 설계됐다. 15

핵심: 보기 좋은 영상보다 ‘일관된 세계’

생성 모델은 그럴듯한 이미지를 만들 수 있어도, 시점이 바뀔 때 수평선·카메라 자세·3D 구조를 안정적으로 유지한다는 보장은 없다. Puffin-World는 이를 위해 다음 세 상태를 명시적으로 다룬다.

• 물리(physics): 중력 방향과 위도
• 기하(geometry): 밀집 깊이(depth)
• 외형(appearance): RGB 이미지 15

즉 이 모델은 장면이 무엇처럼 보이는지만 묻지 않는다. 카메라가 중력에 대해 어떤 방향을 향하는지, 그리고 그 카메라가 장면 안에서 이동하면 무엇을 관측해야 하는지도 함께 다루는 카메라 중심 월드 모델이다.

9채널 Omni-Camera는 무엇을 담나

Puffin-World의 핵심 조건 표현은 Omni-Camera다. 중력 인지형 절대 원근 필드와 광선(ray) 기반 상대 기하를 결합한 9채널 밀집 카메라 조건이다. 5

• 절대 원근 필드는 카메라를 물리적 기준 좌표계에 고정한다. 여기에는 중력에 대한 카메라 방향이 포함된다.
• 상대 기하는 시점 사이의 회전, 이동, 카메라 내부 파라미터(intrinsics), 복합 움직임을 표현한다.

모델은 기준 이미지에서 추정한 중력 정보를 요청된 카메라 궤적을 따라 전달한다. 연구진이 밝힌 목적은 생성 시점들을 하나의 물리 좌표계 안에 유지하고, 순차 시점 생성에서 발생할 수 있는 중력 또는 수평선의 드리프트를 줄이는 것이다. 56

Puffin-World가 수행하는 작업

이미지 한 장에서 카메라 자세 추정

이해(understanding) 분기는 단일 이미지로부터 절대 롤(roll), 피치(pitch), 수직 시야각(vertical FoV) 을 예측한다. 이 추정치는 모델의 카메라 표현에 쓰이는 중력 및 원근 필드로 변환될 수 있다. 5

제어 가능한 자유 시점 궤적 생성

텍스트와 카메라 제어값을 입력하거나, 입력 이미지와 지정 카메라 궤적을 제공하면 새로운 시점을 생성할 수 있다. 제어 대상은 방향 변화, 평행이동, 내부 파라미터, 그리고 롤·피치·요를 포함한 복합 움직임이다. 5

RGB-D 생성과 3D 장면 재구성

색상 이미지뿐 아니라 궤적을 따라 RGB와 깊이를 함께 생성한다. 이렇게 얻은 RGB-D 결과는 별도의 오프라인 기하 파이프라인에 넘기지 않고, 색상이 있는 3D 포인트 클라우드로 통합할 수 있다. 5

폐루프 탐색 지원

공개 자료에는 모방 탐색(mimic exploration)과 자기 보정(self-calibration) 시연도 포함돼 있다. 문서는 중력 인지 좌표계가 생성 궤적을 다시 기준점에 맞추고 누적된 자세 불일치를 제한하는 데 쓰인다고 설명한다. 다만 제공된 공개 자료만으로는 드리프트 보정 알고리즘의 전체 제어 루프가 상세히 제시되지는 않았으므로, 이는 완전한 알고리즘 설명보다는 시연된 기능으로 해석하는 것이 적절하다. 56

구조: 카메라 이해와 확산 생성의 결합

Puffin-World는 기하 정렬형 C-RADIO 비전 인코더, Qwen 언어 모델, SD3.5 확산 생성기, 경량 커넥터를 결합한다. 카메라·물리 상태를 이해하는 자기회귀 과정과 다중 시점 RGB-D 생성을 담당하는 확산 과정을 분리하면서도, 하나의 통합 시스템으로 묶은 구성이다. 5

공개된 체크포인트는 세 가지다.

• Puffin-World-Base: Qwen2.5-7B, C-RADIOv3-H, SD3.5-medium
• Puffin-World-Pro: Qwen2.5-1.5B, C-RADIOv4-H, SD3.5-large
• Puffin-World-Caption: Qwen3.5-0.8B, C-RADIOv3-H — 물리 캡션 및 카메라 이해 중심 5

코드와 모델뿐 아니라 학습·평가 안내, 데이터셋 구축 문서, 데이터셋도 공개 릴리스에 포함됐다. 5

약 1,650만 샘플의 Puffin-16M

Puffin-16M은 상호 보완적인 두 구성으로 이뤄진 약 1,650만 샘플 규모의 카메라 중심 데이터셋으로 소개된다. 14

Puffin-Cam-15M은 약 90만 개 파노라마에서 렌더링한 약 1,500만 개의 비전·언어·카메라 트리플릿으로 구성된다. 보고된 카메라 범위는 롤과 피치가 −45°+45°, 수직 시야각이 20°105°다. 5

Puffin-Traj-1M은 도전적인 카메라 궤적 100만 개를 더한다. 프로젝트 자료는 긴 궤적, 극단적 회전, 피치·요·롤을 포함한 복합 동작을 제시하지만, 동작 유형별 정확한 수치 분포는 제공하지 않는다. 511

제공된 자료는 실내·실외, 실제·합성 이미지를 아우른다는 점은 뒷받침하지만, 장면 카테고리별 정확한 비중까지 확정하지는 않는다. 7

28개 공개 데이터셋에 추가한 카메라 자세 라벨

연구진은 Puffin-World를 활용해 28개 공개 데이터셋에 절대 롤·피치·수직 시야각 추정치를 추가했다. 단일 이미지 데이터셋 22개와 순차·3D 데이터셋 6개를 대상으로 하며, 생성된 카메라 주석은 약 4,450만 개다. 논문은 이 주석을 통해 여러 데이터셋에서 수평 카메라 편향, 전반적으로 아래를 향하는 피치, 큰 시야각 변동이 나타난다고 보고했다. 1

이 작업은 월드 모델에 장면 내용만큼 카메라 맥락도 필요하다는 점을 보여준다. 상대적 움직임 정보만으로는 카메라가 중력이나 공통 세계 좌표계에 대해 어떤 방향인지 완전히 특정할 수 없다.

벤치마크 성능: 저자 보고 수치

프로젝트는 Stanford2D3D, MegaDepth, TartanAir, LaMAR에서 총 12개 비교의 중앙값 오차 모두 최고 성능을 기록했고, 동률을 포함하면 36개 지표 중 33개 AUC에서 최고였다고 보고했다. 이는 연구진이 제시한 결과이며, 제공된 출처 안에서 독립 재현된 수치는 아니다. 5

주요 보고 수치는 다음과 같다.

• Stanford2D3D: 중앙값 롤 오차 0.29°, 피치 오차 0.53°, 수직 시야각 오차 1.62° 15
• 롤 오차: MegaDepth 0.28°, TartanAir 0.31°, LaMAR 0.26° 15
• RealEstate10K 월드 모델링: PSNR 17.22, LPIPS 0.318 5
• 중력 전파 절제 실험: PSNR은 19.87에서 20.54로 상승하고 LPIPS는 0.23에서 0.21로 하락했으며, 보고된 롤·피치 오차도 개선됐다. 5
• 도전적 궤적 벤치마크: 중앙값 롤 오차 0.80°, 피치 오차 1.10° 5

Puffin-Cam-Bench에서는 업 벡터, 위도, 중력에 관한 낮은 카메라 제어 오차도 보고됐다. 다만 별도 프로젝트 요약에는 중력 오차 1.32°가 제시된 반면 README에는 다른 중력 지표가 실려 있어, 제공된 자료만으로 두 값을 직접 비교하기는 어렵다. 45

‘물리’가 뜻하는 범위와 한계

Puffin-World에서 물리 상태는 주로 중력과 위도로 표현된다. 모든 물리 상호작용을 계산하는 범용 물리 시뮬레이터는 아니다. 공개 릴리스는 주로 정적 장면에 초점을 맞추며, 물체 간 상호작용, 움직이는 환경, 장기 시간축의 동역학 전체를 모델링한다고 주장하지 않는다. 5

따라서 Puffin-World는 변화하는 모든 물리 과정을 재현하는 완성형 시뮬레이터라기보다, 공간과 물리 기준에 더 단단히 연결된 시각 월드 모델을 향한 중요한 단계로 보는 편이 정확하다.