Puffin-World 是由 ACE Robotics、南洋理工大學 S-Lab、北京交通大學與密西根大學研究人員合作推出的開源多模態世界模型。它的出發點是：若 AI 要理解或生成可供移動、探索的 3D 場景，只讓模型預測「看起來合理」的 RGB 影像並不夠；它還得知道相機相對於重力的方向、場景的深度，以及視角改變後這些資訊如何維持一致。為此，Puffin-World 將物理、幾何與外觀納入同一套模型狀態。 15

核心差異：不只是生成畫面，而是維持世界座標感

不少生成式模型能產生逼真的影像，但連續改變觀看角度時，地平線、相機姿態或空間結構不一定能穩定維持。Puffin-World 明確建模三種狀態：

• 物理狀態：重力方向與緯度；
• 幾何狀態：稠密深度；
• 外觀狀態：RGB 影像。 15

換言之，它是以相機為中心的世界模型：模型不只要回答「這個場景長什麼樣」，也要處理「相機相對於重力朝向哪裡」及「相機沿指定路徑移動後，應該看見什麼」。

Omni-Camera：9 通道相機條件如何運作？

Puffin-World 的關鍵表示法稱為 Omni-Camera。這是一種 9 通道的稠密相機條件，結合兩類互補資訊：重力感知的絕對透視場，以及以光線為基礎的相對幾何。 5

• 絕對透視場將相機錨定於物理參考座標，包含相機相對於重力的朝向。
• 相對幾何則描述不同視角之間的旋轉、平移、相機內參與複合運動。

模型會把從參考畫面推得的重力資訊，沿著指定相機軌跡傳遞。研究團隊的目標，是讓後續生成視角共享一致的物理座標框架，降低逐張生成時可能出現的重力或地平線漂移。 56

Puffin-World 可以做什麼？

從單張影像推估相機姿態

理解分支可從單張影像預測絕對橫滾角（roll）、俯仰角（pitch）與垂直視場角（vertical FoV）。這些估計值可進一步轉換為模型所需的重力與透視場資訊。 5

依文字或圖片控制自由視角

模型可依據文字提示加上相機控制條件生成視角，也能從輸入影像搭配指定的相機軌跡產生新畫面。可控制項目包括方向變化、平移、內參與複合運動，例如橫滾、俯仰與偏航。 5

同時產生 RGB 與深度，重建場景

Puffin-World 沿著軌跡聯合產生 RGB 與深度，而非只產生彩色影像；這些 RGB-D 輸出可整合成帶有顏色的 3D 點雲，不必另行交給獨立的離線幾何重建流程。 5

支援閉環探索，但細節仍有限

公開內容包含模仿探索（mimic exploration）與自我校正展示。文件將重力感知座標框架描述為重新錨定生成軌跡、抑制姿態不一致累積的工具；不過，現有公開資料未完整交代漂移修正演算法，因此較適合視為已展示的能力，而非一份完整的閉環控制機制說明。 56

架構：理解相機，再用擴散模型生成多視角 RGB-D

Puffin-World 結合幾何對齊的 C-RADIO 視覺編碼器、Qwen 語言模型、SD3.5 擴散生成器，以及輕量連接器。設計上，模型將自回歸式的相機與物理理解，和以擴散模型為主的多視角 RGB-D 生成結合在同一系統中。 5

釋出的檢查點包括：

• Puffin-World-Base：Qwen2.5-7B、C-RADIOv3-H、SD3.5-medium；
• Puffin-World-Pro：Qwen2.5-1.5B、C-RADIOv4-H、SD3.5-large；
• Puffin-World-Caption：Qwen3.5-0.8B 與 C-RADIOv3-H，主要用於物理描述與相機理解。 5

此次公開釋出也包含程式碼、訓練與評估指南、資料集建構文件、模型與資料集。 5

Puffin-16M：讓模型學會「畫面是怎麼拍出來的」

Puffin-16M 約有 1,650 萬筆樣本，由兩個互補部分組成。 14

Puffin-Cam-15M 包含約 1,500 萬組視覺—語言—相機三元組，取自約 90 萬張全景影像的渲染結果。其相機範圍涵蓋 −45° 至 +45° 的橫滾與俯仰角，以及 20° 至 105° 的垂直視場角。 5

Puffin-Traj-1M 則加入 100 萬條高難度相機軌跡。公開資料確認其中涵蓋長軌跡、極端旋轉與俯仰、偏航、橫滾等複合動作，但未提供可可靠引用的各類動作數量分布。 511

現有材料可支持資料涵蓋室內、室外、真實與合成影像；但不足以據此判定各場景類別的精確比例。 7

另為 28 個公開資料集補上相機姿態標註

團隊還利用 Puffin-World，為 28 個公開資料集補上絕對橫滾角、俯仰角與垂直視場角估計：其中包括 22 個單張影像資料集與 6 個序列或 3D 資料集，合計約 4,450 萬筆相機標註。論文指出，這些資料可看出常見的水平相機偏好、普遍朝下的俯仰角，以及不同資料集之間明顯的視場角差異。 1

這項工作的重要性在於：世界模型除了要知道畫面內容，也需要知道拍攝時的相機條件。僅靠相對移動，無法完整定義相機相對於重力或共同世界座標的方向。

作者公布的評測成績

專案方稱，在 Stanford2D3D、MegaDepth、TartanAir 與 LaMAR 四項資料集的 12 組比較中，Puffin-World 皆取得最佳中位數誤差；在計入並列的情況下，36 項 AUC 指標中有 33 項最佳。這些是作者報告的結果，本文所提供的來源未見獨立重現。 5

部分數據如下：

• Stanford2D3D：橫滾角中位數誤差 0.29°、俯仰角誤差 0.53°、垂直視場角誤差 1.62°。 15
• 橫滾角誤差：MegaDepth 為 0.28°、TartanAir 為 0.31°、LaMAR 為 0.26°。 15
• RealEstate10K 世界建模：17.22 PSNR、0.318 LPIPS。 5
• 重力傳遞消融實驗：PSNR 從 19.87 升至 20.54，LPIPS 從 0.23 降至 0.21；報告中的橫滾與俯仰誤差也有所改善。 5
• 高難度軌跡測試：橫滾角中位數誤差 0.80°、俯仰角中位數誤差 1.10°。 5

釋出資料也報告 Puffin-Cam-Bench 上的相機控制表現，包括上向量、緯度與重力的低誤差。另有專案摘要提出 1.32° 的重力誤差，但 README 使用不同的重力指標；由於現有來源未充分說明兩者定義，不能直接把這些數字互相比較。 45

它還不是完整的物理模擬器

Puffin-World 所謂的「物理」主要是重力與緯度表示，並非完整的物理模擬。釋出內容主要聚焦靜態場景，並未主張能全面模擬物件交互作用、動態環境或長時間尺度的世界演化。 5

因此，更貼切的理解是：Puffin-World 為視覺世界模型補上了相機姿態、重力參照與深度幾何這些關鍵拼圖，朝向更具空間一致性、可控制的 3D 生成與重建邁進；但它距離能模擬所有現實物理變化的通用世界模擬器，仍有一段距離。

Puffin-World 是由 ACE Robotics、南洋理工大學 S-Lab、北京交通大學與密西根大學研究人員合作推出的開源多模態世界模型。它的出發點是：若 AI 要理解或生成可供移動、探索的 3D 場景，只讓模型預測「看起來合理」的 RGB 影像並不夠；它還得知道相機相對於重力的方向、場景的深度，以及視角改變後這些資訊如何維持一致。為此，Puffin-World 將物理、幾何與外觀納入同一套模型狀態。 15

核心差異：不只是生成畫面，而是維持世界座標感

不少生成式模型能產生逼真的影像，但連續改變觀看角度時，地平線、相機姿態或空間結構不一定能穩定維持。Puffin-World 明確建模三種狀態：

• 物理狀態：重力方向與緯度；
• 幾何狀態：稠密深度；
• 外觀狀態：RGB 影像。 15

換言之，它是以相機為中心的世界模型：模型不只要回答「這個場景長什麼樣」，也要處理「相機相對於重力朝向哪裡」及「相機沿指定路徑移動後，應該看見什麼」。

Omni-Camera：9 通道相機條件如何運作？

Puffin-World 的關鍵表示法稱為 Omni-Camera。這是一種 9 通道的稠密相機條件，結合兩類互補資訊：重力感知的絕對透視場，以及以光線為基礎的相對幾何。 5

• 絕對透視場將相機錨定於物理參考座標，包含相機相對於重力的朝向。
• 相對幾何則描述不同視角之間的旋轉、平移、相機內參與複合運動。

模型會把從參考畫面推得的重力資訊，沿著指定相機軌跡傳遞。研究團隊的目標，是讓後續生成視角共享一致的物理座標框架，降低逐張生成時可能出現的重力或地平線漂移。 56

Puffin-World 可以做什麼？

從單張影像推估相機姿態

理解分支可從單張影像預測絕對橫滾角（roll）、俯仰角（pitch）與垂直視場角（vertical FoV）。這些估計值可進一步轉換為模型所需的重力與透視場資訊。 5

依文字或圖片控制自由視角

模型可依據文字提示加上相機控制條件生成視角，也能從輸入影像搭配指定的相機軌跡產生新畫面。可控制項目包括方向變化、平移、內參與複合運動，例如橫滾、俯仰與偏航。 5

同時產生 RGB 與深度，重建場景

Puffin-World 沿著軌跡聯合產生 RGB 與深度，而非只產生彩色影像；這些 RGB-D 輸出可整合成帶有顏色的 3D 點雲，不必另行交給獨立的離線幾何重建流程。 5

支援閉環探索，但細節仍有限

公開內容包含模仿探索（mimic exploration）與自我校正展示。文件將重力感知座標框架描述為重新錨定生成軌跡、抑制姿態不一致累積的工具；不過，現有公開資料未完整交代漂移修正演算法，因此較適合視為已展示的能力，而非一份完整的閉環控制機制說明。 56

架構：理解相機，再用擴散模型生成多視角 RGB-D

Puffin-World 結合幾何對齊的 C-RADIO 視覺編碼器、Qwen 語言模型、SD3.5 擴散生成器，以及輕量連接器。設計上，模型將自回歸式的相機與物理理解，和以擴散模型為主的多視角 RGB-D 生成結合在同一系統中。 5

釋出的檢查點包括：

• Puffin-World-Base：Qwen2.5-7B、C-RADIOv3-H、SD3.5-medium；
• Puffin-World-Pro：Qwen2.5-1.5B、C-RADIOv4-H、SD3.5-large；
• Puffin-World-Caption：Qwen3.5-0.8B 與 C-RADIOv3-H，主要用於物理描述與相機理解。 5

此次公開釋出也包含程式碼、訓練與評估指南、資料集建構文件、模型與資料集。 5

Puffin-16M：讓模型學會「畫面是怎麼拍出來的」

Puffin-16M 約有 1,650 萬筆樣本，由兩個互補部分組成。 14

Puffin-Cam-15M 包含約 1,500 萬組視覺—語言—相機三元組，取自約 90 萬張全景影像的渲染結果。其相機範圍涵蓋 −45° 至 +45° 的橫滾與俯仰角，以及 20° 至 105° 的垂直視場角。 5

Puffin-Traj-1M 則加入 100 萬條高難度相機軌跡。公開資料確認其中涵蓋長軌跡、極端旋轉與俯仰、偏航、橫滾等複合動作，但未提供可可靠引用的各類動作數量分布。 511

現有材料可支持資料涵蓋室內、室外、真實與合成影像；但不足以據此判定各場景類別的精確比例。 7

另為 28 個公開資料集補上相機姿態標註

團隊還利用 Puffin-World，為 28 個公開資料集補上絕對橫滾角、俯仰角與垂直視場角估計：其中包括 22 個單張影像資料集與 6 個序列或 3D 資料集，合計約 4,450 萬筆相機標註。論文指出，這些資料可看出常見的水平相機偏好、普遍朝下的俯仰角，以及不同資料集之間明顯的視場角差異。 1

這項工作的重要性在於：世界模型除了要知道畫面內容，也需要知道拍攝時的相機條件。僅靠相對移動，無法完整定義相機相對於重力或共同世界座標的方向。

作者公布的評測成績

專案方稱，在 Stanford2D3D、MegaDepth、TartanAir 與 LaMAR 四項資料集的 12 組比較中，Puffin-World 皆取得最佳中位數誤差；在計入並列的情況下，36 項 AUC 指標中有 33 項最佳。這些是作者報告的結果，本文所提供的來源未見獨立重現。 5

部分數據如下：

• Stanford2D3D：橫滾角中位數誤差 0.29°、俯仰角誤差 0.53°、垂直視場角誤差 1.62°。 15
• 橫滾角誤差：MegaDepth 為 0.28°、TartanAir 為 0.31°、LaMAR 為 0.26°。 15
• RealEstate10K 世界建模：17.22 PSNR、0.318 LPIPS。 5
• 重力傳遞消融實驗：PSNR 從 19.87 升至 20.54，LPIPS 從 0.23 降至 0.21；報告中的橫滾與俯仰誤差也有所改善。 5
• 高難度軌跡測試：橫滾角中位數誤差 0.80°、俯仰角中位數誤差 1.10°。 5

釋出資料也報告 Puffin-Cam-Bench 上的相機控制表現，包括上向量、緯度與重力的低誤差。另有專案摘要提出 1.32° 的重力誤差，但 README 使用不同的重力指標；由於現有來源未充分說明兩者定義，不能直接把這些數字互相比較。 45

它還不是完整的物理模擬器

Puffin-World 所謂的「物理」主要是重力與緯度表示，並非完整的物理模擬。釋出內容主要聚焦靜態場景，並未主張能全面模擬物件交互作用、動態環境或長時間尺度的世界演化。 5

因此，更貼切的理解是：Puffin-World 為視覺世界模型補上了相機姿態、重力參照與深度幾何這些關鍵拼圖，朝向更具空間一致性、可控制的 3D 生成與重建邁進；但它距離能模擬所有現實物理變化的通用世界模擬器，仍有一段距離。