Puffin-Worldは、ACE Robotics、南洋理工大学（NTU）のS-Lab、北京交通大学、ミシガン大学の研究者らが公開したオープンソースのマルチモーダル世界モデルです。特徴は、3D世界を物理・幾何・外観という相互に関係する3つの状態として扱う点にあります。具体的には、物理は重力方向と緯度、幾何は密な深度、外観はRGB画像で表します。これによりAIは、画像の見た目だけでなく、カメラが重力に対してどの向きにあるか、視点を動かすとどう見えるかまでを一体的に扱います。15

何が違うのか：RGB動画の生成だけではない

画像や動画を生成するモデルは、単発では自然に見える結果を出せます。しかし視点を連続的に変えたとき、地平線の位置、カメラ姿勢、空間構造まで一貫しているとは限りません。

Puffin-Worldは、次の3状態を明示的にモデル化します。15

• 物理：重力方向、緯度
• 幾何：密な深度
• 外観：RGB画像

つまり「何が写っているか」だけでなく、「カメラは世界に対してどう傾き、どのように移動するか」を扱う、カメラ中心の世界モデルです。

9チャネルのOmni-Cameraとは

中核となる条件表現が、Omni-Cameraです。これは、重力を考慮した絶対パースペクティブ場と、レイ（視線）に基づく相対幾何を組み合わせた、9チャネルの密なカメラ条件です。5

役割は大きく2つに分かれます。

• 絶対パースペクティブ場：重力に対する向きなど、カメラを物理的な基準座標へ結び付ける。
• 相対幾何：視点間の回転、並進、内部パラメータ、複合的な移動を表す。

モデルは参照ビューから推定した重力を、指定されたカメラ軌跡に沿って伝播させます。狙いは、生成視点を同じ物理基準の中に保ち、視点を順番に生成する際に起きやすい重力方向や地平線のずれを抑えることです。56

Puffin-Worldでできること

1枚の画像からカメラ姿勢を推定

理解ブランチは、1枚の入力画像から絶対的なロール、ピッチ、**垂直視野角（vertical FoV）**を推定します。その値を重力場・パースペクティブ場へ変換し、カメラ表現に利用します。5

ロールはカメラの左右の傾き、ピッチは上下の傾き、FoVは画角に相当します。これらは、画像から3D的な視点条件を読み取るための重要な情報です。

テキストまたは画像から自由視点の軌跡を生成

テキストとカメラ制御の組み合わせ、あるいは入力画像と指定軌跡から、新しい視点の画像を生成できます。制御対象は、向き、並進、内部パラメータ、ロール・ピッチ・ヨーを含む複合動作です。5

RGB-Dを生成し、3Dシーンを再構成

色画像だけではなく、軌跡に沿ってRGBと深度を同時に生成します。そのRGB-D出力を統合し、色付き3D点群として再構成できます。別のオフライン幾何パイプラインに任せず、同一フレームワーク内で再構成まで扱う設計です。5

閉ループ探索を支援

公開版には、模倣探索と自己キャリブレーションのデモも含まれます。ドキュメントでは、重力を考慮した座標枠で生成軌跡を再アンカーし、姿勢不整合の蓄積を抑える考え方が示されています。ただし、提供資料だけではドリフト補正アルゴリズムの詳細は十分に明らかではありません。現時点では、完全な制御ループの仕様というより、デモで示された能力として捉えるのが適切です。56

アーキテクチャ：理解系と拡散生成系を組み合わせる

Puffin-Worldは、幾何に整合したC-RADIO視覚エンコーダ、Qwen言語モデル、SD3.5拡散生成器、軽量コネクタで構成されます。カメラ・物理状態の自己回帰的な理解と、複数視点のRGB-D生成を担う拡散モデルを分けつつ、システム全体として統合しています。5

公開されているチェックポイントは3種類です。5

• Puffin-World-Base：Qwen2.5-7B、C-RADIOv3-H、SD3.5-medium
• Puffin-World-Pro：Qwen2.5-1.5B、C-RADIOv4-H、SD3.5-large
• Puffin-World-Caption：Qwen3.5-0.8B、C-RADIOv3-H。物理キャプションとカメラ理解に重点

コードに加え、学習・評価の手引き、データセット構築のドキュメント、モデル、データセットが公開されています。5

Puffin-16M：カメラ情報を伴う大規模データ

学習データセットのPuffin-16Mは、2つの構成要素で合計約1,650万サンプルと説明されています。14

• Puffin-Cam-15M：約90万枚のパノラマからレンダリングした約1,500万件の視覚・言語・カメラ組。ロールとピッチは−45°〜+45°、垂直FoVは20°〜105°の範囲を含みます。5
• Puffin-Traj-1M：高難度のカメラ軌跡100万本。長い軌跡、極端な回転、ピッチ・ヨー・ロールを組み合わせた動作を含みます。511

提供資料は、屋内・屋外、実写・合成画像にまたがるデータであることを示します。一方、シーン種別ごとの厳密な構成比や、軌跡の動作カテゴリ別の数的内訳は、信頼できる形では示されていません。711

28の公開データセットに約4,450万件のカメラ注釈

研究チームはPuffin-Worldを使い、28の公開データセットに絶対ロール、ピッチ、垂直FoVの推定値を追加しました。内訳は単画像データセット22件、連続画像または3Dデータセット6件で、注釈総数は約4,450万件です。1

論文では、この注釈から、水平に近いカメラで撮影されたデータへの偏り、下向きのピッチ傾向、データセット間でのFoVの大きなばらつきが見られたと報告しています。1

相対的なカメラ移動だけでは、重力や共通の世界座標に対するカメラの向きを完全には定められません。シーン内容に加え、絶対的なカメラ条件を大規模に与えることが、この取り組みの要点です。

報告されたベンチマーク結果

プロジェクト側は、Stanford2D3D、MegaDepth、TartanAir、LaMARにおける12比較すべてで中央値誤差の首位、同点を含めた36指標中33指標で最高AUCを報告しています。以下はいずれも著者側の報告値であり、提示された資料の範囲では独立再現は確認できません。5

主な数値は次の通りです。

• Stanford2D3D：ロールの中央値誤差0.29°、ピッチ0.53°、垂直FoV 1.62°。15
• ロール誤差：MegaDepthで0.28°、TartanAirで0.31°、LaMARで0.26°。15
• RealEstate10Kの世界モデリング：PSNR 17.22、LPIPS 0.318。5
• 重力伝播のアブレーション：PSNRが19.87から20.54へ上昇し、LPIPSは0.23から0.21へ低下。ロール・ピッチ誤差の改善も報告されています。5
• 高難度軌跡ベンチマーク：ロールの中央値誤差0.80°、ピッチ1.10°。5

Puffin-Cam-Benchでは、up-vector、緯度、重力に関する低い誤差も報告されています。ただし、別のプロジェクト要約には重力誤差1.32°という値がある一方、READMEには異なる重力指標が記載されており、提供資料だけでは評価定義が十分に明確ではありません。これらの値を直接比較することは避けるべきです。45

「物理」は万能の物理シミュレーターではない

Puffin-Worldにおける物理表現の中心は、重力と緯度です。完全な物理シミュレーターではなく、公開内容も主に静的シーンに焦点を当てています。物体同士の相互作用、動的な環境、長期の時間変化を包括的にモデル化するとまでは主張していません。5

その意味でPuffin-Worldは、あらゆる現象を再現する汎用シミュレーターではありません。一方で、見栄えのよいRGB生成にとどまらず、空間構造と重力に基づくカメラ条件を扱い、3D生成・再構成へつなげようとする、視覚世界モデルの重要な前進と位置付けられます。

Puffin-Worldは、ACE Robotics、南洋理工大学（NTU）のS-Lab、北京交通大学、ミシガン大学の研究者らが公開したオープンソースのマルチモーダル世界モデルです。特徴は、3D世界を物理・幾何・外観という相互に関係する3つの状態として扱う点にあります。具体的には、物理は重力方向と緯度、幾何は密な深度、外観はRGB画像で表します。これによりAIは、画像の見た目だけでなく、カメラが重力に対してどの向きにあるか、視点を動かすとどう見えるかまでを一体的に扱います。15

何が違うのか：RGB動画の生成だけではない

画像や動画を生成するモデルは、単発では自然に見える結果を出せます。しかし視点を連続的に変えたとき、地平線の位置、カメラ姿勢、空間構造まで一貫しているとは限りません。

Puffin-Worldは、次の3状態を明示的にモデル化します。15

• 物理：重力方向、緯度
• 幾何：密な深度
• 外観：RGB画像

つまり「何が写っているか」だけでなく、「カメラは世界に対してどう傾き、どのように移動するか」を扱う、カメラ中心の世界モデルです。

9チャネルのOmni-Cameraとは

中核となる条件表現が、Omni-Cameraです。これは、重力を考慮した絶対パースペクティブ場と、レイ（視線）に基づく相対幾何を組み合わせた、9チャネルの密なカメラ条件です。5

役割は大きく2つに分かれます。

• 絶対パースペクティブ場：重力に対する向きなど、カメラを物理的な基準座標へ結び付ける。
• 相対幾何：視点間の回転、並進、内部パラメータ、複合的な移動を表す。

モデルは参照ビューから推定した重力を、指定されたカメラ軌跡に沿って伝播させます。狙いは、生成視点を同じ物理基準の中に保ち、視点を順番に生成する際に起きやすい重力方向や地平線のずれを抑えることです。56

Puffin-Worldでできること

1枚の画像からカメラ姿勢を推定

理解ブランチは、1枚の入力画像から絶対的なロール、ピッチ、**垂直視野角（vertical FoV）**を推定します。その値を重力場・パースペクティブ場へ変換し、カメラ表現に利用します。5

ロールはカメラの左右の傾き、ピッチは上下の傾き、FoVは画角に相当します。これらは、画像から3D的な視点条件を読み取るための重要な情報です。

テキストまたは画像から自由視点の軌跡を生成

テキストとカメラ制御の組み合わせ、あるいは入力画像と指定軌跡から、新しい視点の画像を生成できます。制御対象は、向き、並進、内部パラメータ、ロール・ピッチ・ヨーを含む複合動作です。5

RGB-Dを生成し、3Dシーンを再構成

色画像だけではなく、軌跡に沿ってRGBと深度を同時に生成します。そのRGB-D出力を統合し、色付き3D点群として再構成できます。別のオフライン幾何パイプラインに任せず、同一フレームワーク内で再構成まで扱う設計です。5

閉ループ探索を支援

公開版には、模倣探索と自己キャリブレーションのデモも含まれます。ドキュメントでは、重力を考慮した座標枠で生成軌跡を再アンカーし、姿勢不整合の蓄積を抑える考え方が示されています。ただし、提供資料だけではドリフト補正アルゴリズムの詳細は十分に明らかではありません。現時点では、完全な制御ループの仕様というより、デモで示された能力として捉えるのが適切です。56

アーキテクチャ：理解系と拡散生成系を組み合わせる

Puffin-Worldは、幾何に整合したC-RADIO視覚エンコーダ、Qwen言語モデル、SD3.5拡散生成器、軽量コネクタで構成されます。カメラ・物理状態の自己回帰的な理解と、複数視点のRGB-D生成を担う拡散モデルを分けつつ、システム全体として統合しています。5

公開されているチェックポイントは3種類です。5

• Puffin-World-Base：Qwen2.5-7B、C-RADIOv3-H、SD3.5-medium
• Puffin-World-Pro：Qwen2.5-1.5B、C-RADIOv4-H、SD3.5-large
• Puffin-World-Caption：Qwen3.5-0.8B、C-RADIOv3-H。物理キャプションとカメラ理解に重点

コードに加え、学習・評価の手引き、データセット構築のドキュメント、モデル、データセットが公開されています。5

Puffin-16M：カメラ情報を伴う大規模データ

学習データセットのPuffin-16Mは、2つの構成要素で合計約1,650万サンプルと説明されています。14

• Puffin-Cam-15M：約90万枚のパノラマからレンダリングした約1,500万件の視覚・言語・カメラ組。ロールとピッチは−45°〜+45°、垂直FoVは20°〜105°の範囲を含みます。5
• Puffin-Traj-1M：高難度のカメラ軌跡100万本。長い軌跡、極端な回転、ピッチ・ヨー・ロールを組み合わせた動作を含みます。511

提供資料は、屋内・屋外、実写・合成画像にまたがるデータであることを示します。一方、シーン種別ごとの厳密な構成比や、軌跡の動作カテゴリ別の数的内訳は、信頼できる形では示されていません。711

28の公開データセットに約4,450万件のカメラ注釈

研究チームはPuffin-Worldを使い、28の公開データセットに絶対ロール、ピッチ、垂直FoVの推定値を追加しました。内訳は単画像データセット22件、連続画像または3Dデータセット6件で、注釈総数は約4,450万件です。1

論文では、この注釈から、水平に近いカメラで撮影されたデータへの偏り、下向きのピッチ傾向、データセット間でのFoVの大きなばらつきが見られたと報告しています。1

相対的なカメラ移動だけでは、重力や共通の世界座標に対するカメラの向きを完全には定められません。シーン内容に加え、絶対的なカメラ条件を大規模に与えることが、この取り組みの要点です。

報告されたベンチマーク結果

プロジェクト側は、Stanford2D3D、MegaDepth、TartanAir、LaMARにおける12比較すべてで中央値誤差の首位、同点を含めた36指標中33指標で最高AUCを報告しています。以下はいずれも著者側の報告値であり、提示された資料の範囲では独立再現は確認できません。5

主な数値は次の通りです。

• Stanford2D3D：ロールの中央値誤差0.29°、ピッチ0.53°、垂直FoV 1.62°。15
• ロール誤差：MegaDepthで0.28°、TartanAirで0.31°、LaMARで0.26°。15
• RealEstate10Kの世界モデリング：PSNR 17.22、LPIPS 0.318。5
• 重力伝播のアブレーション：PSNRが19.87から20.54へ上昇し、LPIPSは0.23から0.21へ低下。ロール・ピッチ誤差の改善も報告されています。5
• 高難度軌跡ベンチマーク：ロールの中央値誤差0.80°、ピッチ1.10°。5

Puffin-Cam-Benchでは、up-vector、緯度、重力に関する低い誤差も報告されています。ただし、別のプロジェクト要約には重力誤差1.32°という値がある一方、READMEには異なる重力指標が記載されており、提供資料だけでは評価定義が十分に明確ではありません。これらの値を直接比較することは避けるべきです。45

「物理」は万能の物理シミュレーターではない

Puffin-Worldにおける物理表現の中心は、重力と緯度です。完全な物理シミュレーターではなく、公開内容も主に静的シーンに焦点を当てています。物体同士の相互作用、動的な環境、長期の時間変化を包括的にモデル化するとまでは主張していません。5

その意味でPuffin-Worldは、あらゆる現象を再現する汎用シミュレーターではありません。一方で、見栄えのよいRGB生成にとどまらず、空間構造と重力に基づくカメラ条件を扱い、3D生成・再構成へつなげようとする、視覚世界モデルの重要な前進と位置付けられます。