Hyper3D WorldGen：從單張圖片拆出可編輯的 3D 世界

Hyper3D WorldGen 是 Deemos／Hyper3D 試圖把 AI 3D 生成從「單一物件」推進到「完整可用場景」的產品。它接收一張 RGB 場景圖片，不是只產生一個外觀像真的、卻難以修改的整體外殼，而是重建為多個可分別編輯、替換與互動的 3D 資產。其技術基礎為 CAST，全名是「Component-Aligned 3D Scene Reconstruction from an RGB Image」（基於 RGB 圖像的元件對齊式 3D 場景重建），並獲得 SIGGRAPH 2025 最佳論文獎。 2 11

WorldGen 的核心承諾並非宣稱一張照片就能無誤還原現實世界中所有隱藏細節，而是提供一個能在後續製作流程中持續修改的 3D 場景起點。Hyper3D 將其定位於遊戲、影視、XR、空間運算，以及具身 AI 與機器人模擬等用途。 2

從平面圖像到有結構的 3D 場景

使用者可讓 WorldGen 自動辨識圖片中的主要物件，也可以手動框選想生成的區域；系統接著建立相應的 3D 資產，並將它們放進同一個場景中。 1 4

真正困難的部分是如何只憑單一視角，建立前後關係合理的空間配置。CAST 的研究重點在於：場景中的物件不能只是彼此無關的模型，而要能依其物理角色與互動關係共同構成一個連貫的環境。相關說明指出，系統可推測被遮擋部分的幾何結構，並判斷接觸、支撐、懸掛等關係，再把多個物件放入共用的 3D 座標框架。 4 11

以室內畫面為例，椅子、桌子、牆面與擺設不只是畫面中的像素；它們有相對位置，也有看起來合理的承托與接觸關係。這些關係若能保留下來，場景的可編輯價值就遠高於一個不可拆解的單體網格。

為何「可拆分資產」才是關鍵

WorldGen 的輸出據稱由獨立資產構成，而不是把整個場景熔成一個模型。換言之，家具或小道具原則上可以單獨選取、移動、替換、製作動畫，或加入互動邏輯，而不必重建其餘場景。 2 4

Hyper3D 將這些物件定位為 Rodin 網格資產。對創作者與開發者而言，實際吸引力在於工作流程相容性：可把生成結果當成初步場景配置，再於既有工具中完善材質、互動、動畫、關卡設計與效能表現，而非把 AI 產出當成不可修改的最終成品。 2

前景用網格、背景用 Gaussian Splatting

據報導，WorldGen 對前景或需要互動的物件採用可編輯網格（mesh），背景環境則採用 3D Gaussian Splatting。 2

這是一種務實的分工。需要被選取、重定位、動畫化或納入物理模擬的物件，網格更適合；而 3D Gaussian Splatting 可保留背景的高密度視覺資訊與沉浸感，但不代表背景也具有同等級的物件層級可編輯性。目標是在畫面觀感與製作控制之間取得平衡。

「SimReady」代表什麼，又不代表什麼

Hyper3D 表示，WorldGen 可估計比例、質量、摩擦力與碰撞相關等物理屬性，以支援模擬導向用途。這讓由照片衍生的場景，有機會成為機器人或具身 AI 實驗的初始環境。 2

但這些數值必然是從單張圖片推論而來，並非量測等級的精確資料。一張 RGB 圖像無法唯一決定物體的真實尺寸、材質係數、內部結構或質量。因此，若應用對物理準確度要求很高，團隊應將這些資料視為可修改的初始估計值，並自行驗證與校正。

可銜接既有內容製作管線

Hyper3D 表示，WorldGen 資產可匯入 Blender、Unity、PlayCanvas、Unreal Engine 與 Tuanjie Engine，進一步進行材質調整、動畫綁定、關卡設計與最佳化。 2

在影視工作流程中，概念是先以生成的 3D 場景固定鏡頭、物件與空間配置的關係，再把渲染結果或鏡頭參考交給影片生成工具。Hyper3D 認為，影片生成階段可在較穩定的空間骨架上補入表演、材質、光線與風格處理，有助於維持多鏡頭間的一致性。 2

對遊戲與 XR 而言，生成的第一眼視覺品質固然重要，但資產是否能被重排、最佳化並接上互動，往往更關鍵。對模擬用途而言，價值則在於能更快把參考圖像轉為初步具備空間與物理結構的環境。

「世界生成」不等於決策型世界模型

儘管名稱中有 WorldGen，仍不應將它與通用的決策型「世界模型」混為一談。現有資料所支持的能力，是場景層級的重建與生成：組織資產、幾何與物理關係，形成可互動的 3D 環境。 2 4

這和能可靠理解因果、預測長時間變化，並替代理規劃開放世界行動的系統不同。WorldGen 的貢獻偏向製作導向的場景結構，而不是通用具身推理。

現階段限制與評估方式

目前公開描述主要支持剛體物件的場景生成，並未證實已完整支援可動關節角色或物體、可變形材質、布料與流體模擬。CAST 相關內容也將紡織品、玻璃、光照與背景建模列為仍具挑戰的部分。 11

效能說法也應以實作測試看待。報導提到預覽可在數秒內產生、完整場景可在數分鐘內完成，並透過重要性導向的方法，先快速建立整體配置，再細化關鍵資產；不過，這些屬於公司或媒體描述，並非獨立的生產環境基準測試。 5

對有意導入的團隊，實用的驗證方法很直接：把具代表性的場景匯入目標 DCC 工具或引擎，檢查資產拆分程度與空間一致性，再衡量要達到遊戲、影視、XR 或模擬用途所需的人工清理工作量。WorldGen 的真正價值，終究取決於後續能否順利編輯與投入製作，而不只是一張圖轉成 3D 的效果。 2 4