คำตอบเผยแพร่แล้ว16 แหล่งที่มา
Puffin-World: เมื่อ AI ไม่ได้แค่สร้างภาพ แต่เข้าใจทิศแรงโน้มถ่วงและโครงสร้าง 3 มิติ
Puffin World เป็นโมเดลโลกที่ยึดกล้องเป็นศูนย์กลาง โดยแทนสถานะฟิสิกส์ที่อิงแรงโน้มถ่วง ความลึกหนาแน่น และภาพ RGB ร่วมกัน แทนการทำนายพิกเซลวิดีโอเพียงอย่างเดียว โครงการเปิดโค้ด โมเดล 3 รุ่น และชุดข้อมูล Puffin 16M ซึ่งประกอบด้วยทริปเปิลภาพ ภาษา กล้องราว 15 ล้านชุด กับเส้นทางกล้องที่ท้าทาย 1 ล้านเส้นทาง ตัวเลขเบนช์มาร์...
เผยแพร่โดยแก้ไขด้วย GPT-5.6 Terraรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- Puffin World เป็นโมเดลโลกที่ยึดกล้องเป็นศูนย์กลาง โดยแทนสถานะฟิสิกส์ที่อิงแรงโน้มถ่วง ความลึกหนาแน่น และภาพ RGB ร่วมกัน แทนการทำนายพิกเซลวิดีโอเพียงอย่างเดียว
- โครงการเปิดโค้ด โมเดล 3 รุ่น และชุดข้อมูล Puffin 16M ซึ่งประกอบด้วยทริปเปิลภาพ ภาษา กล้องราว 15 ล้านชุด กับเส้นทางกล้องที่ท้าทาย 1 ล้านเส้นทาง
- ตัวเลขเบนช์มาร์กเป็นผลที่ผู้พัฒนารายงานเอง: บน Stanford2D3D โมเดลรายงานค่าคลาดเคลื่อนมัธยฐาน roll 0.29°، pitch 0.53° และมุมมองแนวตั้ง 1.62°
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Puffin-World, the open-source multimodal world model developed by ACE Robotics, NTU S-Lab, Beijing Jiaotong University, and the Univ. Article summary: Puffin-World is an open-source, camera-centric multimodal world model that treats a world not merely as RGB video, but as three jointly modeled native states: gravity-aware physics, dense 3D geometry, and visual appearan. Topic tags: general, academic, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
Puffin-World คือโมเดลโลกหลายรูปแบบ (multimodal world model) แบบโอเพนซอร์สจากนักวิจัยที่เกี่ยวข้องกับ ACE Robotics, S-Lab แห่งมหาวิทยาลัยเทคโนโลยีนันยาง (NTU), มหาวิทยาลัย Beijing Jiaotong และมหาวิทยาลัยมิชิแกน จุดต่างสำคัญคือไม่ได้มองโลกเป็นเพียงลำดับภาพ RGB ที่ต้องสร้างให้ “ดูสมจริง” แต่จำลองสถานะของโลก 3 ส่วนควบคู่กัน ได้แก่ ฟิสิกส์, เรขาคณิต และ ลักษณะปรากฏของภาพ 1
5
แนวคิดนี้ทำให้ AI ต้องตอบได้มากกว่า “ภาพนี้มีอะไร” แต่ต้องเข้าใจด้วยว่ากล้องเอียงหรือหันอย่างไรเมื่อเทียบกับแรงโน้มถ่วง และหากกล้องเคลื่อนที่ไปตามเส้นทางที่กำหนด ภาพกับโครงสร้าง 3 มิติของฉากควรเปลี่ยนไปอย่างไร
หัวใจของโมเดล: ฟิสิกส์ + ความลึก + ภาพ RGB
Puffin-World แทนโลกผ่านสถานะหลัก 3 ชนิด ได้แก่
โมเดลสร้างภาพจำนวนมากทำภาพเดี่ยวให้ดูน่าเชื่อได้ แต่ไม่ได้หมายความว่าขอบฟ้า ตำแหน่งกล้อง หรือรูปร่าง 3 มิติจะคงเสถียรเมื่อเปลี่ยนมุมมอง Puffin-World จึงทำให้ข้อมูลกล้องและความสัมพันธ์กับแรงโน้มถ่วงเป็นส่วนหนึ่งของการแทนโลกโดยตรง
Omni-Camera 9 แชนเนล ทำงานอย่างไร
แกนหลักของระบบคือการแทนเงื่อนไขกล้องชื่อ Omni-Camera ซึ่งเป็นข้อมูลกล้องแบบหนาแน่น 9 แชนเนล โดยรวมข้อมูลสองส่วนเข้าด้วยกัน 5
- absolute perspective field ที่รับรู้แรงโน้มถ่วง ใช้ยึดกล้องเข้ากับกรอบอ้างอิงทางกายภาพ เช่น การวางแนวเทียบกับแรงโน้มถ่วง
- relative geometry ที่อิงรังสีภาพ ใช้ระบุการหมุน การเลื่อนตำแหน่ง พารามิเตอร์ภายในกล้อง (intrinsics) และการเคลื่อนไหวผสมระหว่างมุมมอง
ระบบจะส่งต่อข้อมูลแรงโน้มถ่วงที่อนุมานจากภาพอ้างอิงไปตามเส้นทางกล้องที่ผู้ใช้ขอ เป้าหมายคือทำให้มุมมองที่สร้างขึ้นอยู่ในกรอบกายภาพเดียวกัน และลดอาการทิศแรงโน้มถ่วงหรือเส้นขอบฟ้าค่อย ๆ เพี้ยนเมื่อสร้างภาพหลายมุมต่อเนื่องกัน 5
6
Puffin-World ทำอะไรได้บ้าง
ประเมินท่ากล้องจากภาพเดียว
จากภาพหนึ่งภาพ ส่วนทำความเข้าใจของโมเดลจะทำนายค่า roll (การเอียงซ้าย-ขวา), pitch (การก้ม-เงย) และมุมมองแนวตั้งหรือ vertical field of view (FoV) แบบสัมบูรณ์ ก่อนแปลงเป็นฟิลด์แรงโน้มถ่วงและมุมมองที่ใช้ในตัวแทนกล้องของระบบ 5
สร้างมุมมองอิสระตามเส้นทางกล้อง
Puffin-World สร้างภาพจากข้อความพร้อมคำสั่งกล้อง หรือจากภาพต้นทางพร้อมเส้นทางกล้องที่ระบุไว้ได้ ควบคุมได้ทั้งการหมุน การเลื่อนตำแหน่ง intrinsics และการเคลื่อนไหวผสม รวมถึง roll, pitch และ yaw 5
สร้าง RGB-D และประกอบฉาก 3 มิติ
แทนที่จะสร้างเฉพาะภาพสี โมเดลสร้าง RGB และความลึกไปพร้อมกันตลอดเส้นทางกล้อง จากนั้นจึงรวมผลลัพธ์ RGB-D เป็นพอยต์คลาวด์ 3 มิติที่มีสี โดยไม่ต้องพึ่งระบบสร้างเรขาคณิตแบบออฟไลน์แยกต่างหาก 5
รองรับการสำรวจแบบวงจรปิด
รีลีสสาธารณะมีเดโมการสำรวจเลียนแบบ (mimic exploration) และการปรับเทียบตัวเอง (self-calibration) เอกสารอธิบายว่ากรอบอ้างอิงที่อิงแรงโน้มถ่วงช่วยยึดเส้นทางที่สร้างใหม่ให้อยู่กับที่ และลดความไม่สอดคล้องของท่ากล้องที่สะสมขึ้นได้ อย่างไรก็ดี เอกสารที่เปิดเผยยังไม่ได้ลงรายละเอียดอัลกอริทึมแก้ drift อย่างครบถ้วน จึงควรมองว่านี่คือความสามารถที่สาธิตไว้ ไม่ใช่คำอธิบายเต็มรูปแบบของกลไกควบคุมวงจรปิด 5
6
สถาปัตยกรรม: เข้าใจกล้อง แล้วใช้ diffusion สร้างโลก
Puffin-World รวม vision encoder ที่สอดคล้องกับเรขาคณิตชื่อ C-RADIO, โมเดลภาษา Qwen, ตัวสร้างแบบ diffusion SD3.5 และตัวเชื่อมต่อขนาดเล็กเข้าด้วยกัน การออกแบบนี้แยกงานทำความเข้าใจกล้องและสถานะฟิสิกส์แบบ autoregressive ออกจากการสร้าง RGB-D หลายมุมมองด้วย diffusion แต่ยังทำงานในระบบเดียวกัน 5
รีลีสระบุเช็กพอยต์ 3 รุ่น ได้แก่
- Puffin-World-Base: Qwen2.5-7B, C-RADIOv3-H และ SD3.5-medium
- Puffin-World-Pro: Qwen2.5-1.5B, C-RADIOv4-H และ SD3.5-large
- Puffin-World-Caption: Qwen3.5-0.8B และ C-RADIOv3-H สำหรับ physical caption และการทำความเข้าใจกล้องเป็นหลัก
5
โครงการยังเปิดโค้ด เอกสารการฝึกและประเมินผล เอกสารการสร้างชุดข้อมูล โมเดล และชุดข้อมูลด้วย 5
Puffin-16M: ข้อมูลขนาดใหญ่ที่รู้บริบทของกล้อง
ชุดข้อมูล Puffin-16M ระบุว่ามีตัวอย่างรวมราว 16.5 ล้านรายการ แบ่งเป็นสองส่วนที่เสริมกัน 14
Puffin-Cam-15M มีทริปเปิลภาพ-ภาษา-กล้องประมาณ 15 ล้านชุด ซึ่งเรนเดอร์จากภาพพาโนรามาราว 900,000 ภาพ ช่วง roll และ pitch ที่รายงานครอบคลุม −45° ถึง +45° ส่วน vertical FoV อยู่ระหว่าง 20° ถึง 105° 5
Puffin-Traj-1M เพิ่มเส้นทางกล้องที่ท้าทาย 1 ล้านเส้นทาง เอกสารโครงการระบุว่ามีเส้นทางยาว การหมุนสุดขั้ว และการเคลื่อนไหวผสม เช่น pitch, yaw และ roll แต่ยังไม่มีการแจกแจงเชิงตัวเลขที่เชื่อถือได้ว่าแต่ละประเภทการเคลื่อนไหวมีสัดส่วนเท่าใด 5
11
ข้อมูลที่ให้มาสนับสนุนว่าชุดข้อมูลครอบคลุมภาพในอาคาร กลางแจ้ง ภาพจริง และภาพสังเคราะห์ แต่ยังไม่เพียงพอที่จะสรุปสัดส่วนของแต่ละหมวดหมู่ฉากอย่างแม่นยำ 7
เติมป้ายกำกับท่ากล้องให้ข้อมูลสาธารณะ 44.5 ล้านรายการ
ทีมยังใช้ Puffin-World เพิ่มค่าประมาณ roll, pitch และ vertical FoV แบบสัมบูรณ์ให้ชุดข้อมูลสาธารณะ 28 ชุด แบ่งเป็นชุดภาพเดี่ยว 22 ชุด และชุดข้อมูลลำดับภาพหรือ 3 มิติ 6 ชุด รวมเป็นป้ายกำกับกล้องราว 44.5 ล้านรายการ 1
บทความวิจัยรายงานว่าป้ายกำกับเหล่านี้เผยให้เห็นอคติของข้อมูลที่มักถ่ายกล้องในแนวระดับ ค่า pitch ที่มักก้มลง และความหลากหลายของ FoV อย่างมากระหว่างชุดข้อมูล การมีข้อมูลบริบทของกล้องมีความสำคัญ เพราะการรู้เพียงการเคลื่อนไหวสัมพัทธ์ระหว่างเฟรมยังไม่พอจะบอกได้ว่ากล้องหันไปทางใดเทียบกับแรงโน้มถ่วงหรือกรอบอ้างอิงร่วมของโลก
ผลเบนช์มาร์กที่ทีมรายงาน
โครงการรายงานว่าทำค่าความคลาดเคลื่อนมัธยฐานดีที่สุดในทั้ง 12 การเปรียบเทียบบน Stanford2D3D, MegaDepth, TartanAir และ LaMAR รวมถึงมีค่า AUC ดีที่สุด 33 จาก 36 เมตริกที่รายงานเมื่อนับกรณีเสมอ ผลเหล่านี้เป็นตัวเลขที่ผู้พัฒนารายงานเอง และยังไม่มีการทำซ้ำโดยอิสระในแหล่งข้อมูลที่ให้มา 5
ตัวเลขที่คัดมาได้แก่
- Stanford2D3D: ค่าคลาดเคลื่อนมัธยฐานของ roll 0.29°, pitch 0.53° และ vertical FoV 1.62°
1
- ค่าคลาดเคลื่อน roll: 0.28° บน MegaDepth, 0.31° บน TartanAir และ 0.26° บน LaMAR
- การสร้างโมเดลโลกบน RealEstate10K: 17.22 PSNR และ 0.318 LPIPS
- การทดสอบตัดส่วน gravity propagation: PSNR เพิ่มจาก 19.87 เป็น 20.54 ขณะที่ LPIPS ลดจาก 0.23 เป็น 0.21 และค่าคลาดเคลื่อน roll กับ pitch ดีขึ้นด้วย
- เบนช์มาร์กเส้นทางที่ท้าทาย: ค่าคลาดเคลื่อนมัธยฐาน roll 0.80° และ pitch 1.10°
รีลีสยังรายงานผลการควบคุมกล้องบน Puffin-Cam-Bench ที่ดี รวมถึงค่าคลาดเคลื่อนต่ำสำหรับ up-vector, latitude และ gravity อย่างไรก็ตาม สรุปโครงการอีกแหล่งระบุค่า gravity error 1.32° ขณะที่ README ระบุเมตริก gravity ที่ต่างกัน และแหล่งข้อมูลที่มีไม่ชัดพอจะถือว่าตัวเลขเหล่านี้เทียบกันตรง ๆ ได้ 4
5
ข้อจำกัด: ยังไม่ใช่เครื่องจำลองฟิสิกส์ทั่วไป
คำว่า “ฟิสิกส์” ใน Puffin-World หมายถึงการแทนแรงโน้มถ่วงและละติจูดเป็นหลัก ไม่ใช่ระบบจำลองฟิสิกส์ครบถ้วน รีลีสเน้นฉากคงที่เป็นส่วนใหญ่ และไม่ได้อ้างว่าสามารถจำลองปฏิสัมพันธ์ของวัตถุ สภาพแวดล้อมที่เคลื่อนไหว หรือพลวัตระยะยาวได้ทั้งหมด 5
ดังนั้น Puffin-World จึงควรถูกมองว่าเป็นก้าวสำคัญสู่โมเดลภาพที่เข้าใจพื้นที่และยึดโยงกับโลกกายภาพได้ดีขึ้น ไม่ใช่เครื่องจำลองทุกกระบวนการทางกายภาพแบบอเนกประสงค์ในตอนนี้
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "Puffin-World: เมื่อ AI ไม่ได้แค่สร้างภาพ แต่เข้าใจทิศแรงโน้มถ่วงและโครงสร้าง 3 มิติ" คืออะไร
Puffin World เป็นโมเดลโลกที่ยึดกล้องเป็นศูนย์กลาง โดยแทนสถานะฟิสิกส์ที่อิงแรงโน้มถ่วง ความลึกหนาแน่น และภาพ RGB ร่วมกัน แทนการทำนายพิกเซลวิดีโอเพียงอย่างเดียว
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
Puffin World เป็นโมเดลโลกที่ยึดกล้องเป็นศูนย์กลาง โดยแทนสถานะฟิสิกส์ที่อิงแรงโน้มถ่วง ความลึกหนาแน่น และภาพ RGB ร่วมกัน แทนการทำนายพิกเซลวิดีโอเพียงอย่างเดียว โครงการเปิดโค้ด โมเดล 3 รุ่น และชุดข้อมูล Puffin 16M ซึ่งประกอบด้วยทริปเปิลภาพ ภาษา กล้องราว 15 ล้านชุด กับเส้นทางกล้องที่ท้าทาย 1 ล้านเส้นทาง
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
ตัวเลขเบนช์มาร์กเป็นผลที่ผู้พัฒนารายงานเอง: บน Stanford2D3D โมเดลรายงานค่าคลาดเคลื่อนมัธยฐาน roll 0.29°، pitch 0.53° และมุมมองแนวตั้ง 1.62°
แหล่งที่มา
kangliao929.github.ioPuffin-World · Scaling with Native 3D World States