PhiZero ใช้แนวคิด “คิดก่อน แล้วค่อยเรนเดอร์” โดยทำนายการเปลี่ยนแปลงของฉากเป็นโทเคนภาษากายภาพ ก่อนสร้างวิดีโออนาคต ตัวเข้ารหัสถูกออกแบบให้เน้นการเปลี่ยนสถานะและปฏิสัมพันธ์ แทนการเข้ารหัสพื้นผิว แสง และฉากหลังซ้ำ ๆ วิดีโอความยาวราว 4 วินาที 33 เฟรม ใช้โทเคนภาษากายภาพ 256 โทเคน เทียบกับ 44,800 โทเคนภาพแบบต่อเนื่องของ W...
เผยแพร่โดยแก้ไขด้วย GPT-5.6 Lunaรูปภาพสร้างด้วย GPT Image 1.5
คำตอบการวิจัย

Create a landscape editorial hero image for this Studio Global article: What is CASIA’s PhiZero world model, published in the August 21, 2026 arXiv paper “PhiZero: A World Model Built Around Physical Language,” h. Article summary: PhiZero is CASIA’s proposed “reason-then-render” world model: it first represents predicted world-state changes as a short sequence of learned discrete “physical-language” tokens, then renders those changes into video. I. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
PhiZero เป็นโมเดลโลก (world model) ที่นักวิจัยจากสถาบันอัตโนมัติแห่งสถาบันบัณฑิตวิทยาศาสตร์จีน หรือ CASIA เสนอขึ้น โดยมีแกนกลางเป็นตัวแทนแบบไม่ต่อเนื่องที่เรียนรู้ขึ้นเอง ซึ่งเรียกว่า “ภาษากายภาพ” (physical language)
แทนที่จะทำนายทุกเฟรมในอนาคตโดยตรงบนพื้นที่พิกเซลที่มีมิติสูง PhiZero จะเริ่มจากการคาดการณ์ว่า “สถานะของโลกเปลี่ยนไปอย่างไร” จากนั้นจึงนำการเปลี่ยนแปลงนั้นไปสร้างเป็นวิดีโอ 1
2
การแบ่งงานเช่นนี้พยายามแก้จุดอ่อนสำคัญของการทำนายวิดีโอในระดับพิกเซล เพราะรูปลักษณ์กับพลวัตของฉากมักปะปนกัน โมเดลอาจสร้างพื้นผิว แสง และฉากหลังได้สมจริง แต่กลับคาดการณ์การเคลื่อนที่หรือปฏิสัมพันธ์ผิดพลาด PhiZero จึงทำให้ “พลวัต” เป็นสิ่งที่ต้องใช้เหตุผลโดยตรง ส่วน “รูปลักษณ์” ถูกแยกไว้เป็นงานเรนเดอร์ภายหลัง 1
2
PhiZero ใช้กระบวนการแบบ reason-then-render หรือ “ให้เหตุผลก่อน แล้วจึงสร้างภาพ” ดังนี้
แม้จะใช้คำว่า “ภาษา” แต่ภาษากายภาพนี้ไม่ใช่คำศัพท์หรือประโยคที่มนุษย์อ่านแล้วเข้าใจได้ทันที หากเป็นสัญลักษณ์ที่โมเดลเรียนรู้จากวิดีโอจริงจำนวนมากด้วยการเรียนรู้แบบกำกับตนเอง โดยรูปแบบของโทเคนมุ่งแทนการเปลี่ยนแปลงของฉาก เช่น การเคลื่อนที่และการปฏิสัมพันธ์ มากกว่าการบรรยายว่าแต่ละเฟรมมีหน้าตาอย่างไร 1
2
3
สรุปบทบาทของแต่ละส่วนได้ว่า
เฟรมแรก = ฉากมีหน้าตาอย่างไร; โทเคนภาษากายภาพ = ฉากเปลี่ยนแปลงอย่างไร; ตัวถอดรหัส = นำการเปลี่ยนแปลงนั้นมาแสดงเป็นภาพ
ตัวทำโทเคนของ PhiZero ประมวลผลวิวัฒนาการตามเวลาของวิดีโอ แทนที่จะมองเฟรมปลายทางแต่ละเฟรมเป็นเป้าหมายด้านภาพที่แยกขาดจากกัน คอขวดแบบใช้คิวรี (query-based bottleneck) ของ Q-Former จะดึงคุณลักษณะระดับการเปลี่ยนผ่านที่มีขนาดกะทัดรัดออกมา โดยให้น้ำหนักกับการเปลี่ยนแปลงของสถานะมากกว่ารายละเอียดทางภาพทุกจุด 1
นี่คือจุดต่างจากตัวเข้ารหัสวิดีโอทั่วไป เพราะตัวแทนดังกล่าวพยายามเก็บว่า “สถานะหนึ่งเปลี่ยนไปเป็นอีกสถานะหนึ่งอย่างไร” ไม่ใช่ส่งต่อข้อมูลคงที่ซ้ำ ๆ เช่น พื้นผิวของวัตถุหรือฉากหลัง
คุณลักษณะการเปลี่ยนผ่านที่ยังเป็นค่าต่อเนื่องจะถูกส่งผ่าน finite scalar quantization หรือ FSQ เพื่อแปลงเป็นดัชนีแบบไม่ต่อเนื่อง ผลลัพธ์คือคลังสัญลักษณ์จำกัดที่ทำหน้าที่เป็น “ภาษากายภาพ” ของ PhiZero 1
2
เมื่อผลลัพธ์อยู่ในรูปแบบไม่ต่อเนื่อง โมเดลให้เหตุผลลักษณะเดียวกับโมเดลภาษา ก็สามารถทำนายลำดับโทเคนแบบอัตถดถอย (autoregressive) ได้ โมเดลจึงต้องประกอบเส้นทางการเปลี่ยนแปลงสั้น ๆ จากโทเคนเหล่านี้ แทนการทำนายสตรีมโทเคนภาพแฝงจำนวนมากกว่าอย่างมีนัยสำคัญ
อย่างไรก็ตาม คำว่า “ภาษา” สื่อถึงบทบาทของตัวแทนนี้ในฐานะลำดับสั้น ๆ ที่โมเดลใช้คิดและคาดการณ์ ไม่ได้หมายความว่าโทเคนแต่ละตัวจะตีความได้ตรงตัวว่าเป็นแนวคิดอย่าง “แรงโน้มถ่วง” หรือ “เลี้ยวซ้าย”
ตัวถอดรหัสของ PhiZero รับเฟรมแรกที่ยังคมชัดเป็นข้อมูลตั้งต้นด้านรูปลักษณ์ความถี่สูง เฟรมนี้ให้บริบทเกี่ยวกับพื้นผิว แสง อัตลักษณ์ของวัตถุ และฉากหลัง ขณะที่ลำดับภาษากายภาพจะบอกว่าหลังจากนั้นควรเกิดการเปลี่ยนแปลงอะไร ตัวถอดรหัสจึงสร้างรายละเอียดภาพที่จำเป็นสำหรับวิดีโอผลลัพธ์ 2
การแบ่งงานนี้ช่วยไม่ให้โทเคนการเปลี่ยนผ่านต้องใช้ความจุไปกับการเข้ารหัสรายละเอียดทุกอย่างของภาพ เพราะเฟรมแรกทำหน้าที่เป็นแหล่งข้อมูลด้านรูปลักษณ์อยู่แล้ว
กระบวนการฝึกที่รายงานยังใช้ช่วงอุ่นเครื่องด้วยอินพุตที่เป็นสัญญาณรบกวนล้วน เพื่อไม่ให้ตัวถอดรหัสพึ่งพาข้อมูลจากเฟรมอนาคตที่ยังหลงเหลืออยู่บางส่วนระหว่างเรียนรู้การสร้างภาพ แต่ต้องอาศัยเฟรมแรกและบริบทจากภาษากายภาพเป็นหลัก 2
สำหรับคลิปความยาวประมาณ 4 วินาที หรือ 33 เฟรม งานวิจัยรายงานว่า PhiZero ใช้ตัวแทนเป็น โทเคนภาษากายภาพแบบไม่ต่อเนื่อง 256 โทเคน จากคลังที่มีสัญลักษณ์เป็นไปได้ราว 25,000 รายการ ขณะที่ตัวแทนจาก Wan2.2 VAE ใช้ โทเคนภาพแบบต่อเนื่อง 44,800 โทเคน 1
เมื่อเทียบกันในแง่ความยาวของลำดับ ตัวแทนของ PhiZero ลดลงประมาณ 175 เท่า และยังคงคุณภาพการสร้างภาพกลับคืนในระดับที่แข่งขันได้ 1
แต่ตัวเลข 175 เท่านี้ควรอ่านอย่างระมัดระวัง เพราะเป็นการเปรียบเทียบจำนวนโทเคนตัวแทน ไม่ใช่การยืนยันว่าขนาดไฟล์ หน่วยความจำ เวลาแฝง หรือค่าใช้จ่ายในการอนุมานแบบครบวงจรจะลดลง 175 เท่า PhiZero ยังต้องใช้ตัวถอดรหัส diffusion หรือ flow-matching ขนาดใหญ่พอสมควร รวมถึงต้องมีเฟรมภาพเริ่มต้นเพื่อสร้างคลิป ดังนั้นข้อสรุปที่ตรงที่สุดคือ นี่เป็นผลลัพธ์ด้าน การยกระดับนามธรรมและการบีบอัดพื้นที่สำหรับการให้เหตุผล มากกว่าคำรับรองเรื่องความเร็วหรือค่าใช้จ่ายฮาร์ดแวร์ 1
2
ระบบที่ทำงานในโลกจริงอาจใช้ลำดับการเปลี่ยนผ่านขนาดกะทัดรัดเพื่อคาดการณ์ผลของการกระทำ ก่อนจะสร้างภาพจำลองที่มีรายละเอียดสูงหรือก่อนลงมือทำจริง แนวทางนี้อาจช่วยจัดโครงสร้างการวางแผนและการจำลองแบบมีเงื่อนไขด้วยการกระทำ โดยเฉพาะเมื่อพลวัตเดียวกันควรถ่ายโอนไปใช้กับฉากหรือรูปแบบภาพที่แตกต่างกัน โครงการระบุถึงการประยุกต์ใช้ด้านโมเดลโลกแบบโต้ตอบ การจำลองที่มีการกระทำเป็นเงื่อนไข และการถ่ายโอนการเคลื่อนไหว 2
4
ประโยชน์ที่เป็นไปได้ไม่ได้หมายความว่าหุ่นยนต์จะมีทฤษฎีฟิสิกส์ที่สมบูรณ์ขึ้นมาโดยอัตโนมัติ แต่คือโมเดลมีเป้าหมายขั้นกลางที่แคบและชัดกว่า นั่นคือการแทนและประกอบการเปลี่ยนแปลงที่เป็นไปได้ของโลก ก่อนใช้ทรัพยากรคำนวณไปกับรายละเอียดทางภาพ
การแยกส่วนเช่นนี้อาจมีความเกี่ยวข้องกับสถานการณ์บนท้องถนน ซึ่งสิ่งสำคัญในการคาดการณ์อาจเป็นพฤติกรรมที่เปลี่ยนไปตามเวลา เช่น รถเบรก รถเคลื่อนตัว คนเดินถนนข้ามถนน หรือผู้ใช้ถนนหลีกทางให้กัน มากกว่าพื้นผิวถนนหรือสภาพแสงที่แน่นอนในภาพจากกล้อง
อย่างไรก็ดี นี่เป็นนัยเชิงสถาปัตยกรรม ไม่ใช่หลักฐานว่า PhiZero พร้อมใช้งานในระบบขับขี่ที่มีความเสี่ยงสูง วิดีโอที่ถอดรหัสออกมาอาจดูต่อเนื่องและสมจริง แต่ยังมีเส้นทางการเคลื่อนที่ที่ผิดได้ อีกทั้งโทเคนที่เรียนรู้ขึ้นเองก็ไม่ได้เป็นตัวแปรสถานะทางฟิสิกส์ที่มนุษย์ตีความหรือตรวจสอบได้โดยเนื้อแท้
ตัวแทนภาพแบบดั้งเดิมมีลักษณะใกล้เคียงสตรีมวิดีโอที่ถูกบีบอัด คือเก็บข้อมูลมากพอให้สร้างเฟรมกลับคืนได้ ส่วน PhiZero มุ่งไปสู่อะไรที่คล้ายโปรแกรมขนาดกะทัดรัดซึ่งอธิบายเส้นทางการเปลี่ยนแปลง โดยลำดับภาษากายภาพเป็นวัตถุขั้นกลางที่โมเดลเหตุผลจากภาพและภาษาทำนาย จากนั้นตัวถอดรหัสจึงแปลงเส้นทางนามธรรมนั้นกลับเป็นพิกเซล 1
2
4
การเปลี่ยนมุมมองนี้อาจทำให้การให้เหตุผลของโมเดลโลกนำกลับมาใช้ประกอบกันได้ง่ายขึ้น ระบบอาจจัดการ เปรียบเทียบ หรือถ่ายโอนรูปแบบการเปลี่ยนผ่านโดยไม่ต้องสร้างรายละเอียดภาพทั้งหมดขึ้นมาใหม่ทุกครั้ง แต่ข้อได้เปรียบดังกล่าวจะเกิดขึ้นในวงกว้างเพียงใด ยังขึ้นอยู่กับว่าตัวแทนที่เรียนรู้สามารถเก็บพลวัตสำคัญต่อแต่ละงานได้ดีแค่ไหน
PhiZero เสนอวิธีที่เป็นรูปธรรมในการทำให้พลวัตเป็นคอขวดหลักของโมเดลโลก โดยเรียนรู้ตัวแทนการเปลี่ยนผ่านแบบไม่ต่อเนื่อง คาดการณ์ตัวแทนเหล่านั้นจากฉากเริ่มต้นและเจตนาการกระทำ แล้วค่อยเรนเดอร์ผลลัพธ์ออกมาเป็นวิดีโอ การเปรียบเทียบ 256 โทเคนกับ 44,800 โทเคนแสดงให้เห็นว่าเหตุใดนามธรรมลักษณะนี้จึงน่าสนใจ 1
แต่แนวทางนี้ยังไม่ได้พิสูจน์ว่าโมเดลเข้าใจฟิสิกส์ได้อย่างสมบูรณ์ คลังโทเคนอาจจับรูปแบบที่มีประโยชน์ได้โดยไม่สอดคล้องโดยตรงกับตัวแปรทางกายภาพ และความสมจริงของวิดีโอก็ไม่ใช่หลักประกันว่าการคาดการณ์สถานะโลกถูกต้อง
ข้อสรุปที่รัดกุมที่สุดคือ PhiZero เป็นสถาปัตยกรรมการวิจัยที่น่าสนใจสำหรับการแยก “ฉากคืออะไร” ออกจาก “ฉากเปลี่ยนแปลงอย่างไร” โดยให้โมเดลคิดถึงเส้นทางการเปลี่ยนสถานะก่อน แล้วจึงปล่อยให้ระบบสร้างภาพออกมา
Studio Global AI
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
PhiZero ใช้แนวคิด “คิดก่อน แล้วค่อยเรนเดอร์” โดยทำนายการเปลี่ยนแปลงของฉากเป็นโทเคนภาษากายภาพ ก่อนสร้างวิดีโออนาคต
PhiZero ใช้แนวคิด “คิดก่อน แล้วค่อยเรนเดอร์” โดยทำนายการเปลี่ยนแปลงของฉากเป็นโทเคนภาษากายภาพ ก่อนสร้างวิดีโออนาคต ตัวเข้ารหัสถูกออกแบบให้เน้นการเปลี่ยนสถานะและปฏิสัมพันธ์ แทนการเข้ารหัสพื้นผิว แสง และฉากหลังซ้ำ ๆ
วิดีโอความยาวราว 4 วินาที 33 เฟรม ใช้โทเคนภาษากายภาพ 256 โทเคน เทียบกับ 44,800 โทเคนภาพแบบต่อเนื่องของ Wan2.2 VAE หรือลดความยาวลำดับประมาณ 175 เท่า
PhiZero ใช้แนวคิด “คิดก่อน แล้วค่อยเรนเดอร์” โดยทำนายการเปลี่ยนแปลงของฉากเป็นโทเคนภาษากายภาพ ก่อนสร้างวิดีโออนาคต ตัวเข้ารหัสถูกออกแบบให้เน้นการเปลี่ยนสถานะและปฏิสัมพันธ์ แทนการเข้ารหัสพื้นผิว แสง และฉากหลังซ้ำ ๆ วิดีโอความยาวราว 4 วินาที 33 เฟรม ใช้โทเคนภาษากายภาพ 256 โทเคน เทียบกับ 44,800 โทเคนภาพแบบต่อเนื่องของ W...
เผยแพร่โดยแก้ไขด้วย GPT-5.6 Lunaรูปภาพสร้างด้วย GPT Image 1.5
คำตอบการวิจัย

Create a landscape editorial hero image for this Studio Global article: What is CASIA’s PhiZero world model, published in the August 21, 2026 arXiv paper “PhiZero: A World Model Built Around Physical Language,” h. Article summary: PhiZero is CASIA’s proposed “reason-then-render” world model: it first represents predicted world-state changes as a short sequence of learned discrete “physical-language” tokens, then renders those changes into video. I. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
PhiZero เป็นโมเดลโลก (world model) ที่นักวิจัยจากสถาบันอัตโนมัติแห่งสถาบันบัณฑิตวิทยาศาสตร์จีน หรือ CASIA เสนอขึ้น โดยมีแกนกลางเป็นตัวแทนแบบไม่ต่อเนื่องที่เรียนรู้ขึ้นเอง ซึ่งเรียกว่า “ภาษากายภาพ” (physical language)
แทนที่จะทำนายทุกเฟรมในอนาคตโดยตรงบนพื้นที่พิกเซลที่มีมิติสูง PhiZero จะเริ่มจากการคาดการณ์ว่า “สถานะของโลกเปลี่ยนไปอย่างไร” จากนั้นจึงนำการเปลี่ยนแปลงนั้นไปสร้างเป็นวิดีโอ 1
2
การแบ่งงานเช่นนี้พยายามแก้จุดอ่อนสำคัญของการทำนายวิดีโอในระดับพิกเซล เพราะรูปลักษณ์กับพลวัตของฉากมักปะปนกัน โมเดลอาจสร้างพื้นผิว แสง และฉากหลังได้สมจริง แต่กลับคาดการณ์การเคลื่อนที่หรือปฏิสัมพันธ์ผิดพลาด PhiZero จึงทำให้ “พลวัต” เป็นสิ่งที่ต้องใช้เหตุผลโดยตรง ส่วน “รูปลักษณ์” ถูกแยกไว้เป็นงานเรนเดอร์ภายหลัง 1
2
PhiZero ใช้กระบวนการแบบ reason-then-render หรือ “ให้เหตุผลก่อน แล้วจึงสร้างภาพ” ดังนี้
แม้จะใช้คำว่า “ภาษา” แต่ภาษากายภาพนี้ไม่ใช่คำศัพท์หรือประโยคที่มนุษย์อ่านแล้วเข้าใจได้ทันที หากเป็นสัญลักษณ์ที่โมเดลเรียนรู้จากวิดีโอจริงจำนวนมากด้วยการเรียนรู้แบบกำกับตนเอง โดยรูปแบบของโทเคนมุ่งแทนการเปลี่ยนแปลงของฉาก เช่น การเคลื่อนที่และการปฏิสัมพันธ์ มากกว่าการบรรยายว่าแต่ละเฟรมมีหน้าตาอย่างไร 1
2
3
สรุปบทบาทของแต่ละส่วนได้ว่า
เฟรมแรก = ฉากมีหน้าตาอย่างไร; โทเคนภาษากายภาพ = ฉากเปลี่ยนแปลงอย่างไร; ตัวถอดรหัส = นำการเปลี่ยนแปลงนั้นมาแสดงเป็นภาพ
ตัวทำโทเคนของ PhiZero ประมวลผลวิวัฒนาการตามเวลาของวิดีโอ แทนที่จะมองเฟรมปลายทางแต่ละเฟรมเป็นเป้าหมายด้านภาพที่แยกขาดจากกัน คอขวดแบบใช้คิวรี (query-based bottleneck) ของ Q-Former จะดึงคุณลักษณะระดับการเปลี่ยนผ่านที่มีขนาดกะทัดรัดออกมา โดยให้น้ำหนักกับการเปลี่ยนแปลงของสถานะมากกว่ารายละเอียดทางภาพทุกจุด 1
นี่คือจุดต่างจากตัวเข้ารหัสวิดีโอทั่วไป เพราะตัวแทนดังกล่าวพยายามเก็บว่า “สถานะหนึ่งเปลี่ยนไปเป็นอีกสถานะหนึ่งอย่างไร” ไม่ใช่ส่งต่อข้อมูลคงที่ซ้ำ ๆ เช่น พื้นผิวของวัตถุหรือฉากหลัง
คุณลักษณะการเปลี่ยนผ่านที่ยังเป็นค่าต่อเนื่องจะถูกส่งผ่าน finite scalar quantization หรือ FSQ เพื่อแปลงเป็นดัชนีแบบไม่ต่อเนื่อง ผลลัพธ์คือคลังสัญลักษณ์จำกัดที่ทำหน้าที่เป็น “ภาษากายภาพ” ของ PhiZero 1
2
เมื่อผลลัพธ์อยู่ในรูปแบบไม่ต่อเนื่อง โมเดลให้เหตุผลลักษณะเดียวกับโมเดลภาษา ก็สามารถทำนายลำดับโทเคนแบบอัตถดถอย (autoregressive) ได้ โมเดลจึงต้องประกอบเส้นทางการเปลี่ยนแปลงสั้น ๆ จากโทเคนเหล่านี้ แทนการทำนายสตรีมโทเคนภาพแฝงจำนวนมากกว่าอย่างมีนัยสำคัญ
อย่างไรก็ตาม คำว่า “ภาษา” สื่อถึงบทบาทของตัวแทนนี้ในฐานะลำดับสั้น ๆ ที่โมเดลใช้คิดและคาดการณ์ ไม่ได้หมายความว่าโทเคนแต่ละตัวจะตีความได้ตรงตัวว่าเป็นแนวคิดอย่าง “แรงโน้มถ่วง” หรือ “เลี้ยวซ้าย”
ตัวถอดรหัสของ PhiZero รับเฟรมแรกที่ยังคมชัดเป็นข้อมูลตั้งต้นด้านรูปลักษณ์ความถี่สูง เฟรมนี้ให้บริบทเกี่ยวกับพื้นผิว แสง อัตลักษณ์ของวัตถุ และฉากหลัง ขณะที่ลำดับภาษากายภาพจะบอกว่าหลังจากนั้นควรเกิดการเปลี่ยนแปลงอะไร ตัวถอดรหัสจึงสร้างรายละเอียดภาพที่จำเป็นสำหรับวิดีโอผลลัพธ์ 2
การแบ่งงานนี้ช่วยไม่ให้โทเคนการเปลี่ยนผ่านต้องใช้ความจุไปกับการเข้ารหัสรายละเอียดทุกอย่างของภาพ เพราะเฟรมแรกทำหน้าที่เป็นแหล่งข้อมูลด้านรูปลักษณ์อยู่แล้ว
กระบวนการฝึกที่รายงานยังใช้ช่วงอุ่นเครื่องด้วยอินพุตที่เป็นสัญญาณรบกวนล้วน เพื่อไม่ให้ตัวถอดรหัสพึ่งพาข้อมูลจากเฟรมอนาคตที่ยังหลงเหลืออยู่บางส่วนระหว่างเรียนรู้การสร้างภาพ แต่ต้องอาศัยเฟรมแรกและบริบทจากภาษากายภาพเป็นหลัก 2
สำหรับคลิปความยาวประมาณ 4 วินาที หรือ 33 เฟรม งานวิจัยรายงานว่า PhiZero ใช้ตัวแทนเป็น โทเคนภาษากายภาพแบบไม่ต่อเนื่อง 256 โทเคน จากคลังที่มีสัญลักษณ์เป็นไปได้ราว 25,000 รายการ ขณะที่ตัวแทนจาก Wan2.2 VAE ใช้ โทเคนภาพแบบต่อเนื่อง 44,800 โทเคน 1
เมื่อเทียบกันในแง่ความยาวของลำดับ ตัวแทนของ PhiZero ลดลงประมาณ 175 เท่า และยังคงคุณภาพการสร้างภาพกลับคืนในระดับที่แข่งขันได้ 1
แต่ตัวเลข 175 เท่านี้ควรอ่านอย่างระมัดระวัง เพราะเป็นการเปรียบเทียบจำนวนโทเคนตัวแทน ไม่ใช่การยืนยันว่าขนาดไฟล์ หน่วยความจำ เวลาแฝง หรือค่าใช้จ่ายในการอนุมานแบบครบวงจรจะลดลง 175 เท่า PhiZero ยังต้องใช้ตัวถอดรหัส diffusion หรือ flow-matching ขนาดใหญ่พอสมควร รวมถึงต้องมีเฟรมภาพเริ่มต้นเพื่อสร้างคลิป ดังนั้นข้อสรุปที่ตรงที่สุดคือ นี่เป็นผลลัพธ์ด้าน การยกระดับนามธรรมและการบีบอัดพื้นที่สำหรับการให้เหตุผล มากกว่าคำรับรองเรื่องความเร็วหรือค่าใช้จ่ายฮาร์ดแวร์ 1
2
ระบบที่ทำงานในโลกจริงอาจใช้ลำดับการเปลี่ยนผ่านขนาดกะทัดรัดเพื่อคาดการณ์ผลของการกระทำ ก่อนจะสร้างภาพจำลองที่มีรายละเอียดสูงหรือก่อนลงมือทำจริง แนวทางนี้อาจช่วยจัดโครงสร้างการวางแผนและการจำลองแบบมีเงื่อนไขด้วยการกระทำ โดยเฉพาะเมื่อพลวัตเดียวกันควรถ่ายโอนไปใช้กับฉากหรือรูปแบบภาพที่แตกต่างกัน โครงการระบุถึงการประยุกต์ใช้ด้านโมเดลโลกแบบโต้ตอบ การจำลองที่มีการกระทำเป็นเงื่อนไข และการถ่ายโอนการเคลื่อนไหว 2
4
ประโยชน์ที่เป็นไปได้ไม่ได้หมายความว่าหุ่นยนต์จะมีทฤษฎีฟิสิกส์ที่สมบูรณ์ขึ้นมาโดยอัตโนมัติ แต่คือโมเดลมีเป้าหมายขั้นกลางที่แคบและชัดกว่า นั่นคือการแทนและประกอบการเปลี่ยนแปลงที่เป็นไปได้ของโลก ก่อนใช้ทรัพยากรคำนวณไปกับรายละเอียดทางภาพ
การแยกส่วนเช่นนี้อาจมีความเกี่ยวข้องกับสถานการณ์บนท้องถนน ซึ่งสิ่งสำคัญในการคาดการณ์อาจเป็นพฤติกรรมที่เปลี่ยนไปตามเวลา เช่น รถเบรก รถเคลื่อนตัว คนเดินถนนข้ามถนน หรือผู้ใช้ถนนหลีกทางให้กัน มากกว่าพื้นผิวถนนหรือสภาพแสงที่แน่นอนในภาพจากกล้อง
อย่างไรก็ดี นี่เป็นนัยเชิงสถาปัตยกรรม ไม่ใช่หลักฐานว่า PhiZero พร้อมใช้งานในระบบขับขี่ที่มีความเสี่ยงสูง วิดีโอที่ถอดรหัสออกมาอาจดูต่อเนื่องและสมจริง แต่ยังมีเส้นทางการเคลื่อนที่ที่ผิดได้ อีกทั้งโทเคนที่เรียนรู้ขึ้นเองก็ไม่ได้เป็นตัวแปรสถานะทางฟิสิกส์ที่มนุษย์ตีความหรือตรวจสอบได้โดยเนื้อแท้
ตัวแทนภาพแบบดั้งเดิมมีลักษณะใกล้เคียงสตรีมวิดีโอที่ถูกบีบอัด คือเก็บข้อมูลมากพอให้สร้างเฟรมกลับคืนได้ ส่วน PhiZero มุ่งไปสู่อะไรที่คล้ายโปรแกรมขนาดกะทัดรัดซึ่งอธิบายเส้นทางการเปลี่ยนแปลง โดยลำดับภาษากายภาพเป็นวัตถุขั้นกลางที่โมเดลเหตุผลจากภาพและภาษาทำนาย จากนั้นตัวถอดรหัสจึงแปลงเส้นทางนามธรรมนั้นกลับเป็นพิกเซล 1
2
4
การเปลี่ยนมุมมองนี้อาจทำให้การให้เหตุผลของโมเดลโลกนำกลับมาใช้ประกอบกันได้ง่ายขึ้น ระบบอาจจัดการ เปรียบเทียบ หรือถ่ายโอนรูปแบบการเปลี่ยนผ่านโดยไม่ต้องสร้างรายละเอียดภาพทั้งหมดขึ้นมาใหม่ทุกครั้ง แต่ข้อได้เปรียบดังกล่าวจะเกิดขึ้นในวงกว้างเพียงใด ยังขึ้นอยู่กับว่าตัวแทนที่เรียนรู้สามารถเก็บพลวัตสำคัญต่อแต่ละงานได้ดีแค่ไหน
PhiZero เสนอวิธีที่เป็นรูปธรรมในการทำให้พลวัตเป็นคอขวดหลักของโมเดลโลก โดยเรียนรู้ตัวแทนการเปลี่ยนผ่านแบบไม่ต่อเนื่อง คาดการณ์ตัวแทนเหล่านั้นจากฉากเริ่มต้นและเจตนาการกระทำ แล้วค่อยเรนเดอร์ผลลัพธ์ออกมาเป็นวิดีโอ การเปรียบเทียบ 256 โทเคนกับ 44,800 โทเคนแสดงให้เห็นว่าเหตุใดนามธรรมลักษณะนี้จึงน่าสนใจ 1
แต่แนวทางนี้ยังไม่ได้พิสูจน์ว่าโมเดลเข้าใจฟิสิกส์ได้อย่างสมบูรณ์ คลังโทเคนอาจจับรูปแบบที่มีประโยชน์ได้โดยไม่สอดคล้องโดยตรงกับตัวแปรทางกายภาพ และความสมจริงของวิดีโอก็ไม่ใช่หลักประกันว่าการคาดการณ์สถานะโลกถูกต้อง
ข้อสรุปที่รัดกุมที่สุดคือ PhiZero เป็นสถาปัตยกรรมการวิจัยที่น่าสนใจสำหรับการแยก “ฉากคืออะไร” ออกจาก “ฉากเปลี่ยนแปลงอย่างไร” โดยให้โมเดลคิดถึงเส้นทางการเปลี่ยนสถานะก่อน แล้วจึงปล่อยให้ระบบสร้างภาพออกมา
Studio Global AI
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
PhiZero ใช้แนวคิด “คิดก่อน แล้วค่อยเรนเดอร์” โดยทำนายการเปลี่ยนแปลงของฉากเป็นโทเคนภาษากายภาพ ก่อนสร้างวิดีโออนาคต
PhiZero ใช้แนวคิด “คิดก่อน แล้วค่อยเรนเดอร์” โดยทำนายการเปลี่ยนแปลงของฉากเป็นโทเคนภาษากายภาพ ก่อนสร้างวิดีโออนาคต ตัวเข้ารหัสถูกออกแบบให้เน้นการเปลี่ยนสถานะและปฏิสัมพันธ์ แทนการเข้ารหัสพื้นผิว แสง และฉากหลังซ้ำ ๆ
วิดีโอความยาวราว 4 วินาที 33 เฟรม ใช้โทเคนภาษากายภาพ 256 โทเคน เทียบกับ 44,800 โทเคนภาพแบบต่อเนื่องของ Wan2.2 VAE หรือลดความยาวลำดับประมาณ 175 เท่า