उत्तरप्रकाशित13 स्रोत
CASIA का PhiZero वीडियो रेंडर करने से पहले भौतिक बदलावों पर करता है तर्क
PhiZero ‘पहले तर्क, फिर रेंडर’ तरीके से काम करता है: पहले दृश्य के बदलावों का अनुमान लगाया जाता है, फिर वीडियो बनाया जाता है। इसकी ‘फिजिकल लैंग्वेज’ मानव पठनीय भाषा नहीं, बल्कि वीडियो से सीखे गए असतत टोकन का समूह है जो अवस्था परिवर्तनों को दर्शाता है। ट्रांजिशन लेवल Q Former और finite scalar quantization मिलकर गति व...
प्रकाशितकर्ताGPT-5.6 Luna से संपादितGPT Image 1.5 से चित्र बनाए गए
शोध उत्तर
मुख्य निष्कर्ष
- PhiZero ‘पहले तर्क, फिर रेंडर’ तरीके से काम करता है: पहले दृश्य के बदलावों का अनुमान लगाया जाता है, फिर वीडियो बनाया जाता है।
- इसकी ‘फिजिकल लैंग्वेज’ मानव पठनीय भाषा नहीं, बल्कि वीडियो से सीखे गए असतत टोकन का समूह है जो अवस्था परिवर्तनों को दर्शाता है।
- ट्रांजिशन लेवल Q Former और finite scalar quantization मिलकर गति व अंतःक्रिया की कॉम्पैक्ट अभिव्यक्ति तैयार करते हैं।
- लगभग चार सेकंड और 33 फ्रेम के क्लिप के लिए 256 टोकन इस्तेमाल किए गए, जबकि Wan2.2 VAE में 44,800 सतत विजुअल टोकन बताए गए हैं—यानी क्रम लंबाई में करीब 175 गुना कमी।
AI संकेत
openai.comCreate a landscape editorial hero image for this Studio Global article: What is CASIA’s PhiZero world model, published in the August 21, 2026 arXiv paper “PhiZero: A World Model Built Around Physical Language,” h. Article summary: PhiZero is CASIA’s proposed “reason-then-render” world model: it first represents predicted world-state changes as a short sequence of learned discrete “physical-language” tokens, then renders those changes into video. I. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
चीनी विज्ञान अकादमी (Chinese Academy of Sciences) के Institute of Automation यानी CASIA के शोधकर्ताओं ने PhiZero नामक एक ऐसा world model प्रस्तावित किया है, जो भविष्य के वीडियो फ्रेम सीधे पिक्सेल स्तर पर अनुमानित करने के बजाय पहले यह समझने की कोशिश करता है कि दृश्य की अवस्था कैसे बदलेगी। इसके बाद वह उन बदलावों को वीडियो में रेंडर करता है। 1
2
इस मॉडल का केंद्रीय विचार ‘physical language’ यानी ‘फिजिकल लैंग्वेज’ है—वीडियो से self-supervised learning के जरिए सीखी गई एक कॉम्पैक्ट, discrete representation, जो दुनिया की अवस्थाओं के बीच संक्रमण को व्यक्त करती है। सरल शब्दों में, PhiZero पहले यह तय करता है कि दृश्य में क्या-क्या बदलेगा और फिर यह तय करता है कि वह बदलाव स्क्रीन पर कैसा दिखेगा।
पिक्सेल-आधारित वीडियो मॉडल की समस्या
कई वीडियो world models भविष्य के फ्रेम सीधे एक घने visual space में बनाते हैं। इसमें वस्तुओं की गति और उनके बीच होने वाली अंतःक्रिया के साथ-साथ texture, lighting, background और दूसरे appearance details भी एक ही prediction प्रक्रिया में मिल जाते हैं। नतीजा यह हो सकता है कि वीडियो देखने में काफी वास्तविक लगे, लेकिन वस्तुओं की वास्तविक गति या उनका आपसी व्यवहार गलत हो। 1
2
PhiZero इस समस्या को दो हिस्सों में बांटता है:
- दृश्य कैसा दिखता है — यह जानकारी शुरुआती फ्रेम से मिलती है।
- दृश्य आगे कैसे बदलेगा — इसे physical-language tokens में मॉडल किया जाता है।
इसलिए इसका तरीका reason-then-render, यानी पहले तर्क, फिर रेंडर, कहा गया है।
PhiZero कैसे काम करता है?
इसकी प्रक्रिया को चार चरणों में समझा जा सकता है:
- मॉडल को शुरुआती फ्रेम और कोई action या intent दिया जाता है।
- Physical Language Reasoner भविष्य के state transitions को discrete tokens की छोटी श्रृंखला के रूप में अनुमानित करता है।
- ये tokens शुरुआती फ्रेम के साथ वीडियो decoder को दिए जाते हैं।
- Decoder अनुमानित बदलावों को भविष्य के वीडियो फ्रेम में बदल देता है।
इसे एक आसान सूत्र की तरह याद रखा जा सकता है:
पहला फ्रेम = दृश्य कैसा है; physical-language tokens = दृश्य कैसे बदलेगा; decoder = उस बदलाव को वीडियो में दिखाने का तरीका।
1. Transition-level Q-Former
PhiZero का tokenizer वीडियो के प्रत्येक फ्रेम को अलग-अलग encode करने के बजाय समय के साथ होने वाले बदलावों पर ध्यान देता है। इसका query-based bottleneck transition-level features निकालता है, ताकि representation में हर texture या background detail को बार-बार रखने के बजाय state evolution पर अधिक जोर हो। 1
यानी tokenizer का लक्ष्य यह दर्ज करना है कि एक अवस्था से दूसरी अवस्था तक क्या बदला—मसलन वस्तु किस दिशा में चली, किसी दूसरी वस्तु से कैसे टकराई या दृश्य में कोई interaction कैसे आगे बढ़ी।
2. Finite Scalar Quantization
Q-Former से मिलने वाले continuous transition features को finite scalar quantization (FSQ) के जरिए discrete indices में बदला जाता है। यही indices PhiZero की physical language का सीमित vocabulary बनाते हैं। 1
2
Discrete होने के कारण इन tokens की श्रृंखला को language-model जैसी प्रणाली autoregressive ढंग से predict कर सकती है। इसके परिणामस्वरूप मॉडल को हजारों visual latent tokens की लंबी धारा का अनुमान लगाने के बजाय state transitions की छोटी श्रृंखला बनानी होती है।
हालांकि ‘language’ शब्द से यह नहीं समझना चाहिए कि ये tokens इंसानों के लिए पढ़ने योग्य शब्द हैं। कोई token जरूरी नहीं कि सीधे ‘गुरुत्वाकर्षण’, ‘बाएं मुड़ना’ या ‘टक्कर’ जैसे स्पष्ट अर्थ से जुड़ा हो। यह एक learned representation है, न कि सामान्य मानव भाषा।
3. शुरुआती फ्रेम से appearance prior
PhiZero का diffusion या flow-matching decoder शुरुआती साफ फ्रेम को high-frequency appearance prior की तरह इस्तेमाल करता है। इस फ्रेम से उसे texture, रोशनी, वस्तु की पहचान और background जैसी दृश्य जानकारी मिलती है। Physical-language tokens उसे बताते हैं कि शुरुआती फ्रेम के बाद क्या बदलना चाहिए। 2
इससे tokens की सीमित क्षमता को हर visual detail दोहराने में खर्च नहीं करना पड़ता। Decoder शुरुआती फ्रेम से appearance लेता है और transition sequence के आधार पर दृश्य का अगला रूप तैयार करता है।
शोध में बताए गए training procedure में pure-noise warm-up भी शामिल है। इसका उद्देश्य यह सुनिश्चित करना है कि decoder future frames से मिल रही आंशिक जानकारी पर निर्भर न हो, बल्कि शुरुआती फ्रेम और physical-language context के आधार पर reconstruction सीखे। 2
256 बनाम 44,800 टोकन: 175 गुना कमी का अर्थ
पेपर के एक उदाहरण में लगभग चार सेकंड और 33 फ्रेम वाले वीडियो क्लिप को 256 discrete physical-language tokens में व्यक्त किया गया। इन tokens का vocabulary करीब 25,000 संभावित symbols का है। इसके मुकाबले Wan2.2 VAE representation में 44,800 continuous visual tokens बताए गए हैं। 1
इस आधार पर PhiZero sequence length में लगभग 175 गुना कमी दिखाता है और शोधकर्ताओं के अनुसार reconstruction quality प्रतिस्पर्धी बनी रहती है। 1
लेकिन 175 गुना कमी को सावधानी से समझना जरूरी है। यह तुलना मुख्य रूप से representation tokens की संख्या की है। इससे सीधे storage bits, memory usage, latency या कुल inference cost में 175 गुना कमी साबित नहीं होती। PhiZero को वीडियो रेंडर करने के लिए अब भी एक बड़े diffusion decoder और शुरुआती visual frame की जरूरत होती है। इसलिए इसका सबसे मजबूत दावा reasoning और representation abstraction से जुड़ा है, न कि निश्चित hardware speedup से। 1
2
World models के लिए यह क्यों महत्वपूर्ण हो सकता है?
रोबोटिक्स और embodied AI
किसी robot को किसी action के बाद होने वाले परिणाम का अनुमान पहले compact transition sequence में लगाने दिया जा सकता है। उसके बाद ही विस्तृत visual simulation तैयार की जाए। इससे action-conditioned planning और interactive simulation को अधिक व्यवस्थित बनाया जा सकता है। शोध परियोजना interactive world modeling, action-conditioned simulation और motion transfer जैसे उपयोगों पर केंद्रित है। 2
4
यह दावा नहीं है कि robot को इससे पूर्ण physical theory मिल जाती है। संभावित लाभ इतना सीमित और व्यावहारिक है कि मॉडल visual detail पर computation खर्च करने से पहले दुनिया में होने वाले संभावित बदलावों को एक छोटे intermediate representation में compose कर सके।
Autonomous driving
ड्राइविंग के संदर्भ में भी appearance और dynamics का अलगाव उपयोगी हो सकता है। सड़क की texture, मौसम या रोशनी के हर विवरण को दोहराने के बजाय मॉडल का ध्यान इस बात पर केंद्रित किया जा सकता है कि वाहन धीमा होगा या नहीं, कोई पैदल यात्री सड़क पार करेगा या नहीं, अथवा दो road users एक-दूसरे के साथ कैसे interact करेंगे।
फिर भी यह PhiZero के safety-critical driving के लिए तैयार होने का प्रमाण नहीं है। कोई decoded वीडियो देखने में coherent हो सकता है, जबकि उसकी underlying trajectory गलत हो। इसी तरह learned tokens अपने-आप में interpretable या सत्यापित physical state variables नहीं हैं।
वीडियो codec से trajectory program तक
पारंपरिक visual representations को एक compressed video stream की तरह समझा जा सकता है: उनका लक्ष्य इतना विवरण बचाए रखना होता है कि फ्रेम दोबारा बनाए जा सकें। PhiZero का intermediate representation इसके बजाय किसी trajectory का छोटा-सा program जैसा बनने की कोशिश करता है।
Physical-language sequence वह object है जिस पर vision-language reasoner भविष्यवाणी करता है; decoder बाद में उस abstract trajectory को pixels में बदलता है। 1
2
4
अगर यह representation अलग-अलग visual styles में भी महत्वपूर्ण dynamics को सुरक्षित रख सके, तो transitions को compare, transfer या manipulate करना अधिक आसान हो सकता है। हालांकि यह लाभ कितनी व्यापकता से मिलेगा, यह इस बात पर निर्भर करेगा कि learned tokens हर task के लिए जरूरी physical information को कितनी अच्छी तरह बनाए रखते हैं।
PhiZero ने क्या दिखाया—और क्या नहीं?
PhiZero dynamics को world model का स्पष्ट bottleneck बनाने का एक ठोस architectural तरीका पेश करता है: पहले discrete transition representation सीखना, फिर शुरुआती scene और intent से उसका अनुमान लगाना, और अंत में उस अनुमान को वीडियो में रेंडर करना। 256 बनाम 44,800 tokens की तुलना बताती है कि ऐसी abstraction आकर्षक क्यों है। 1
लेकिन इससे यह साबित नहीं होता कि AI ने physical understanding की समस्या हल कर ली है। Learned vocabulary उपयोगी regularities पकड़ सकती है, फिर भी उसका mapping स्पष्ट physical variables से न जुड़ा हो। इसके अलावा, visually plausible वीडियो यह गारंटी नहीं देता कि अनुमानित world state सही है।
सबसे संतुलित निष्कर्ष यह है कि PhiZero एक promising research architecture है, जो दृश्य क्या है और वह कैसे बदलता है—इन दोनों सवालों को अलग-अलग संभालने की कोशिश करता है।
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
लोग पूछते भी हैं
"CASIA का PhiZero वीडियो रेंडर करने से पहले भौतिक बदलावों पर करता है तर्क" का संक्षिप्त उत्तर क्या है?
PhiZero ‘पहले तर्क, फिर रेंडर’ तरीके से काम करता है: पहले दृश्य के बदलावों का अनुमान लगाया जाता है, फिर वीडियो बनाया जाता है।
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
PhiZero ‘पहले तर्क, फिर रेंडर’ तरीके से काम करता है: पहले दृश्य के बदलावों का अनुमान लगाया जाता है, फिर वीडियो बनाया जाता है। इसकी ‘फिजिकल लैंग्वेज’ मानव पठनीय भाषा नहीं, बल्कि वीडियो से सीखे गए असतत टोकन का समूह है जो अवस्था परिवर्तनों को दर्शाता है।
मुझे अभ्यास में आगे क्या करना चाहिए?
ट्रांजिशन लेवल Q Former और finite scalar quantization मिलकर गति व अंतःक्रिया की कॉम्पैक्ट अभिव्यक्ति तैयार करते हैं।