PhiZero odděluje fyziku scény od jejího vzhledu

PhiZero, který navrhli výzkumníci z Institutu automatizace Čínské akademie věd (CASIA), je světový model postavený na naučené diskrétní reprezentaci nazvané fyzický jazyk. Namísto přímého předvídání každého budoucího snímku v hustém vizuálním prostoru nejprve odhaduje, jak se mění stav světa, a teprve poté tyto změny vykreslí do videa. 12

Toto rozdělení řeší jednu z hlavních slabin predikce v pixelovém prostoru: vzhled a dynamika se mohou vzájemně „zamotat“. Model dokáže věrně napodobit textury, světlo i pozadí, ale přitom chybně odhadne samotný pohyb nebo interakci objektů. PhiZero proto staví dynamiku do role hlavního předmětu predikce a vzhled řeší odděleně jako podmínku pro následné vykreslení. 12

Základní princip: nejdřív uvažovat, potom vykreslit

PhiZero pracuje v režimu reason-then-render, tedy „nejdřív uvažuj, potom vykresli“:

1. Vezme první snímek a akci nebo záměr.
2. Předpoví krátkou sekvenci diskrétních tokenů popisujících budoucí přechody mezi stavy.
3. Tyto tokeny spolu s prvním snímkem předá videodekodéru.
4. Dekodér z predikovaného vývoje vytvoří budoucí snímky.

Pojem „fyzický jazyk“ neznamená běžná slova ani věty srozumitelné člověku. Jde o naučené symboly, jejichž kombinace zachycují změny ve scéně — například pohyb a interakce — místo prostého popisu vzhledu jednotlivých snímků. Reprezentace vzniká samořízeným učením z videí z reálného světa. 123

Zjednodušeně lze architekturu shrnout takto:

První snímek = jak scéna vypadá; tokeny fyzického jazyka = jak se mění; dekodér = jak tuto změnu zobrazit.

Jak tokenizer odděluje změnu od vzhledu

1. Q-Former zaměřený na přechody mezi stavy

Tokenizer zpracovává časový vývoj videa, místo aby každý budoucí snímek posuzoval jako samostatný vizuální cíl. Jeho dotazový bottleneck vytahuje kompaktní sadu vlastností na úrovni přechodů a soustředí reprezentaci na vývoj stavu, nikoli na každý obrazový detail. 1

To je první rozdíl oproti běžnému videokodeku. Tokenizer se snaží zachytit rozdíl mezi stavy, takže nemusí znovu a znovu přenášet statické informace, jako jsou povrchové textury nebo vzhled pozadí.

2. Konečná skalární kvantizace

Spojité vlastnosti přechodů následně procházejí konečnou skalární kvantizací neboli FSQ. Ta je převádí na diskrétní indexy a vytváří konečnou slovní zásobu, která slouží jako fyzický jazyk PhiZero. 12

Díky diskrétní podobě může sekvenci tokenů autoregresivně předpovídat model podobný jazykovému modelu. Nemusí tedy skládat dlouhý proud vizuálních latentních tokenů, ale krátkou trajektorii přechodů mezi stavy.

Slovo „jazyk“ zde označuje funkci reprezentace: jde o kompaktní sekvenci, nad níž lze provádět predikci a uvažování. Jednotlivé tokeny ale nemusí být lidsky interpretovatelné jako pojmy typu „gravitace“ nebo „odboč doleva“.

3. Difuzní dekodér podmíněný prvním snímkem

Dekodér PhiZero dostává čistý první snímek jako zdroj vysokofrekvenčních informací o vzhledu. Sekvence fyzického jazyka dodává informaci o tom, co se má po tomto okamžiku změnit, zatímco dekodér rekonstruuje vizuální detaily potřebné pro výsledné video. 2

Model tak rozděluje práci praktickým způsobem. Přechodové tokeny nemusejí svou omezenou kapacitu spotřebovat na každou texturu, světelné podmínky, identitu objektů nebo detail pozadí. Velkou část tohoto kontextu poskytne přímo první snímek.

Popsaný trénink navíc používá zahřívací fázi s čistým šumem, aby se dekodér při učení rekonstrukce nemohl opírat o částečně dostupné informace z budoucích snímků. Musí se tedy naučit využívat podmínku prvního snímku a kontext fyzického jazyka. 2

Co znamená uváděné zmenšení reprezentace

U přibližně čtyřsekundového klipu o 33 snímcích uvádí článek reprezentaci pomocí 256 diskrétních tokenů fyzického jazyka ze slovní zásoby o zhruba 25 000 symbolech. Reprezentace Wan2.2 VAE naproti tomu používá 44 800 spojitých vizuálních tokenů. V tomto příkladu se tak délka sekvence zmenšila přibližně 175krát, při zachování konkurenceschopné kvality rekonstrukce. 1

Číslo je ale potřeba číst opatrně. Porovnává počet tokenů reprezentace, nikoli celkový počet bitů, využití paměti, latenci ani náklady na kompletní inferenci. PhiZero stále potřebuje rozsáhlý difuzní nebo flow-matching dekodér a pro vykreslení klipu také počáteční obrazový snímek. Nejsilnější tvrzení se proto týká abstrakce a komprese pro uvažování, nikoli záruky 175krát vyšší rychlosti nebo stejně velké úspory hardwarových nákladů. 12

Proč by to mohlo být důležité pro světové modely

Robotika a embodied AI

Robotický systém by mohl pomocí kompaktní sekvence přechodů předpovědět důsledky akce ještě předtím, než vytvoří detailní vizuální předpověď. To může zpřehlednit plánování a simulaci podmíněnou akcí, zejména pokud se stejná dynamika přenáší mezi různými vizuálními styly. Projekt zmiňuje mimo jiné interaktivní modelování světa, simulaci podmíněnou akcí a přenos pohybu. 24

Potenciální přínos nespočívá v tom, že by robot automaticky získal úplnou teorii fyziky. PhiZero mu nabízí užší mezikrok: nejprve reprezentovat a skládat pravděpodobné změny ve světě a teprve potom věnovat výpočetní kapacitu obrazovým detailům.

Autonomní řízení

Stejné oddělení je relevantní i pro dopravní situace. Pro systém může být důležitější předpovědět, jak se budou v čase vyvíjet vozidla a další účastníci provozu — zda začnou brzdit, pojedou dál, dají přednost nebo se vzájemně ovlivní — než přesně reprodukovat strukturu vozovky či aktuální osvětlení kamery.

Jde však o architektonický důsledek návrhu, nikoli o důkaz, že je PhiZero připraven pro bezpečnostně kritické řízení. Video může působit uceleně a přitom obsahovat chybnou trajektorii. Naučené tokeny navíc samy o sobě nejsou interpretovatelnými ani ověřitelnými fyzikálními veličinami.

Jiná abstrakce pro predikci videa

Tradiční vizuální reprezentace připomínají komprimovaný videosoubor: zachovávají tolik informací, aby bylo možné znovu sestavit snímky. PhiZero se snaží o něco bližšího krátkému programu popisujícímu trajektorii. Sekvence fyzického jazyka je mezivrstva, kterou předpovídá vizuálně-jazykový reasoner, a dekodér z ní následně vytvoří obrazové body. 124

Tento posun by mohl zpřístupnit skládání a přenos uvažovaných dynamik. Systém by mohl přechodové vzorce upravovat, porovnávat nebo přenášet, aniž by pokaždé nejprve generoval všechny vizuální detaily. Zda se tato výhoda projeví v širokém spektru úloh, závisí na tom, jak dobře naučená reprezentace zachová dynamiku důležitou pro konkrétní použití.

Co PhiZero ukazuje — a co nikoli

PhiZero nabízí konkrétní způsob, jak ve světovém modelu vytvořit explicitní úzké hrdlo pro dynamiku: naučit diskrétní reprezentace přechodů, předpovídat je z počáteční scény a záměru a výsledek vykreslit až poté. Porovnání 256 tokenů s 44 800 tokeny ukazuje, proč je taková abstrakce lákavá. 1

Přístup ale nedokazuje, že je vyřešeno fyzické porozumění. Naučená slovní zásoba může zachycovat užitečné pravidelnosti, aniž by se dala čistě převést na fyzikální proměnné. A vizuálně přesvědčivé video zůstává nedokonalým testem toho, zda byl skutečný stav světa předpovězen správně.

Nejstřízlivější závěr je proto užší: PhiZero představuje slibnou výzkumnou architekturu, která odděluje to, jak scéna vypadá, od toho, jak se mění.