SenseNova U1.5 spojuje porozumění obrazu a generování ve 4K

SenseNova U1.5 od společnosti SenseTime má ambici zvládnout dvě úlohy v jednom modelu: vyznat se v obrázku a zároveň nový obrázek vytvořit či upravit. Jde o architekturu Mixture of Transformers (MoT) s přibližně 8 miliardami parametrů. Podle technické zprávy nepotřebuje externí obrazový enkodér pro zpracování vstupu ani variační autoenkodér (VAE) pro dekódování výstupu: výsledný obraz rekonstruuje v prostoru RGB pixelů. 13

Co se změnilo oproti U1?

Model pracuje s obrazovými tokeny odpovídajícími oblastem 32 × 32 pixelů. Díky tomu může s obrázkem zacházet jako se sledem oblastí, aniž by jeho zpracování předával samostatnému obrazovému enkodéru. Zásadní novinkou U1.5 je ale způsob, jakým z těchto oblastí znovu sestavuje výsledný obraz. 121

Starší U1 předpovídal každý výřez zvlášť pomocí výstupní vrstvy typu MLP, tedy vícevrstvého perceptronu. Ve vysokém rozlišení se proto mohly objevit viditelné hranice, mřížka nebo nesouvislé textury. U1.5 místo toho vrací obrazové stavy do dvourozměrné mřížky a používá lehký prostorový dekodér s postupným zvětšováním pomocí Pixel Shuffle a konvolucemi 3 × 3. Při rekonstrukci tak mohou sousední oblasti ovlivňovat jedna druhou. 1322

Pro generování až do 4096 × 4096 pixelů SenseTime popisuje také podmiňování šumu podle rozlišení: informaci o škále šumu závislé na velikosti obrázku kombinuje s krokem generování. Prostorový dekodér řeší návaznost mezi oblastmi, zatímco toto podmiňování má pomoci přizpůsobit generování cílovému rozlišení. Cílem je stabilnější tvorba ve 4K, nikoli záruka obrázků bez vad. 1329

Proč trénovat specialisty, když má vzniknout jeden model?

Při následném trénování SenseTime nejprve optimalizuje specializované experty pro vizuální estetiku, vykreslování čínského a anglického textu, infografiky a úpravy obrázků. Jejich schopnosti pak spojuje do jednoho modelu pomocí víceexpertní on-policy destilace. Specialisté jsou tedy součástí trénovacího postupu, nikoli čtyři modely, které by bylo nutné spouštět při každém požadavku. 129

SenseTime oproti U1 uvádí lepší detaily a prostorovou souvislost ve vysokém rozlišení i pokrok při tvorbě textu, rozvržení a úpravách obrázků. Zachována má být schopnost obraz analyzovat i vytvářet bez externího enkodéru a VAE. Mezi zveřejněné výsledky patří 0,92 v GenEval, 0,948 v CVTG-2K a 4,59 v ImgEdit. Jde o výsledky uváděné autory, ne o nezávislý důkaz zlepšení ve všech obrazových úlohách. 1328

Co je veřejně dostupné?

K dispozici je technická zpráva U1.5 a samostatná oficiální stránka checkpointu SenseNova-U1.5-8B-MoT na platformě Hugging Face. Tu je potřeba odlišovat od stránky U1.5-8B-MoT-Preview i od zvlášť oznámené verze U1.5-Lite-Preview: předběžná verze sama o sobě není plným checkpointem. 1312213

SenseTime říká, že zveřejní trénovací kód pro řízené dolaďování, posilované učení a on-policy destilaci. Z existence zprávy a stránek modelů však neplyne, že už je celý slíbený trénovací kód dostupný. 13