SenseNova U1.5 łączy analizę obrazu z generowaniem w 4K

SenseNova U1.5 ma wykonywać zadania, które często rozdziela się między różne elementy systemu: rozpoznawać zawartość obrazu, analizować ją, tworzyć nowe obrazy i edytować istniejące. SenseTime opisuje go jako model Mixture of Transformers (MoT) o około 8 mld parametrów. Nie korzysta on z zewnętrznego enkodera obrazu ani z wariacyjnego autoenkodera (VAE) do odtwarzania wygenerowanego obrazu; wynik powstaje w przestrzeni pikseli RGB. Według raportu technicznego architektura ta obsługuje generowanie do 4096 × 4096 pikseli. 13

Co pozwala jednemu modelowi „czytać” i tworzyć obrazy?

U1.5 reprezentuje fragmenty obrazu za pomocą tokenów wizualnych odpowiadających obszarom 32 × 32 piksele. Dzięki temu może pracować na sekwencji reprezentacji obrazu bez osobnego enkodera wizyjnego. Gdy tworzy obraz, jego stany wizualne są przekształcane w piksele RGB, zamiast przechodzić przez dekoder VAE. To wspólny punkt wyjścia dla analizy obrazu i jego generowania. 121

Najważniejsza zmiana względem U1 dotyczy odtwarzania obrazu z tych reprezentacji. Poprzedni model przewidywał każdy fragment niezależnie za pomocą głowicy MLP, czyli sieci wielowarstwowej. Przy wysokiej rozdzielczości granice fragmentów mogły ujawniać się jako szwy lub wzór siatki. U1.5 układa stany wizualne z powrotem w dwuwymiarowej siatce, a następnie używa lekkiego dekodera przestrzennego z kolejnymi etapami Pixel Shuffle i splotami 3 × 3. Sąsiadujące obszary mogą więc wpływać na siebie podczas rekonstrukcji. 1322

Przy generowaniu obrazu do 4096 × 4096 pikseli dochodzi drugi mechanizm: warunkowanie szumu zależne od rozdzielczości. Model łączy informację o skali szumu właściwej dla docelowego rozmiaru obrazu z etapem generowania. Dekoder przestrzenny ma poprawiać ciągłość między fragmentami, a warunkowanie szumu pomaga dostosować proces do rozdzielczości. To rozwiązania służące stabilniejszemu generowaniu w 4K, nie gwarancja obrazu pozbawionego artefaktów. 1329

Po co trenować specjalistów, skoro użytkownik dostaje jeden model?

SenseTime stosuje podejście „najpierw specjalizacja, potem połączenie”. W dalszym treningu rozwija wyspecjalizowane modele do estetyki obrazu, tworzenia czytelnego tekstu po chińsku i angielsku, infografik oraz edycji zdjęć. Następnie łączy ich umiejętności w jednym modelu przez destylację on-policy z wielu ekspertów. Nie oznacza to, że przy każdym poleceniu trzeba uruchamiać cztery osobne modele. 129

Według SenseTime U1.5 poprawia względem U1 szczegółowość obrazów o wysokiej rozdzielczości, spójność przestrzenną, odwzorowanie tekstu, układy graficzne i edycję. Zachowuje przy tym zdolność zarówno rozumienia, jak i generowania obrazów w architekturze bez zewnętrznego enkodera wizji i VAE. Podane wyniki to 0,92 w GenEval, 0,948 w CVTG-2K i 4,59 w ImgEdit. Są to raportowane rezultaty testów, a nie dowód niezależnie potwierdzonej przewagi w każdym zadaniu wizualnym. 1328

Co jest dostępne, a co pozostaje zapowiedzią?

Publicznie dostępny jest raport techniczny U1.5. Na Hugging Face istnieje też oficjalna strona checkpointu SenseNova-U1.5-8B-MoT. Należy odróżnić ją od strony SenseNova-U1.5-8B-MoT-Preview oraz osobno ogłoszonego wydania U1.5-Lite-Preview: materiały wersji próbnych nie są tym samym co strona pełnego modelu. 1312213

SenseTime deklaruje, że udostępni kod treningowy obejmujący nadzorowane dostrajanie, uczenie przez wzmacnianie i destylację on-policy. Publikacja raportu oraz stron modeli nie wystarcza jednak, by uznać, że cały zapowiedziany kod treningowy jest już dostępny. 13