SenseNova U1.5 verbindet Bildverständnis und 4K-Bildgenerierung

Ein Bild analysieren, Fragen dazu beantworten und anschließend selbst eines erzeugen: SenseNova U1.5 soll diese Aufgaben in einer gemeinsamen Architektur übernehmen. SenseTime beschreibt das Modell als „8B-MoT“ – ein Mixture of Transformers mit rund acht Milliarden Parametern. Es benötigt laut technischem Bericht weder einen externen Bild-Encoder für das Verständnis noch einen variationalen Autoencoder (VAE), der erzeugte Bilder aus einer komprimierten Repräsentation decodiert. Stattdessen erfolgt die Ausgabe im RGB-Pixelraum. 13

Wie wird aus kleinen Bildbereichen ein zusammenhängendes 4K-Bild?

U1.5 verarbeitet Bildbereiche über visuelle Tokens für jeweils 32 × 32 Pixel. So kann das Modell Bilder als Folge kompakter Einheiten bearbeiten, ohne einen separaten Vision-Encoder einzusetzen. Für die Generierung werden die visuellen Zustände anschließend wieder in RGB-Pixel umgesetzt. 121

Der wichtigste Unterschied zum Vorgänger U1 liegt in diesem letzten Schritt: Dessen MLP-Ausgabekomponente berechnete Bildbereiche unabhängig voneinander. Bei hoher Auflösung konnten dadurch sichtbare Kanten, Rastermuster oder Brüche in Texturen entstehen. U1.5 ordnet die visuellen Zustände wieder auf einem zweidimensionalen Raster an. Ein leichter räumlicher Decoder baut das Bild dann schrittweise mit Pixel Shuffle und 3 × 3-Faltungen auf. Benachbarte Bereiche können sich bei der Rekonstruktion gegenseitig beeinflussen. 1322

Für Ausgaben mit bis zu 4096 × 4096 Pixeln beschreibt SenseTime außerdem eine auflösungsabhängige Rauschkonditionierung: Eine von der Zielauflösung abhängige Einbettung der Rauschskala wird mit dem Zeitschritt der Generierung kombiniert. Während der Decoder Übergänge zwischen Bildbereichen verbessern soll, berücksichtigt dieser zweite Mechanismus, dass sich das Rauschverhalten mit der Ausgabegröße ändert. Beides soll die native 4K-Generierung stabilisieren – fehlerfreie Bilder sind damit nicht garantiert. 1329

Warum trainiert SenseTime Spezialisten für ein einziges Modell?

Beim Nachtraining verfolgt SenseTime den Ansatz „spezialisieren, dann vereinen“. Zunächst werden Spezialisten für Bildästhetik, die Darstellung chinesischer und englischer Schrift, Infografiken sowie Bildbearbeitung optimiert. Ihre Fähigkeiten fließen anschließend durch Multi-Expert On-Policy Distillation in ein gemeinsames Modell ein. Die Spezialisten sind damit Teil des Trainingsverfahrens; für eine einzelne Anfrage müssen laut diesem Konzept nicht vier getrennte Modelle betrieben werden. 129

Gegenüber U1 meldet SenseTime bessere Details und räumliche Kontinuität bei hoher Auflösung sowie Fortschritte bei Schrift, Layouts und Bearbeitung. Das gemeinsame Verständnis-und-Generierungskonzept ohne externen Vision-Encoder und VAE bleibt erhalten. Als Testergebnisse nennt das Unternehmen 0,92 bei GenEval, 0,948 bei CVTG-2K und 4,59 bei ImgEdit. Diese Werte sind berichtete Evaluationsergebnisse, kein unabhängiger Nachweis für Verbesserungen bei jeder visuellen Aufgabe. 1328

Was ist bereits verfügbar?

Der technische Bericht zu U1.5 ist öffentlich. Auf Hugging Face gibt es zudem einen eigenen offiziellen Eintrag für den SenseNova-U1.5-8B-MoT-Checkpoint. Er ist vom Eintrag U1.5-8B-MoT-Preview und von der separat angekündigten Version U1.5-Lite-Preview zu unterscheiden: Eine Preview-Veröffentlichung allein belegt nicht die Verfügbarkeit des vollständigen Modells. 1312213

SenseTime kündigt außerdem an, Trainingscode für überwachtes Feintraining, Reinforcement Learning und On-Policy-Destillation als Open Source zu veröffentlichen. Aus dem Bericht und den Modelleinstiegen allein geht jedoch nicht hervor, dass dieses vollständige angekündigte Codepaket bereits verfügbar ist. 13