Hoe SenseNova U1.5 beeldbegrip en 4K-generatie samenbrengt

SenseNova U1.5 is SenseTimes Mixture-of-Transformers-model (MoT) met ongeveer 8 miljard parameters. Het kan beelden begrijpen, erover redeneren en ze genereren of bewerken binnen één architectuur. Daarvoor gebruikt het geen aparte visuele encoder om beelden in te lezen en geen variational autoencoder (VAE) om gegenereerde beelden te decoderen: de uitvoer wordt als RGB-pixels opgebouwd. Volgens het technische rapport is generatie mogelijk tot 4096 × 4096 pixels. 13

Van beeldblok naar samenhangend beeld

Het model vertegenwoordigt beeldgebieden met visuele tokens van 32 × 32 pixels. Zo kan het met een compacte reeks tokens werken, terwijl de visuele verwerking deel blijft van dezelfde architectuur. Het belangrijkste verschil met voorganger U1 zit aan de uitvoerkant. U1 voorspelde elk beeldblok afzonderlijk met een MLP-laag, waardoor op hoge resolutie naden of een rasterpatroon zichtbaar konden worden. 12122

U1.5 zet de visuele representaties terug in een tweedimensionaal raster. Een lichte, ruimtelijke decoder reconstrueert het beeld vervolgens stapsgewijs met Pixel Shuffle en 3 × 3-convoluties. Aangrenzende gebieden kunnen zo invloed op elkaar hebben, in plaats van los van elkaar te worden getekend. 1322

Voor uitvoer tot 4096 × 4096 pixels beschrijft SenseTime daarnaast resolutiebewuste ruisconditionering: een van de resolutie afhankelijke representatie van de ruisschaal wordt gecombineerd met de tijdstap van het generatieproces. De decoder richt zich op de overgangen tussen beeldblokken; deze conditionering helpt het model rekening te houden met de gekozen uitvoergrootte. Dat moet 4K-generatie stabieler maken, maar garandeert geen beelden zonder artefacten. 1329

Waarom eerst aparte experts trainen?

SenseTime kiest na de basistraining voor specialiseren en daarna verenigen. Het bedrijf optimaliseert experts voor beeldesthetiek, het weergeven van Chinese en Engelse tekst, infographics en beeldbewerking. Via multi-expert on-policy distillation worden die vaardigheden vervolgens samengebracht in één model. De experts zijn dus onderdeel van de training; voor elke aanvraag hoeven niet vier afzonderlijke modellen te draaien. 129

Vergeleken met U1 meldt SenseTime meer detail en ruimtelijke samenhang op hoge resolutie, plus verbeteringen bij tekst, lay-outs en bewerking. Het ontwerp zonder aparte encoder of VAE blijft behouden. De gerapporteerde scores zijn 0,92 op GenEval, 0,948 op CVTG-2K en 4,59 op ImgEdit. Dat zijn evaluatieresultaten uit het rapport, geen onafhankelijk bewijs dat U1.5 op iedere visuele taak beter presteert. 1328

Wat is er beschikbaar?

Het technische rapport is openbaar. Op Hugging Face staat ook een officiële vermelding van het volledige SenseNova-U1.5-8B-MoT-checkpoint. Die is te onderscheiden van de pagina voor U1.5-8B-MoT-Preview en de apart aangekondigde U1.5-Lite-Preview: previewversies zijn niet zonder meer gelijk aan het volledige model. 1312213

SenseTime zegt trainingscode voor supervised fine-tuning, reinforcement learning en on-policy distillation open source te zullen maken. Uit die toezegging en de beschikbare modelvermeldingen volgt niet dat alle beloofde trainingscode al beschikbaar is. 13