SenseNova U1.5 : un modèle pour comprendre les images et en créer

Avec SenseNova U1.5, SenseTime cherche à faire tenir dans une même architecture deux usages souvent séparés : interpréter une image et en produire une. Ce modèle Mixture of Transformers (MoT) de 8 milliards de paramètres couvre aussi le raisonnement visuel et la retouche. Il n’utilise ni encodeur visuel externe pour lire les images, ni autoencodeur variationnel (VAE) pour décoder les images générées : la sortie est reconstruite en pixels RGB. 13

Lire et créer avec la même interface visuelle

U1.5 représente les régions d’une image par des jetons visuels correspondant chacun à 32 × 32 pixels. Cette représentation compacte alimente le modèle pour les tâches de compréhension comme de génération. 121

La différence majeure avec U1 se situe à la sortie. Son ancien composant MLP reconstruisait chaque bloc d’image indépendamment, au risque de laisser apparaître des raccords ou un quadrillage en haute résolution. U1.5 replace les représentations visuelles sur une grille à deux dimensions, puis utilise un décodeur spatial léger associant Pixel Shuffle progressif et convolutions 3 × 3. Les régions voisines peuvent ainsi contribuer ensemble à la reconstruction. 1322

Pour atteindre 4 096 × 4 096 pixels, SenseTime ajoute aussi un conditionnement du bruit adapté à la résolution : une information sur l’échelle de bruit liée à la taille de l’image est combinée à l’étape de génération. Le décodeur s’attaque donc à la continuité entre blocs, tandis que ce conditionnement prend en compte le changement d’échelle. Il s’agit de mécanismes destinés à stabiliser la génération en 4K, et non d’une garantie d’images sans défaut. 1329

Pourquoi entraîner des spécialistes pour obtenir un seul modèle ?

SenseTime décrit une méthode consistant à spécialiser, puis réunir. Des experts sont optimisés pour l’esthétique, le rendu du texte chinois et anglais, les infographies et la retouche. Leurs capacités sont ensuite consolidées par une distillation multi-experts on-policy, c’est-à-dire réalisée à partir des sorties produites pendant l’entraînement. Ces experts interviennent dans la préparation du modèle : l’objectif annoncé n’est pas de faire fonctionner quatre modèles spécialisés à chaque demande. 129

Par rapport à U1, SenseTime fait état de meilleurs détails en haute résolution et d’une meilleure continuité spatiale, ainsi que de progrès sur le texte, la mise en page et la retouche. L’architecture sans encodeur visuel externe ni VAE conserve, elle, son ambition de réunir compréhension et génération. Les scores communiqués pour U1.5 sont 0,92 sur GenEval, 0,948 sur CVTG-2K et 4,59 sur ImgEdit. Ce sont des résultats rapportés par les sources, pas la preuve d’un progrès sur toutes les tâches visuelles. 1328

Rapport, modèle complet et versions d’essai : que trouve-t-on ?

Le rapport technique est public et une page officielle Hugging Face présente le checkpoint SenseNova-U1.5-8B-MoT. Celui-ci possède sa propre fiche, distincte de U1.5-8B-MoT-Preview et de la version U1.5-Lite-Preview annoncée séparément par SenseTime. Il ne faut donc pas confondre les ressources des versions d’essai avec celles du modèle complet. 1312213

SenseTime indique qu’elle publiera le code d’entraînement couvrant notamment l’affinage supervisé, l’apprentissage par renforcement et la distillation on-policy. Le rapport et les fiches des modèles ne suffisent toutefois pas, à eux seuls, à établir que l’intégralité de ce code promis est déjà disponible. 13