SenseNova U1.5: cómo un solo modelo entiende imágenes y las genera en 4K

La propuesta de SenseNova U1.5 es usar una misma arquitectura para interpretar una imagen y crear otra. El modelo de SenseTime tiene unos 8.000 millones de parámetros y emplea una arquitectura Mixture of Transformers (MoT). No necesita un codificador visual externo para leer imágenes ni un autoencoder variacional —VAE, por sus siglas en inglés— para convertir una representación latente en la imagen final: reconstruye la salida en píxeles RGB. Según su informe técnico, este diseño permite combinar comprensión, razonamiento, generación y edición visual, con salidas de hasta 4096 × 4096 píxeles. 13

La diferencia está en cómo recompone la imagen

U1.5 representa regiones de la imagen mediante tokens visuales de 32 × 32 píxeles. Así puede trabajar con una secuencia visual compacta dentro de la misma arquitectura. Pero el cambio más importante respecto de U1 aparece al generar la imagen: el modelo anterior predecía cada bloque por separado mediante una cabeza MLP —una red neuronal multicapa—, lo que a alta resolución podía dejar uniones, cuadrículas o discontinuidades en las texturas. 12122

U1.5 vuelve a organizar los estados visuales en una cuadrícula bidimensional y los pasa por un decodificador espacial ligero que combina Pixel Shuffle progresivo con convoluciones de 3 × 3. En lugar de reconstruir cada bloque de forma aislada, permite que las zonas vecinas influyan en el resultado. Es una solución pensada para mejorar la continuidad de la imagen, no una garantía de que desaparezcan todos los artefactos. 1322

Para generar hasta 4K, SenseTime añade un acondicionamiento del ruido según la resolución: combina una representación de la escala de ruido, dependiente del tamaño de salida, con el paso temporal de generación. El decodificador atiende a la continuidad entre bloques; este otro mecanismo adapta el proceso al cambio de resolución. 1329

Entrenar especialistas para obtener un modelo unificado

En el entrenamiento posterior, SenseTime optimiza expertos para estética visual, representación de texto en chino e inglés, infografías y edición de imágenes. Después reúne esas capacidades mediante destilación de múltiples expertos con datos generados por la política del propio modelo (on-policy distillation). Los especialistas forman parte del entrenamiento: la propuesta final es un modelo unificado, no cuatro modelos que deban ejecutarse para cada solicitud. 129

Frente a U1, SenseTime comunica mejoras en detalle a alta resolución, continuidad espacial, texto, composición de diseños y edición, sin abandonar la capacidad de comprender imágenes ni el diseño sin codificador visual externo ni VAE. El informe presenta puntuaciones de 0,92 en GenEval, 0,948 en CVTG-2K y 4,59 en ImgEdit. Son resultados comunicados para esas evaluaciones, no una prueba independiente de que U1.5 mejore en todas las tareas visuales. 1328

Qué se puede consultar y qué sigue pendiente

El informe técnico es público y hay una ficha oficial en Hugging Face para el checkpoint SenseNova-U1.5-8B-MoT. Esa ficha corresponde a un modelo distinto de SenseNova-U1.5-8B-MoT-Preview y de la versión U1.5-Lite-Preview anunciada por separado; no conviene confundir los activos preliminares con los del modelo completo. 1312213

SenseTime afirma que publicará el código de entrenamiento para ajuste fino supervisado, aprendizaje por refuerzo y destilación on-policy. Ni el informe ni las fichas del modelo demuestran por sí solos que todo ese código prometido esté ya disponible. 13