SenseNova U1.5 unisce comprensione visiva e generazione di immagini

SenseNova U1.5 prova a risolvere una difficoltà concreta: usare lo stesso modello per capire un’immagine e crearne una, senza delegare la lettura a un encoder visivo esterno o la ricostruzione dell’output a un autoencoder variazionale (VAE). SenseTime lo presenta come un modello Mixture-of-Transformers (MoT) da 8 miliardi di parametri, capace anche di ragionamento visivo e modifica delle immagini, con generazione fino a 4K. 13

Dai token ai pixel: che cosa cambia rispetto a U1

U1.5 rappresenta le immagini attraverso token visivi corrispondenti a regioni di 32 × 32 pixel. Questa rappresentazione consente di trattare le informazioni visive come una sequenza gestibile dal modello. Quando genera un’immagine, il sistema ricostruisce direttamente i pixel RGB, anziché passare da un’immagine latente decodificata da un VAE. 121

Il cambiamento più importante riguarda l’ultimo passaggio. In U1, una rete MLP ricostruiva ogni porzione d’immagine separatamente: ad alta risoluzione, i confini tra porzioni potevano diventare visibili come una griglia o come interruzioni nelle texture. U1.5 dispone invece gli stati visivi su una griglia bidimensionale e impiega un decoder spaziale con Pixel Shuffle progressivo e convoluzioni 3 × 3. Le regioni adiacenti possono così influenzarsi durante la ricostruzione. L’obiettivo è ottenere transizioni più continue, non semplicemente aumentare il numero di pixel. 1322

Per arrivare fino a 4.096 × 4.096 pixel, SenseTime descrive anche un condizionamento del rumore sensibile alla risoluzione: un’informazione sulla scala del rumore, dipendente dalla risoluzione, viene combinata con la fase del processo di generazione. Il decoder affronta la continuità tra regioni; questo secondo accorgimento adatta il processo al cambiamento di dimensioni dell’immagine. Sono soluzioni pensate per rendere più stabile la generazione nativa a 4K, non una garanzia che ogni risultato sia privo di difetti. 1329

Perché addestrare esperti se il modello finale è uno solo?

La strategia di post-addestramento è specializzare, poi riunire. SenseTime ottimizza esperti per l’estetica delle immagini, la resa del testo in cinese e inglese, le infografiche e la modifica delle immagini. Ne integra poi le capacità mediante una distillazione on-policy multi-esperto. Gli esperti appartengono dunque al percorso di addestramento: il risultato descritto è un modello unificato, non quattro modelli specialistici da eseguire per ogni richiesta. 129

Rispetto a U1, SenseTime riferisce miglioramenti nei dettagli ad alta risoluzione, nella continuità spaziale, nella resa del testo, nei layout e nell’editing, mantenendo l’impostazione che combina comprensione e generazione senza encoder esterno né VAE. I risultati comunicati comprendono 0,92 su GenEval, 0,948 su CVTG-2K e 4,59 su ImgEdit. Sono punteggi riportati nelle valutazioni del modello, non la prova indipendente di un miglioramento in ogni compito visivo. 1328

Rapporto, checkpoint e codice: che cosa è disponibile?

Il rapporto tecnico di U1.5 è pubblico. Su Hugging Face compare inoltre una pagina ufficiale per il checkpoint SenseNova-U1.5-8B-MoT, distinta da quella di SenseNova-U1.5-8B-MoT-Preview e dall’uscita U1.5-Lite-Preview annunciata separatamente da SenseTime. Per valutare le risorse disponibili, queste versioni non vanno confuse tra loro. 1312213

SenseTime afferma che pubblicherà il codice di addestramento relativo a fine-tuning supervisionato, apprendimento per rinforzo e distillazione on-policy. Il rapporto e le pagine dei modelli, da soli, non dimostrano che l’intero codice promesso sia già disponibile. 13