SenseNova U1.5: yksi malli kuvien tulkintaan ja luomiseen

SenseNova U1.5:n keskeinen ajatus on yksinkertainen: saman mallin pitäisi sekä ymmärtää kuvaa että luoda sitä. SenseTimen 8 miljardin parametrin Mixture-of-Transformers- eli MoT-malli käsittelee myös visuaalista päättelyä ja kuvien muokkausta. Se ei käytä erillistä kuvaenkooderia kuvien tulkintaan eikä variatiivista autoenkooderia (VAE) luotujen kuvien purkamiseen, vaan tuottaa kuvan RGB-pikseliavaruuteen. SenseTimen mukaan rakenne säilyttää kuvien ymmärtämiskyvyn ja tukee luomista jopa 4K-tarkkuudella. 13

Miksi kuvasta ei pitäisi näkyä ruudukkoa?

U1.5 esittää kuvan alueet 32 × 32 pikselin visuaalisina tokeneina. Näin kuva muuttuu mallille käsiteltäväksi sarjaksi ilman erillistä kuvaenkooderia. Kuvan luomisessa malli rekonstruoi lopputuloksen RGB-pikseleiksi ilman VAE:n purkamaa väliesitystä. 121

Suurin muutos edeltävään U1-malliin on rekonstruktiossa. U1 ennusti kuva-alueet toisistaan riippumatta monikerroksisella perseptronilla (MLP). Suuressa kuvassa alueiden rajat saattoivat siksi näkyä saumoina tai ruudukkona. U1.5 palauttaa visuaaliset esitykset kaksiulotteiseen ruudukkoon ja käyttää kevyttä tilallista dekooderia, jossa Pixel Shuffle -vaiheet ja 3 × 3 -konvoluutiot rakentavat kuvaa asteittain. Vierekkäiset alueet voivat siten vaikuttaa toistensa lopputulokseen. 1322

Jopa 4096 × 4096 pikselin kuvien luomista varten SenseTime kuvaa lisäksi resoluution huomioivan kohinaehdollistuksen. Malli yhdistää kuvan koosta riippuvan kohinaskaalaa kuvaavan upotteen generoinnin aika-askeleeseen, jotta se voi huomioida kohinan käyttäytymisen muuttumisen tarkkuuden kasvaessa. Tilallinen dekooderi tähtää alueiden jatkuvuuteen, kohinaehdollistus taas kuvakoon vaikutukseen. Kumpikaan ei tarkoita, että jokainen 4K-kuva olisi virheetön. 1329

Miksi yksi malli koulutetaan asiantuntijoiden avulla?

SenseTimen koulutustapa on erikoistu ensin, yhdistä sitten. Jälkikoulutuksessa optimoidaan asiantuntijamalleja kuvan estetiikkaan, kiinan- ja englanninkielisen tekstin esittämiseen, infografiikkaan sekä kuvankäsittelyyn. Niiden osaaminen yhdistetään yhteen malliin usean asiantuntijan on-policy-tislauksella. Asiantuntijat ovat siis osa koulutusta, eivät neljä erillistä mallia, joita jokainen käyttäjän pyyntö edellyttäisi. 129

SenseTime raportoi U1:een verrattuna parempaa suurten kuvien yksityiskohtaisuutta ja alueiden välistä jatkuvuutta sekä edistystä tekstissä, asetteluissa ja muokkauksessa. Samalla U1.5 säilyttää arkkitehtuurin, jossa kuvien ymmärtäminen ja luominen tapahtuvat ilman erillistä kuvaenkooderia ja VAE:ta. Raportoidut tulokset ovat GenEval 0,92, CVTG-2K 0,948 ja ImgEdit 4,59. Ne ovat ilmoitettuja testituloksia, eivät riippumaton näyttö parannuksesta kaikissa kuvatehtävissä. 1328

Mitä on saatavilla?

U1.5:n tekninen raportti on julkinen. Hugging Facessa on lisäksi virallinen SenseNova-U1.5-8B-MoT-mallin sivu. Se on eri listaus kuin U1.5-8B-MoT-Preview; SenseTime on myös ilmoittanut erikseen U1.5-Lite-Preview-julkaisusta. Esiversioita ei pidä sekoittaa täyden mallin listaukseen. 1312213

SenseTime sanoo aikovansa julkaista avoimena koulutuskoodia ohjattuun hienosäätöön, vahvistusoppimiseen ja on-policy-tislaukseen. Raportti ja mallien sivut eivät yksin osoita, että koko luvattu koulutuskoodi olisi jo julkaistu. 13