SenseNova U1.5: как одна модель понимает изображения и создаёт их в 4K

SenseNova U1.5 — мультимодальная модель SenseTime на 8 млрд параметров с архитектурой Mixture of Transformers (MoT). Она работает с изображениями в обе стороны: анализирует их, решает визуальные задачи, создаёт и редактирует. По описанию разработчика, для этого ей не нужны отдельный визуальный энкодер на входе и вариационный автоэнкодер (VAE) для декодирования результата: изображение на выходе восстанавливается в пространстве RGB-пикселей. 13

Откуда берётся изображение в 4K

Модель представляет изображение последовательностью визуальных токенов, каждый из которых соответствует области размером 32×32 пикселя. Так она получает компактное представление для анализа и генерации, не передавая входное изображение внешнему визуальному энкодеру. 121

Ключевое отличие U1.5 от предыдущей U1 — как токены превращаются обратно в пиксели. В U1 небольшой модуль на основе многослойного перцептрона (MLP) восстанавливал каждый участок независимо. При высоком разрешении границы между участками могли проступать в виде швов или сетки. В U1.5 состояния токенов возвращаются в двумерную сетку, а лёгкий пространственный декодер последовательно восстанавливает изображение с помощью Pixel Shuffle и свёрток 3×3. Соседние участки теперь влияют друг на друга, что должно делать переходы между ними плавнее. 1322

Для генерации вплоть до 4096×4096 пикселей SenseTime также использует настройку уровня шума с учётом разрешения: представление масштаба шума, зависящее от размера изображения, объединяется с шагом генерации. Пространственный декодер решает проблему стыков между участками, а эта настройка помогает учитывать изменение поведения шума при увеличении размера результата. Речь о средствах повышения устойчивости генерации, а не о гарантии изображения без артефактов. 1329

Зачем обучать «специалистов», если модель одна

После основного обучения команда отдельно оптимизирует компоненты под визуальную эстетику, отображение китайского и английского текста, инфографику и редактирование. Затем их возможности объединяются методом multi-expert on-policy distillation — дистилляции на данных, получаемых при работе обучаемой модели. Специализация здесь относится к этапу обучения: она не означает, что для каждого пользовательского запроса нужно запускать четыре отдельные модели. 129

По данным SenseTime, относительно U1 новая версия лучше передаёт детали на высоком разрешении, сохраняет пространственную связность, работает с текстом и компоновкой элементов, а также редактирует изображения. При этом она сохраняет объединённый подход к анализу и генерации без внешнего визуального энкодера и VAE. Компания приводит результаты 0,92 на GenEval, 0,948 на CVTG-2K и 4,59 на ImgEdit. Это опубликованные оценки, а не доказательство превосходства во всех визуальных задачах. 1328

Что опубликовано

Доступен технический отчёт U1.5, а на платформе моделей Hugging Face есть отдельная официальная страница контрольной точки SenseNova-U1.5-8B-MoT. Её не следует путать со страницей SenseNova-U1.5-8B-MoT-Preview или с отдельно объявленной U1.5-Lite-Preview: материалы предварительных версий не равнозначны полному релизу. 1312213

SenseTime заявляет, что планирует открыть обучающий код для контролируемой донастройки, обучения с подкреплением и on-policy-дистилляции. Наличие отчёта и страниц моделей само по себе не подтверждает, что весь обещанный обучающий код уже доступен. 13