SenseNova U1.5 hợp nhất khả năng đọc và tạo ảnh như thế nào?

Điểm đáng chú ý ở SenseNova U1.5 không chỉ là khả năng tạo ảnh tới 4096 × 4096 pixel. SenseTime thiết kế mô hình Mixture-of-Transformers (MoT) khoảng 8 tỷ tham số để xử lý cả việc hiểu, suy luận về ảnh lẫn tạo và chỉnh sửa ảnh. Mô hình không chuyển ảnh đầu vào cho một bộ mã hóa thị giác bên ngoài, cũng không dùng bộ tự mã hóa biến phân (VAE) để giải mã ảnh tạo ra; đầu ra được tái tạo trong không gian pixel RGB. 13

Một mô hình đọc và tạo ảnh bằng cách nào?

U1.5 biểu diễn các vùng ảnh bằng token thị giác tương ứng với vùng 32 × 32 pixel. Cách này biến ảnh thành một chuỗi gọn hơn để mô hình xử lý, trong khi việc tạo ảnh vẫn đi qua giao diện thị giác chung thay vì một bộ giải mã VAE riêng. 121

Thay đổi quan trọng so với U1 nằm ở bước tái tạo ảnh. U1 dùng một mạng perceptron nhiều lớp (MLP) để dự đoán độc lập từng mảnh ảnh; khi phóng lên độ phân giải cao, ranh giới giữa các mảnh có thể hiện thành đường nối hoặc ô lưới. U1.5 đưa các trạng thái thị giác trở lại bố cục hai chiều, rồi dùng bộ giải mã không gian nhẹ với Pixel Shuffle theo từng bước và các phép tích chập 3 × 3. Nhờ vậy, những vùng kề nhau có thể ảnh hưởng tới quá trình dựng ảnh, thay vì bị xử lý hoàn toàn tách biệt. 1322

Để hỗ trợ tạo ảnh tới 4096 × 4096 pixel, SenseTime còn mô tả cơ chế điều kiện nhiễu theo độ phân giải: thông tin về mức nhiễu phụ thuộc kích thước ảnh được kết hợp với bước tạo ảnh, giúp mô hình tính đến việc đặc tính nhiễu thay đổi theo độ phân giải đầu ra. Bộ giải mã không gian nhắm vào tính liền mạch giữa các mảnh; cơ chế điều kiện nhiễu nhắm vào sự thay đổi quy mô. Đây là các giải pháp nhằm giúp quá trình tạo ảnh 4K ổn định hơn, không phải cam kết ảnh sẽ không còn lỗi. 1329

Vì sao huấn luyện nhiều chuyên gia nhưng chỉ dùng một mô hình?

SenseTime chọn cách chuyên môn hóa trước, hợp nhất sau. Ở giai đoạn hậu huấn luyện, hãng tối ưu các mô hình chuyên biệt cho tính thẩm mỹ, hiển thị chữ Trung và Anh, tạo đồ họa thông tin và chỉnh sửa ảnh. Sau đó, năng lực của chúng được gom vào mô hình thống nhất bằng phương pháp chưng cất đa chuyên gia theo chính sách hiện hành (multi-expert on-policy distillation). Các chuyên gia phục vụ quá trình huấn luyện; mô tả này không có nghĩa mỗi yêu cầu của người dùng phải chạy bốn mô hình riêng. 129

So với U1, SenseTime báo cáo ảnh độ phân giải cao có chi tiết và tính liền mạch không gian tốt hơn, cùng cải thiện ở chữ trong ảnh, bố cục và chỉnh sửa. U1.5 vẫn giữ hướng thiết kế thống nhất khả năng hiểu và tạo ảnh, không cần bộ mã hóa thị giác bên ngoài hay VAE. Các điểm số được công bố gồm GenEval 0,92; CVTG-2K 0,948; và ImgEdit 4,59. Đó là kết quả đánh giá do các nguồn công bố, không phải bằng chứng độc lập rằng U1.5 tốt hơn ở mọi tác vụ thị giác. 1328

Tài liệu và mô hình nào đã có?

Báo cáo kỹ thuật U1.5 đã được công bố. Trên Hugging Face có trang riêng cho checkpoint SenseNova-U1.5-8B-MoT; cần phân biệt trang này với SenseNova-U1.5-8B-MoT-Preview và bản U1.5-Lite-Preview mà SenseTime công bố riêng. Không nên lấy tài nguyên của các bản Preview làm đại diện cho checkpoint đầy đủ. 1312213

SenseTime nói hãng sẽ công bố mã huấn luyện cho tinh chỉnh có giám sát, học tăng cường và chưng cất theo chính sách hiện hành. Việc báo cáo kỹ thuật và các trang mô hình đã xuất hiện chưa đủ để kết luận toàn bộ mã huấn luyện được hứa hẹn đã có sẵn. 13