SenseNova U1.5 görselleri nasıl anlayıp 4K çözünürlükte üretiyor?

SenseNova U1.5’in çıkış noktası şu: Bir yapay zekâ modeli, görseli anlamak ve yeni bir görsel üretmek için ayrı sistemlere ihtiyaç duymadan ikisini de yapabilir mi? SenseTime’ın teknik raporu, 8 milyar parametreli Mixture-of-Transformers (MoT) modelini bu hedefle tanımlıyor. U1.5; görsel anlama, görseller hakkında akıl yürütme, üretim ve düzenlemeyi aynı mimaride birleştiriyor. Harici bir görsel kodlayıcıya ya da üretilen görüntüyü çözmek için VAE’ye —değişken otokodlayıcıya— dayanmıyor; çıktıyı RGB piksel uzayında yeniden oluşturuyor. 13

Aynı model görseli nasıl okuyup üretiyor?

U1.5, görüntü bölgelerini 32×32 piksellik görsel belirteçlerle temsil ediyor. Böylece görsel, modelin işleyebileceği bir diziye dönüşüyor. Üretim aşamasında ise modelin görsel durumları, bir VAE’nin ara gösterimini çözmek yerine RGB piksellere dönüştürülüyor. Görseli yorumlama ile görsel oluşturmayı buluşturan ortak arayüz bu. 121

U1’e göre belirleyici değişiklik, görüntünün yeniden oluşturulma biçiminde. Önceki model, her görüntü parçasını çok katmanlı algılayıcı (MLP) aracılığıyla bağımsız olarak tahmin ediyordu. Yüksek çözünürlükte bu yöntem, parçaların birleştiği yerlerde çizgi veya ızgara izleri bırakabiliyordu. U1.5 ise görsel durumları yeniden iki boyutlu bir düzene yerleştiriyor; Pixel Shuffle aşamaları ve 3×3 evrişimler kullanan hafif bir uzamsal çözücüyle komşu bölgeleri birbirini dikkate alarak oluşturuyor. Amaç, parça sınırlarında daha tutarlı bir görüntü elde etmek. 1322

4096×4096 piksele kadar üretim için ikinci bir düzenleme de var: çözünürlüğe duyarlı gürültü koşullandırması. Teknik rapora göre çözünürlüğe bağlı bir gürültü ölçeği gösterimi, üretim sürecinin zaman adımıyla birleştiriliyor. Uzamsal çözücü parça sınırlarına, bu koşullandırma ise çıktı boyutu değiştiğinde gürültünün davranışına odaklanıyor. İkisi birlikte doğal 4K üretimi daha kararlı hâle getirmeyi hedefliyor; her görselin kusursuz çıkacağını garanti etmiyor. 1329

Neden önce uzman modeller eğitiliyor?

SenseTime’ın yaklaşımı önce uzmanlaştırmak, sonra birleştirmek. Eğitim sonrası aşamada görsel estetik, Çince ve İngilizce metin oluşturma, infografik üretimi ve görsel düzenleme için uzmanlar geliştiriliyor. Ardından bu yetenekler, çoklu uzmanlı on-policy distillation yöntemiyle tek modelde bir araya getiriliyor. Başka bir deyişle uzmanlar eğitim sürecinin parçası; her kullanıcı isteğinde dört ayrı modelin çalıştırılması gerekmiyor. 129

SenseTime, U1.5’in U1’e kıyasla yüksek çözünürlüklü ayrıntılarda ve görüntü parçaları arasındaki süreklilikte ilerleme sağladığını; metin oluşturma, yerleşim ve düzenlemede de iyileştiğini bildiriyor. Model, görseli hem anlama hem üretme yeteneğini ve harici görsel kodlayıcı ile VAE kullanmayan tasarımını koruyor. Açıklanan değerlendirme sonuçları GenEval’de 0,92, CVTG-2K’de 0,948 ve ImgEdit’te 4,59. Bunlar raporlanan test sonuçlarıdır; her görsel görevde bağımsız olarak doğrulanmış bir üstünlük anlamına gelmez. 1328

Tam sürümden neler yayımlandı?

U1.5 teknik raporu kamuya açık. Hugging Face’te ayrıca tam model için SenseNova-U1.5-8B-MoT adlı ayrı bir model sayfası bulunuyor. Bu sayfa, U1.5-8B-MoT-Preview sayfasından ve SenseTime’ın ayrıca duyurduğu U1.5-Lite-Preview sürümünden farklı; önizleme varlıklarını tam modelle karıştırmamak gerekiyor. 1312213

SenseTime, denetimli ince ayar, pekiştirmeli öğrenme ve on-policy distillation için eğitim kodunu açık kaynak olarak yayımlayacağını söylüyor. Teknik raporun ve model sayfalarının mevcut olması, vaat edilen eğitim kodunun tamamının hâlihazırda erişilebilir olduğunu tek başına göstermiyor. 13