איך SenseNova U1.5 משלב הבנת תמונה ויצירתה במודל אחד

האתגר ב־SenseNova U1.5 הוא לא רק לגרום למודל לענות על שאלות לגבי תמונה וגם ליצור תמונה חדשה. האתגר הוא לעשות זאת באותה ארכיטקטורה, בלי להעביר את התמונה למקודד ראייה חיצוני ובלי להשתמש ב־VAE — רכיב שנפוץ לשחזור תמונה מייצוג דחוס. לפי הדוח של SenseTime, מודל Mixture of Transformers ‏(MoT) בעל כ־8 מיליארד פרמטרים משלב הבנה, הסקה חזותית, יצירה ועריכה, ומשחזר את הפלט במרחב פיקסלי RGB. 13

איך המודל גם ״רואה״ וגם מצייר?

U1.5 מייצג אזורי תמונה באמצעות טוקנים חזותיים של 32×32 פיקסלים. כך הוא יכול לעבוד עם רצף קומפקטי יחסית של מידע חזותי, בלי מקודד ראייה נפרד. בצד היצירה, מצבי המודל החזותיים משמשים לשחזור פיקסלי RGB, ולא עוברים דרך VAE שמפענח ייצוג תמונה דחוס. זהו הממשק המשותף שעליו נשען השילוב בין תפיסה ליצירה. 121

השינוי הבולט לעומת U1 נמצא בשלב שחזור התמונה. הדגם הקודם חזה כל מקטע תמונה בנפרד באמצעות רכיב MLP; ברזולוציה גבוהה, גבולות בין המקטעים יכלו להיראות כמו תפרים או דוגמת רשת. ב־U1.5 המצבים החזותיים מסודרים מחדש כרשת דו־ממדית ומועברים למפענח מרחבי קל, שמשתמש בשלבים של Pixel Shuffle ובקונבולוציות 3×3. כך אזורים שכנים יכולים להשפיע זה על זה בשחזור, במקום להיווצר בבידוד. 1322

ליצירה של עד 4096×4096 פיקסלים, SenseTime מתארת גם התאמת רעש לרזולוציה: ייצוג של עוצמת רעש התלויה בגודל התמונה משולב עם שלב תהליך היצירה. המפענח המרחבי מטפל ברציפות בין מקטעים; התאמת הרעש נועדה להתמודד עם שינוי קנה המידה. אלה צעדים לשיפור יציבות היצירה ב־4K, לא הבטחה לתמונה נטולת פגמים. 1329

למה לאמן מומחים אם התוצאה היא מודל אחד?

גישת האימון המתקדם של SenseTime היא להתמחות ואז לאחד: החברה מאמנת מומחים לאסתטיקה חזותית, להצגת טקסט בסינית ובאנגלית, לאינפוגרפיקה ולעריכת תמונות, ואז מאחדת את יכולותיהם במודל באמצעות זיקוק רב־מומחים בשיטת on-policy. המומחים הם חלק מתהליך האימון; התוצאה המתוארת היא מודל מאוחד, לא דרישה להפעיל ארבעה מודלים בכל בקשה. 129

בהשוואה ל־U1, החברה מדווחת על פרטים חדים יותר ברזולוציה גבוהה ועל רציפות מרחבית משופרת, לצד שיפור בהצגת טקסט, בפריסות ובעריכה. לדבריה, המודל שומר גם על יכולות הבנת התמונה ועל הגישה שאינה משתמשת במקודד ראייה חיצוני או ב־VAE. התוצאות המדווחות הן 0.92 ב־GenEval, ‏0.948 ב־CVTG-2K ו־4.59 ב־ImgEdit. אלה ציוני הערכה שדווחו על המודל, ולא הוכחה עצמאית לשיפור בכל משימה חזותית. 1328

מה פורסם בפועל?

הדוח הטכני של U1.5 פומבי, וב־Hugging Face מופיע רישום רשמי של נקודת ביקורת בשם SenseNova-U1.5-8B-MoT. יש להבחין בינו לבין העמוד של U1.5-8B-MoT-Preview ובין גרסת U1.5-Lite-Preview ש־SenseTime הציגה בנפרד. נכסי גרסאות התצוגה המקדימה אינם תחליף לזיהוי הנכון של המודל המלא. 1312213

SenseTime אומרת כי תפרסם בקוד פתוח קוד אימון לכוונון מפוקח, ללמידת חיזוק ולזיקוק בשיטת on-policy. עצם פרסום הדוח ורישומי המודלים אינו מאשר שכל קוד האימון שהובטח כבר זמין. 13