Runway Solaris: כך נראית אפליקציה שנוצרת פריים אחר פריים

Runway מציעה ב-Solaris שינוי עמוק בדרך שבה תוכנה נוצרת ונחווית: במקום לטעון ממשק שתוכנן מראש ומכיל מסכים קבועים, המערכת מייצרת את הממשק עצמו באופן רציף. המסך אמור להתנהג כמו עולם חזותי חי — כזה שמשתנה כשמשתמשים לוחצים, גוררים, מקלידים או מתארים במילים מה הם רוצים שיקרה. 38

לכן Solaris הוא יותר מבונה אפליקציות ללא קוד. מדובר בניסיון ליישם גישה של "מודל עולם" על ממשקי תוכנה: המסך אינו תוצאה של קוד קבוע, אלא רצף מתמשך של מצבים חזותיים שנוצרים מחדש בהתאם לפעולות המשתמש.

מהו Runway Solaris?

Runway הציגה את Solaris ב-31 באוגוסט כ-"מודל עולם לממשקים" — Interface World Model — במסגרת מחקר ניסיוני. הרעיון המרכזי הוא להחליף את התהליך המקובל, שבו כותבים HTML, CSS ו-JavaScript ואז הדפדפן מציג אותם, ביצירה ישירה של הממשק הנראה לעין.

חוויה המבוססת על Solaris יכולה להתחיל מתמונה או מסגרת חזותית, למשל סצנה של מוצר, סביבת מותג או עולם מעוצב. משם המודל מייצר את הממשק ומעדכן אותו בתגובה לאינטראקציות. אין בהכרח מסכים מוכנים מראש שכל אחד מהם תוכנן בנפרד; המערכת מנסה לסנתז בכל רגע את מה שאמור להופיע בהמשך.

ההבדל הזה חשוב במיוחד בממשקים עשירים מבחינה חזותית. כאשר מודל נדרש לתרגם תמונה או רעיון לקוד, חלק מהמידע החזותי עלול ללכת לאיבוד. ב-Solaris הסצנה החזותית נשארת הפלט המרכזי, ו-Runway אומרת שהגישה נועדה לשמר לכידות והתנהגות טבעית יותר במהלך האינטראקציה.

איך Solaris מייצר ממשק אינטראקטיבי?

המערכת מפרידה בין הבנת הפעולה לבין יצירת התוצאה החזותית:

1. המשתמש מספק פעולה או הוראה. הוא יכול ללחוץ על אובייקט, לגרור רכיב, להקליד טקסט או לבקש שינוי בשפה טבעית.
2. מודל שפה מפרש את הכוונה. הוא מנסה לקבוע מה אמור לקרות, האם הסצנה הנוכחית צריכה להשתנות ואיך לתאר את ההתנהגות למודל החזותי. 38
3. מודל עולם לממשקים מייצר את המצב הבא. במקום להחזיר עמוד מקודד, Solaris מפיק את הפריים הבא בהתאם לפעולה ולהיסטוריה של הפריימים הקודמים.
4. התהליך חוזר על עצמו. כל פעולה חדשה הופכת לחלק מההקשר להמשך, ולכן הממשק מתפתח ברצף ולא קופץ בין מספר מוגבל של מסכים שתוכננו מראש.

הרכיב החזותי נשען על טכנולוגיית יצירת הווידאו Gen-4.5 של Runway. בתיעוד למפתחים Gen-4.5 מתואר כמודל ליצירת וידאו מטקסט ומתמונה, ואילו Solaris מיישם את הבסיס הזה בסביבה אינטראקטיבית ואוטורגרסיבית — כלומר, כזו שמייצרת כל מצב על סמך מה שקדם לו. 46

מה מאפשר למערכת לפעול בזמן אמת?

יצירת מצב חזותי חדש אחרי כל פעולה שונה מאוד מיצירת סרטון קצר. לכן Solaris משתמש בכמה טכניקות שנועדו לצמצם שיהוי ולשמור על איכות לאורך סשן ממושך.

יצירת פריימים ברצף

המודל מייצר פריימים באופן אוטורגרסיבי, כאשר כל פריים מותנה בפריימים שהופיעו לפניו. כך הוא יכול להמשיך את הסצנה הקיימת בעקבות פעולה, במקום להתחיל יצירה חדשה ולא קשורה בכל פעם.

זיקוק למודל מהיר יותר

Runway אומרת שהיא מזקקת מודל דיפוזיה איטי יותר — "המורה" — למודל מהיר שזקוק למספר קטן בלבד של שלבי הסרת רעש. המטרה היא להפחית את החישוב הנדרש לכל תגובה, תוך שמירה על איכות מספקת לשימוש אינטראקטיבי.

אימון על הפלטים של המודל עצמו

לפי Runway, המודל המהיר אומן גם על הפלטים שהוא עצמו יצר. המטרה היא לצמצם הידרדרות באיכות כאשר המערכת מפיקה רצף ארוך של פריימים התלויים זה בזה, מצב שבו שגיאות קטנות עלולות להצטבר לאורך זמן.

יעדי התכנון שעליהם הצהירה Runway כוללים שיהוי אינטראקציה של פחות מכחצי שנייה, עקביות לאורך סשן שלם ואיכות חזותית ברזולוציית 720p. אלה יעדי מחקר, ולא הבטחה שכל אינטראקציה עם Solaris תעמוד בהם.

כיצד Solaris השווה לממשקים שנכתבו בקוד?

Runway מדווחת על מחקר משתמשים שכלל 250 משתתפים וכ-7,500 השוואות זוגיות במסגרת 30 דוגמאות של אינטראקציה. המשתתפים השוו בין ממשקים שנוצרו על ידי Solaris לבין ממשקים שנוצרו כקוד באמצעות Claude Opus 5.

לפי התוצאות שפורסמו, המשתתפים העדיפו את Solaris:

• ב-61% מהמקרים בכל הנוגע למילוי הוראות
• ב-71% מהמקרים בכל הנוגע להתנהגות טבעית

התוצאות עשויות להצביע על כך שממשקים שנוצרים באופן גנרטיבי מרגישים לעיתים עקביים יותר מבחינה חזותית או אינטואיטיביים יותר מבחינה פיזית. עם זאת, הן אינן מוכיחות ש-Solaris טובה יותר מתוכנה מסורתית באופן כללי. ההשוואה עוסקת בשיפוטים סובייקטיביים של אינטראקציה — לא באמינות, נכונות, אבטחה, תחזוקתיות, עלות, ביצועים או נגישות. החומרים הזמינים אינם מאפשרים להעריך באופן עצמאי את מלוא שיטת המחקר או את הניתוח הסטטיסטי שלו.

המגבלות החשובות של Solaris

אותו מנגנון שמעניק ל-Solaris גמישות יוצר גם שורה של בעיות הנדסיות ומוצריות משמעותיות.

טקסט שנוצר עדיין אינו יציב

טקסט קריא ומדויק הוא אתגר ותיק במערכות ליצירת תמונות ווידאו בזמן אמת. המערכת עשויה להציג ממשק מרשים, אך לייצר באופן שגוי כותרות, מספרים, תפריטים או הוראות. Runway מזהה את יצירת הטקסט כבעיה שטרם נפתרה ומציעה אפשרות לגישה היברידית: שימוש במודלי תמונה לרגעים סטטיים ועשירי טקסט, ובמודלי וידאו לאינטראקציה רציפה.

הממשק עשוי להיראות משכנע — ועדיין לטעות

ממשק שנוצר ונראה אמין אינו בהכרח אמין מבחינה עובדתית. Solaris נשענת כיום במידה רבה על תמונת הפתיחה ועל חומרי העזר שסופקו לה, ולכן היא עלולה להציג תשובה, פרט על מוצר או ייצוג חזותי שגויים בביטחון רב. Runway מציינת מידע מאומת יותר, מסמכים וחומרי עזר עשירים ככיוון למחקר עתידי.

סשנים ארוכים עלולים לפגוע בעקביות

מכיוון שכל מצב תלוי בשרשרת של מצבים והחלטות שנוצרו קודם לכן, שגיאות עלולות להצטבר במהלך שימוש פתוח וממושך. שמירה על עקביות של הסצנה, תכונות האובייקטים, ההוראות והיסטוריית האינטראקציה לאורך זמן נותרה בעיית מחקר פעילה.

יצירת כל פריים עולה במשאבים

אתר רגיל שולח קוד ונכסים שהמכשיר של המשתמש מרנדר. Solaris, לעומת זאת, מבצעת עבודה גנרטיבית מתמשכת כדי להפיק את התוצאה הנראית לעין. Runway אומרת שהאופטימיזציות שלה הופכות את התהליך לזול משמעותית מדיפוזיית וידאו רגילה, אך יצירה פריים אחר פריים עדיין תובענית יותר מהצגת עמוד שקודד מראש. יעד האיכות החזותית של אב-הטיפוס הוא 720p.

נגישות ושילוב במערכות אחרות עדיין לא פתורים

תמונה מרונדרת אינה חושפת באופן אוטומטי את המשמעות המבנית שעליה מסתמכים קוראי מסך וטכנולוגיות מסייעות אחרות. היא גם אינה מספקת מעצמה את מצב המערכת הניתן לבדיקה, את מבנה האירועים ואת הממשקים הצפויים שתוכנות רבות זקוקות להם. אנליסטים זיהו את היעדרו של DOM קונבנציונלי ושל שכבת נגישות כמכשול מרכזי לפריסה בסביבות שבהן נגישות וביקורתיות הן דרישות קריטיות.

האם Solaris זמינה לציבור?

Solaris הוצגה כמחקר ניסיוני ולא כפלטפורמה זמינה באופן נרחב לייצור. הדיווחים מתארים אותה כתצוגת מחקר עם גישה מוקדמת או גישה באישור, ולא כמוצר כללי לבניית אפליקציות.

בשלב הנוכחי, החשיבות שלה היא בעיקר רעיונית ומחקרית. היא מדגימה כיוון אפשרי לממשקי תוכנה, אך עדיין אינה מספקת הוכחה לכך שצוותים יכולים להשתמש בה כתחליף ישיר לאפליקציות שנבנות בקוד.

מה הקשר בין Solaris ל-GWM-1 של Runway?

Solaris קשורה למחקר הרחב יותר של Runway בתחום מודלי העולם, אך מיועדת למטרה אחרת. Runway מתארת את GWM-1 כמדמה כללי בזמן אמת לסביבות, אווטארים ומניפולציה רובוטית. Solaris מצמצמת את רעיון מודל העולם לממשקי תוכנה: ה"עולם" המדומה הוא אפליקציה או אתר, ופעולות המשתמש מניעות את ההתפתחות שלו. 12

במובן הזה, Solaris מרחיבה את המיקוד של Runway מיצירת מדיה ליצירת סביבות חזותיות אינטראקטיביות. הממשק אינו רק סרטון שצופים בו; הוא סצנה שמגיבה לפעולות ונוצרת מחדש ככל שהאינטראקציה נמשכת.

מדוע Runway חושבת ש-Solaris עשויה להיות חשובה?

דרך אחרת ליצור תוכנה

אם הגישה תהפוך לאמינה, יוצרים יוכלו לתאר סביבה חזותית, מוצרים, מטרות והתנהגויות בשפה טבעית, במקום לממש בקוד כל מצב אפשרי. הדבר עשוי להתאים במיוחד לחוויות חקרניות, מרחביות או חזותיות מאוד, שבהן פריסות ממשק מסורתיות מרגישות מגבילות.

המחיר הוא שהגמישות תגיע מיצירה גנרטיבית במקום מלוגיקה מפורשת של תוכנה. בתוכנות ייצור עדיין יהיה צורך בהתנהגות צפויה, יכולת בדיקה, שלמות נתונים, נגישות ושילוב עם מערכות אחרות — תחומים שבהם Solaris עדיין לא הוכיחה שהיא יכולה להחליף את שיטות ההנדסה המקובלות.

שכבת ממשק חדשה לסוכני AI

Solaris מצביעה גם על דרך שבה סוכני AI יוכלו לפעול בסביבות חזותיות לא מוכרות. במקום להסתמך רק על ממשקי API קבועים או על תהליכי עבודה שנכתבו מראש, סוכן יוכל לפרש ממשק כעולם דינמי, לבצע פעולה, להתבונן במצב שנוצר ולהמשיך ממנו.

זו שאיפה משמעותית עבור סוכנים שנדרשים לנווט בממשקים שלא תוכננו סביב סכמת אוטומציה מוכרת. עם זאת, מדובר עדיין בכיוון מחקרי. ממשקי API מובנים ותוכנה נגישה מסורתית מספקים יתרונות חשובים במשימות הדורשות יכולת ביקורת, דיוק וביצוע שחוזר על עצמו באופן אמין.

השורה התחתונה

Solaris היא בראש ובראשונה תצוגת מחקר של ממשקי תוכנה גנרטיביים — לא הכרזה על סופה של כתיבת אפליקציות בקוד. הרעיון הייחודי שלה הוא להפוך את הממשק עצמו לפלט של המודל: רצף של פריימים שנוצרים באמצעות AI, מונחים על ידי מודל שפה ומעוצבים לפי פעולות המשתמש.

המחקר שעליו דיווחה Runway מצביע על כך שמשתמשים מעדיפים לעיתים את הגישה הזו בכל הנוגע לאינטראקציה טבעית ולמילוי הוראות. אך הבעיות שעדיין נותרו פתוחות — דיוק טקסט, ביסוס עובדתי, עקביות לאורך סשן, עלות יצירה, נגישות ושילוב במערכות — הן דרישות מוצר מרכזיות, לא תיקוני ליטוש קטנים. Solaris מראה כיצד עשוי להיראות "מודל עולם לממשקים", ובמקביל מבהירה מדוע עדיין קשה כל כך להחליף תוכנה מסורתית שנבנתה בקוד.