Runway Solaris перетворює програми на живі світи, згенеровані ШІ

Runway Solaris пропонує радикально інший спосіб створення та використання програм. Замість того щоб завантажувати закодований інтерфейс із наперед визначеними екранами, система постійно генерує сам екран. Він змінюється у відповідь на клік, перетягування, введення тексту або опис бажаної дії. 38

Тому Solaris — це не просто конструктор застосунків без коду. Runway намагається застосувати підхід world model — моделі світу — до програмних інтерфейсів. У такій схемі екран є не результатом виконання фіксованої реалізації, а безперервною послідовністю згенерованих візуальних станів.

Що таке Runway Solaris

Runway представила Solaris 31 серпня як експериментальну «модель світу інтерфейсів» (Interface World Model). Її головна ідея — відмовитися від звичного ланцюжка «написати HTML, CSS і JavaScript, а потім доручити браузеру відобразити результат» на користь прямої генерації видимого інтерфейсу.

Сценарій Solaris може починатися із візуального референсу — наприклад, зображення продукту або фірмового середовища. Далі модель створює інтерфейс навколо цієї основи й оновлює його після кожної взаємодії. Розробник не має заздалегідь передбачити кожен екран: система намагається синтезувати те, що має з’явитися далі.

Це важливо для візуально складних інтерфейсів. Коли модель спершу перетворює зображення чи концепцію на код, частина деталей може загубитися. Solaris натомість залишає візуальну сцена головним результатом і, за задумом Runway, має краще зберігати цілісність та природність поведінки під час взаємодії.

Як Solaris створює інтерактивний інтерфейс

Solaris розділяє міркування про дію користувача та візуалізацію її результату.

1. Користувач вводить інструкцію або виконує дію. Це може бути клік по об’єкту, перетягування елемента, введення тексту чи прохання змінити сцену природною мовою.
2. Мовна модель інтерпретує намір. Вона визначає, що має статися далі, чи потрібно змінити поточну сцену, і як описати бажану поведінку візуальній моделі. 38
3. Модель світу інтерфейсу створює наступний стан. Замість закодованої вебсторінки Solaris генерує наступний візуальний кадр з урахуванням дії та попередніх кадрів.
4. Цикл повторюється. Кожна нова дія стає частиною контексту для наступних кадрів, тож інтерфейс безперервно розвивається, а не перемикається між обмеженим набором готових екранів.

Візуальна частина Solaris побудована на технології генерації відео Runway Gen-4.5. Документація Runway описує Gen-4.5 як модель для створення відео з тексту та зображення, тоді як Solaris використовує цю основу в інтерактивному авторегресивному режимі. 46

Що дає змогу працювати майже в реальному часі

Створювати новий візуальний стан після кожної дії набагато складніше, ніж згенерувати короткий відеокліп. Тому Solaris використовує кілька підходів, покликаних зменшити затримку та зберегти якість під час тривалої сесії.

Послідовна генерація кадрів

Модель створює кадри авторегресивно: кожен наступний залежить від попередніх. Завдяки цьому після дії система може продовжити поточний візуальний стан, а не починати генерацію непов’язаного результату з нуля.

Дистиляція у швидшу модель

Runway повідомляє, що повільнішу дифузійну модель — «вчителя» — дистилювали у швидшу модель, якій потрібна лише невелика кількість кроків денойзингу. Мета такого підходу — зменшити обчислення для кожної відповіді, зберігши достатню якість для інтерактивної роботи.

Навчання на власних результатах

За словами Runway, швидку модель також навчали на її власних згенерованих результатах. Це має зменшити погіршення якості в довгому ланцюжку залежних кадрів, де дрібні помилки інакше могли б накопичуватися.

Заявлені цілі Runway включають затримку взаємодії менш ніж приблизно пів секунди, цілісність протягом усієї сесії та якість зображення на рівні 720p. Це дослідницькі орієнтири, а не гарантія для кожної взаємодії із Solaris.

Як Solaris порівнювали із закодованими інтерфейсами

Runway повідомляє про дослідження за участю 250 людей і приблизно 7500 попарних оцінювань у 30 прикладах взаємодії. Учасники порівнювали інтерфейси Solaris з інтерфейсами, створеними у вигляді коду за допомогою Claude Opus 5.

За оприлюдненими результатами, учасники віддавали перевагу Solaris:

• у 61% випадків — за дотримання інструкцій;
• у 71% випадків — за природність поведінки.

Ці цифри вказують, що в окремих сценаріях згенеровані інтерфейси можуть здаватися візуально ціліснішими або інтуїтивнішими. Але вони не доводять, що Solaris загалом краща за звичайне програмне забезпечення. Дослідження стосувалося суб’єктивного сприйняття взаємодії, а не надійності, коректності, безпеки, вартості, супроводу, продуктивності чи доступності. Надані матеріали також не дають змоги незалежно оцінити повну методологію та статистичний аналіз дослідження.

Головні обмеження Solaris

Механізм, який надає Solaris гнучкості, водночас створює складні інженерні та продуктові проблеми.

Текст залишається нестабільним

Читабельний і точний текст — давня проблема генерації зображень та відео в реальному часі. Інтерфейс може виглядати переконливо, але неправильно відтворювати підписи, числа, меню або інструкції. Runway називає генерацію тексту невирішеною проблемою і припускає гібридний підхід: використовувати моделі зображень для статичних моментів із великою кількістю тексту, а відеомоделі — для безперервної взаємодії.

Переконливий вигляд не гарантує правильності

Візуально правдоподібний інтерфейс не обов’язково є фактично надійним. Наразі Solaris переважно спирається на початкове зображення та надані референси, тому може впевнено показати неправильну відповідь, характеристику продукту чи візуальне представлення. Runway називає перевірені дані, документи та ширший набір референсів напрямами подальших досліджень.

Довгі сесії можуть втрачати цілісність

Оскільки кожен стан залежить від ланцюжка попередніх згенерованих станів і рішень моделі, під час відкритої тривалої роботи помилки можуть накопичуватися. Узгодженість сцени, властивостей об’єктів, інструкцій та історії взаємодії залишається активною дослідницькою проблемою.

Генерація кожного кадру потребує ресурсів

Звичайний сайт зазвичай передає код і файли, які відображає пристрій користувача. Solaris натомість постійно виконує генеративну роботу, щоб створювати видимий результат. Runway заявляє, що її оптимізації роблять процес значно дешевшим за стандартну дифузію відео, але генерація кадр за кадром усе одно ресурсомісткіша, ніж відтворення фіксованої сторінки. Заявлена ціль прототипу щодо якості — 720p.

Доступність та інтеграція із програмами ще не вирішені

Згенероване зображення автоматично не надає структурованої семантики, на яку покладаються скринрідери та інші допоміжні технології. Воно також не забезпечує за замовчуванням стан, який можна перевірити, структуру подій і передбачувані інтерфейси, потрібні багатьом програмним системам. Аналітики називають відсутність звичайної DOM-структури та шару доступності серйозною перешкодою для впровадження такого підходу у сферах із високими вимогами до доступності та аудиту.

Чи доступна Solaris

Solaris представили як експериментальне дослідження, а не як широко доступну виробничу платформу для створення застосунків. Повідомляється про дослідницьке прев’ю з раннім доступом або доступом за запитом, а не про повноцінний загальнодоступний продукт.

Наразі її значення переважно концептуальне та дослідницьке. Solaris демонструє можливий напрям розвитку програмних інтерфейсів, але ще не дає підстав вважати себе готовою заміною застосункам, створеним традиційним способом.

Як Solaris пов’язана з GWM-1

Solaris є частиною ширшого напряму Runway у сфері моделей світу, але має інше призначення. Runway описує GWM-1 як універсальний симулятор реального часу для середовищ, аватарів і роботизованих маніпуляцій. Solaris звужує цю ідею до програмних інтерфейсів: «світом» для моделі стає застосунок або сайт, а дії користувача визначають його розвиток. 12

У цьому сенсі Solaris продовжує рух Runway від генерації медіа до створення інтерактивних візуальних середовищ. Інтерфейс — це вже не просто відео для перегляду, а сцена, яка реагує на дії та генерується заново в міру взаємодії.

Чому Runway вважає Solaris важливою

Інший підхід до створення програм

Якщо цей підхід стане надійним, творці зможуть описувати візуальне середовище, продукти, цілі та поведінку природною мовою, не реалізуючи в коді кожен можливий стан. Це може бути особливо корисно для просторових, візуальних або експериментальних проєктів, де традиційна розкладка інтерфейсу є надто обмежувальною.

Компроміс полягає в тому, що гнучкість забезпечуватиме генерація, а не явно описана програмна логіка. Для виробничого ПЗ командам усе одно потрібні передбачувана поведінка, тестованість, цілісність даних, доступність та інтеграція з іншими системами. Solaris поки не показала, що може замінити ці базові інженерні практики.

Новий шар взаємодії для ШІ-агентів

Solaris також вказує на можливий спосіб роботи ШІ-агентів із незнайомими візуальними середовищами. Замість повної залежності від фіксованих API або заздалегідь запрограмованих сценаріїв агент міг би сприймати інтерфейс як динамічний світ: виконувати дію, спостерігати за новим станом і продовжувати роботу з урахуванням отриманого результату.

Це важливий напрям для агентів, яким потрібно працювати з інтерфейсами без відомої схеми автоматизації. Водночас це поки що дослідницька перспектива. Надійні структуровані API та звичайне доступне програмне забезпечення й далі мають переваги там, де потрібні аудит, точність і повторюваність виконання.

Практичний висновок

Solaris найкраще сприймати як дослідницьке прев’ю генеративних програмних інтерфейсів, а не як кінець ери коду. Її ключова ідея полягає в тому, щоб зробити сам інтерфейс результатом роботи моделі: послідовністю кадрів, згенерованих ШІ, керованих мовною моделлю та сформованих діями користувача.

Оприлюднене Runway дослідження показує, що в окремих сценаріях люди віддають перевагу такому підходу за природність взаємодії та дотримання інструкцій. Але точність тексту, фактична надійність, цілісність довгих сесій, вартість генерації, доступність та інтеграція — це не другорядне полірування, а центральні вимоги до продукту. Solaris демонструє, якою може стати модель світу інтерфейсів, і водночас пояснює, чому звичайний код поки що складно замінити.