Runway Solaris: l’IA che genera app interattive fotogramma dopo fotogramma

Runway Solaris propone un cambio di prospettiva radicale: invece di aprire un’app costruita con codice e composta da schermate già previste, l’utente interagisce con un ambiente visivo generato continuamente dall’intelligenza artificiale. Ogni clic, trascinamento, testo inserito o richiesta in linguaggio naturale contribuisce a determinare ciò che apparirà nel fotogramma successivo. 38

Non si tratta quindi soltanto di un nuovo strumento no-code. Solaris prova ad applicare agli ambienti software l’idea dei world model, modelli capaci di simulare un mondo in evoluzione: in questo caso, il “mondo” è un’app o un sito web e lo schermo viene prodotto come una sequenza di stati visivi, non come il risultato di un’implementazione fissa.

Cos’è Runway Solaris?

Runway ha presentato Solaris il 31 agosto come un “Interface World Model” sperimentale. Il suo obiettivo è sostituire il flusso convenzionale — scrivere HTML, CSS e JavaScript e lasciare che sia il browser a renderizzare il risultato — con la generazione diretta dell’interfaccia visibile.

L’esperienza può partire da un’immagine o da un riferimento visivo, per esempio una scena di prodotto, un ambiente di marca o una composizione grafica. Solaris costruisce l’interfaccia attorno a quel punto di partenza e la modifica mentre l’utente interagisce. Non esistono necessariamente schermate predefinite per ogni possibile azione: il sistema cerca di sintetizzare di volta in volta ciò che dovrebbe comparire.

La differenza è importante soprattutto per le interfacce ricche di elementi visivi. Quando un modello deve prima trasformare un’immagine o un’idea in codice, alcuni dettagli della scena possono andare persi. Solaris mantiene invece la componente visiva al centro del processo, con l’obiettivo — secondo Runway — di conservare maggiore coerenza e un comportamento più naturale durante l’interazione.

Come funziona un’interfaccia generata in tempo reale

Solaris separa il ragionamento necessario per interpretare un’azione dalla generazione visiva del suo risultato.

1. L’utente impartisce un comando o compie un’azione. Può fare clic su un oggetto, trascinare un elemento, inserire del testo oppure chiedere a voce o in linguaggio naturale di modificare la scena.
2. Un modello linguistico interpreta l’intenzione. Stabilisce che cosa dovrebbe accadere, se l’azione deve cambiare la scena esistente e come descrivere il risultato al modello visivo. 38
3. Il modello dell’interfaccia genera il nuovo stato. Invece di restituire una pagina codificata, Solaris produce il successivo fotogramma visivo sulla base dell’interazione e dei fotogrammi precedenti.
4. Il ciclo continua. Ogni nuova azione entra nel contesto dei fotogrammi successivi, permettendo all’interfaccia di evolvere senza limitarsi a passare tra un numero fisso di schermate.

La componente visiva si basa sulla tecnologia video Gen-4.5 di Runway. La documentazione per gli sviluppatori descrive Gen-4.5 come un modello per la generazione video da testo e da immagini; Solaris utilizza quella base in uno scenario interattivo e autoregressivo. 46

In termini semplici, Solaris non “scrive un’app e poi la mostra”: prova a prevedere come dovrebbe apparire l’app dopo ogni nuova interazione.

Le tecniche che dovrebbero renderlo utilizzabile in tempo reale

Generare un nuovo stato visivo dopo ogni azione è molto diverso dal creare un breve video. Per contenere la latenza e mantenere la qualità durante sessioni più lunghe, Runway descrive diverse tecniche.

Generazione sequenziale dei fotogrammi

I fotogrammi vengono generati in modo autoregressivo: ciascuno dipende da ciò che lo precede. In questo modo, una nuova azione dovrebbe proseguire la scena corrente invece di avviare ogni volta una generazione completamente scollegata.

Distillazione in un modello più rapido

Runway afferma di aver distillato un modello di diffusione più lento, il cosiddetto “teacher”, in un modello veloce che richiede soltanto pochi passaggi di denoising. L’obiettivo è ridurre i calcoli necessari per ogni risposta, mantenendo una qualità sufficiente per l’interazione.

Addestramento sui propri risultati

La società riferisce inoltre di aver addestrato il modello veloce sui contenuti da esso stesso generati. Questa strategia dovrebbe limitare il deterioramento della qualità durante le sequenze lunghe, nelle quali piccoli errori possono accumularsi da un fotogramma al successivo.

Gli obiettivi dichiarati da Runway comprendono una latenza inferiore, indicativamente, a mezzo secondo, coerenza per l’intera sessione e qualità visiva a 720p. Si tratta di traguardi di ricerca, non della garanzia che ogni interazione con Solaris raggiunga sempre questi valori.

Il confronto con le interfacce scritte in codice

Runway riferisce uno studio con 250 partecipanti e circa 7.500 giudizi a coppie distribuiti su 30 esempi di interazione. I partecipanti hanno confrontato interfacce generate da Solaris con interfacce prodotte sotto forma di codice da Claude Opus 5.

Secondo i risultati riportati, i partecipanti hanno preferito Solaris:

• nel 61% dei casi per l’aderenza alle istruzioni;
• nel 71% dei casi per la naturalezza del comportamento.

Il dato suggerisce che, in alcuni scenari, un’interfaccia generata possa apparire più coerente dal punto di vista visivo o più intuitiva nel modo in cui reagisce alle azioni. Non dimostra però che Solaris sia generalmente migliore del software tradizionale.

Il confronto misura soprattutto giudizi soggettivi sull’interazione. Non stabilisce, da solo, quale soluzione sia più affidabile, corretta, sicura, economica, manutenibile, performante o accessibile. Inoltre, i materiali disponibili non consentono di verificare in modo indipendente l’intera metodologia dello studio o la relativa analisi statistica.

I limiti più importanti di Solaris

La stessa generazione dinamica che rende Solaris flessibile introduce problemi tecnici e di prodotto tutt’altro che secondari.

Il testo generato resta instabile

Creare testo leggibile e accurato in tempo reale è ancora una difficoltà nota dei modelli di generazione di immagini e video. Un’interfaccia può risultare esteticamente convincente, ma mostrare etichette, numeri, menu o istruzioni sbagliati.

Runway indica la generazione del testo come un problema ancora aperto e ipotizza un approccio ibrido: modelli d’immagine per i momenti statici ricchi di testo e modelli video per l’interazione continua.

Un’interfaccia convincente può essere sbagliata

L’aspetto realistico non equivale all’affidabilità dei contenuti. Solaris è attualmente ancorato soprattutto all’immagine iniziale e ai riferimenti forniti, quindi potrebbe presentare con sicurezza una risposta, un dettaglio di prodotto o una rappresentazione visiva non corretti. Runway indica come area di ricerca futura l’uso di dati verificati, documenti e materiali di riferimento più ricchi.

Le sessioni lunghe possono perdere coerenza

Ogni stato dipende da una catena di fotogrammi e decisioni precedenti. In una sessione aperta e prolungata, piccoli errori possono quindi sommarsi. Mantenere stabili la scena, le proprietà degli oggetti, le istruzioni e la cronologia delle azioni resta un problema di ricerca attivo.

Generare ogni fotogramma ha un costo

Un sito tradizionale invia codice e risorse che vengono elaborati dal dispositivo dell’utente. Solaris, invece, richiede un’attività generativa continua per produrre ciò che appare sullo schermo.

Runway sostiene che le proprie ottimizzazioni rendano il processo molto meno costoso rispetto alla diffusione video standard, ma la generazione fotogramma per fotogramma resta più impegnativa della distribuzione di una pagina codificata e fissa. Il prototipo punta inoltre a una qualità visiva di 720p.

Accessibilità e integrazione sono ancora irrisolte

Un’immagine renderizzata non espone automaticamente i significati strutturati di cui hanno bisogno gli screen reader e altre tecnologie assistive. Allo stesso modo, non offre necessariamente lo stato ispezionabile, la struttura degli eventi e le interfacce prevedibili richieste da molti sistemi software.

L’assenza di un DOM convenzionale e di un livello di accessibilità è stata indicata dagli analisti come un ostacolo importante per l’impiego in contesti che richiedono accessibilità, verificabilità o audit rigorosi.

Solaris è già disponibile?

Solaris è stato presentato come un progetto di ricerca sperimentale, non come una piattaforma per creare applicazioni già pronta e disponibile a tutti. Le informazioni riportate lo descrivono come un’anteprima di ricerca con accesso anticipato o su richiesta, anziché come un prodotto rilasciato pubblicamente.

Per ora, dunque, il suo peso è soprattutto concettuale e di ricerca. Solaris mostra una possibile direzione per le interfacce software, ma non dimostra ancora di poter sostituire senza modifiche le applicazioni sviluppate con metodi tradizionali.

Il rapporto con GWM-1

Solaris si inserisce nella ricerca più ampia di Runway sui world model, ma ha uno scopo diverso. Runway descrive GWM-1 come un simulatore generale in tempo reale, pensato per ambienti, avatar e manipolazione robotica. Solaris restringe la stessa idea alle interfacce software: il mondo simulato è un’app o un sito web e sono le azioni dell’utente a guidarne l’evoluzione. 12

In questo senso, Solaris estende l’attenzione di Runway dalla generazione di contenuti audiovisivi alla creazione di ambienti visivi interattivi. Non è un video da guardare passivamente: è una scena che reagisce alle azioni e viene rigenerata mentre la sessione prosegue.

Perché Runway pensa che possa essere importante

Un modo diverso di creare software

Se il sistema diventasse abbastanza affidabile, i creatori potrebbero descrivere in linguaggio naturale un ambiente visivo, i prodotti, gli obiettivi e i comportamenti, senza implementare manualmente ogni stato possibile. L’approccio potrebbe essere particolarmente interessante per esperienze spaziali, esplorative o fortemente visuali, dove i layout tradizionali risultano più rigidi.

Il prezzo da pagare sarebbe però una maggiore dipendenza dalla generazione, invece che dalla logica esplicita del programma. Nel software destinato alla produzione servono comportamenti prevedibili, testabilità, integrità dei dati, accessibilità e integrazione con altri sistemi: aspetti per i quali Solaris non ha ancora dimostrato di poter sostituire l’ingegneria convenzionale.

Un nuovo livello d’interazione per gli agenti IA

Solaris indica anche una possibile strada per permettere agli agenti di operare in ambienti visivi sconosciuti. Invece di affidarsi soltanto ad API fisse o procedure codificate a mano, un agente potrebbe interpretare l’interfaccia come un mondo dinamico, compiere un’azione, osservare lo stato risultante e procedere da lì.

L’ambizione è rilevante per gli agenti che devono navigare interfacce non progettate attorno a uno schema di automazione noto. Per attività che richiedono precisione, tracciabilità e risultati ripetibili, tuttavia, API strutturate e software accessibile tradizionale mantengono vantaggi importanti.

Il punto, in breve

Solaris va letto come un’anteprima di ricerca sulle interfacce software generative, non come la fine del codice applicativo. La sua idea distintiva è fare dell’interfaccia stessa l’output del modello: una sequenza di fotogrammi generati dall’IA, guidati da un modello linguistico e modificati dalle azioni dell’utente.

Lo studio riportato da Runway indica che, in alcuni casi, le persone preferiscono questo approccio per la naturalezza dell’interazione e l’aderenza alle istruzioni. Restano però da risolvere problemi fondamentali: accuratezza del testo, affidabilità dei contenuti, coerenza nelle sessioni lunghe, costi di generazione, accessibilità e integrazione con il resto del software.

Solaris mostra quindi che cosa potrebbe diventare un modello del mondo per le interfacce. Mostra anche perché il codice convenzionale, con il suo stato esplicito e le sue regole verificabili, è ancora difficile da sostituire.