Runway Solaris gör mjukvarugränssnitt till levande AI-världar

Runways Solaris föreslår ett radikalt nytt sätt att skapa och använda mjukvara: i stället för att ladda en kodad app med färdiga skärmar genererar systemet själva gränssnittet kontinuerligt. Skärmen ska fungera mer som en levande visuell värld som förändras när användaren klickar, drar, skriver eller beskriver vad som ska hända. 38

Det gör Solaris till något mer än en no-code-byggare. Runway försöker tillämpa ett så kallat world model-tänkande på mjukvarugränssnitt – där skärmen skapas som en fortlöpande serie visuella tillstånd, snarare än renderas från en fast implementation.

Vad är Runway Solaris?

Runway presenterade Solaris den 31 augusti som en experimentell ”Interface World Model”. Grundidén är att ersätta den vanliga kedjan – skriv HTML, CSS och JavaScript och låt sedan webbläsaren rendera resultatet – med direktgenerering av det synliga gränssnittet.

En Solaris-upplevelse kan börja med en visuell referens, till exempel en produktbild eller en varumärkesmiljö. Modellen genererar därefter gränssnittet runt utgångspunkten och uppdaterar det när användaren interagerar med det. Utvecklaren behöver alltså inte förutse och bygga varje enskild skärm i förväg; systemet försöker själv syntetisera vad som ska visas härnäst.

Skillnaden är viktig eftersom visuella gränssnitt ofta innehåller detaljer som kan gå förlorade när en modell först måste översätta en bild eller idé till kod. Solaris låter i stället den visuella scenen vara det primära resultatet – en metod som Runway säger ska bevara sammanhang och mer naturligt beteende under interaktionen.

Så genererar Solaris ett interaktivt gränssnitt

Solaris delar upp arbetet mellan tolkning av användarens handling och visuell rendering av resultatet:

1. Användaren ger en instruktion eller utför en handling. Det kan handla om att klicka på ett objekt, dra ett element, skriva text eller be om en förändring med naturligt språk.
2. En språkmodell tolkar avsikten. Den avgör vad som ska hända, om scenen behöver förändras och hur begäran ska beskrivas för den visuella modellen. 38
3. Gränssnittets världsmodell renderar nästa tillstånd. I stället för att returnera en kodad webbsida genererar Solaris nästa visuella bildruta utifrån handlingen och tidigare bildrutor.
4. Processen upprepas. Varje ny handling blir en del av sammanhanget för kommande bildrutor, så att gränssnittet kan utvecklas kontinuerligt i stället för att hoppa mellan ett begränsat antal färdiga skärmar.

Den visuella delen bygger på Runways videogenereringsmodell Gen-4.5. Runways utvecklardokumentation beskriver Gen-4.5 som en modell för text-till-video och bild-till-video, medan Solaris använder samma visuella grund i ett interaktivt, autoregressivt system. 46

Tekniken som ska få det att fungera i realtid

Att skapa ett nytt visuellt tillstånd efter varje användarhandling skiljer sig markant från att generera ett kort videoklipp. Därför använder Solaris flera tekniker för att minska fördröjningen och behålla kvaliteten under längre sessioner.

Sekventiell bildrute-generering

Modellen genererar bildrutor autoregressivt, där varje ny ruta baseras på det som kom före. När användaren utför en handling kan systemet därmed fortsätta på den befintliga visuella scenen i stället för att börja om från noll.

Destillering till en snabbare modell

Runway säger att en långsammare diffusionsmodell – ”läraren” – destilleras till en snabbare modell som bara behöver ett litet antal brusreduceringssteg. Målet är att minska beräkningskostnaden för varje svar, utan att förlora tillräckligt mycket visuell kvalitet för interaktiv användning.

Träning på modellens egna resultat

Runway uppger också att den snabba modellen tränas på sina egna genererade resultat. Tanken är att minska kvalitetsförsämring när systemet producerar långa kedjor av beroende bildrutor, där små fel annars kan byggas på över tid.

Runways uttalade mål är en interaktionsfördröjning på under ungefär en halv sekund, sammanhang som håller ihop under en hel session och visuell kvalitet i 720p. Det är forskningsmål – inte en garanti för att varje Solaris-interaktion når dem.

Hur stod sig Solaris mot kodade gränssnitt?

Runway beskriver en användarstudie med 250 deltagare och omkring 7 500 jämförelser mellan två alternativ i 30 interaktionsexempel. Deltagarna jämförde Solaris-genererade gränssnitt med gränssnitt som skapats som kod av Claude Opus 5.

Enligt de rapporterade resultaten föredrog deltagarna Solaris:

• 61 procent av gångerna när det gällde att följa instruktioner
• 71 procent av gångerna när det gällde naturligt beteende

Resultaten antyder att genererade gränssnitt i vissa situationer kan upplevas som mer visuellt sammanhängande eller intuitiva att använda. De visar däremot inte att Solaris generellt är bättre än traditionell mjukvara. Studien handlar om subjektiva bedömningar av interaktion – inte om driftsäkerhet, korrekthet, säkerhet, underhåll, kostnad, prestanda eller tillgänglighet. Det tillgängliga materialet räcker inte heller för att oberoende bedöma studiens fullständiga metodik eller statistiska analys.

Solaris största begränsningar

Samma mekanism som ger Solaris flexibilitet skapar också svåra tekniska och produktmässiga problem.

Texten är fortfarande instabil

Läsbar och korrekt text är ett välkänt problem inom realtidsbaserad bild- och videogenerering. Ett system kan skapa ett tilltalande gränssnitt men ändå få fel på etiketter, siffror, menyer eller instruktioner. Runway beskriver textgenerering som en olöst fråga och pekar på en möjlig hybridlösning där bildmodeller hanterar texttunga statiska ögonblick, medan videomodeller sköter den kontinuerliga interaktionen.

Övertygande betyder inte korrekt

Ett visuellt trovärdigt gränssnitt är inte automatiskt faktamässigt tillförlitligt. Solaris grundas i nuläget främst på startbilden och de referenser som matas in, vilket innebär att systemet kan presentera ett felaktigt svar, en felaktig produktegenskap eller en missvisande visualisering med stor övertygelse. Runway lyfter rikare verifierade data, dokument och referensmaterial som områden för fortsatt forskning.

Långa sessioner kan tappa sammanhanget

Eftersom varje tillstånd bygger på en kedja av tidigare genererade tillstånd och modellbeslut kan fel förstärkas under en öppen och långvarig användning. Att hålla scenen, objektens egenskaper, instruktionerna och interaktionshistoriken konsekventa över tid är fortfarande ett aktivt forskningsproblem.

Att rendera varje bildruta kostar

En vanlig webbplats skickar kod och resurser som användarens enhet renderar. Solaris utför i stället ett fortlöpande generativt arbete för att skapa det som syns på skärmen. Runway säger att optimeringarna gör processen betydligt billigare än vanlig videogenerering med diffusion, men bildruta-för-bildruta-generering är fortfarande mer resurskrävande än att leverera en fast, kodad sida. Prototypens angivna mål för visuell kvalitet är 720p.

Tillgänglighet och mjukvaruintegration är inte färdiga

En renderad bild exponerar inte automatiskt den strukturerade semantik som skärmläsare och andra hjälpmedel behöver. Den erbjuder inte heller i sig det inspekterbara tillstånd, den händelsestruktur och de förutsägbara gränssnitt som många mjukvarusystem kräver. Analytiker har pekat på avsaknaden av en konventionell DOM och ett tillgänglighetslager som ett stort hinder för användning i miljöer där tillgänglighet, spårbarhet och granskning är centrala.

Är Solaris tillgängligt?

Solaris presenterades som experimentell forskning, inte som en brett tillgänglig produktionsplattform för appbyggande. Uppgifter beskriver tjänsten som en forskningsförhandsvisning med tidig åtkomst eller åtkomst efter förfrågan, snarare än som en allmänt lanserad produkt.

Det innebär att Solaris betydelse just nu främst är konceptuell och forskningsmässig. Modellen visar en möjlig riktning för framtidens gränssnitt, men det finns ännu inget stöd för att den kan fungera som en direkt ersättare för kodade applikationer.

Hur hänger Solaris ihop med Runways GWM-1?

Solaris är besläktat med Runways bredare forskning om världsmodeller, men har ett annat användningsområde. Runway beskriver GWM-1 som en generell realtidssimulator för miljöer, avatarer och robotmanipulation. Solaris begränsar samma grundidé till mjukvarugränssnitt: ”världen” som simuleras är en app eller webbplats, och användarens handlingar driver dess utveckling. 12

På så sätt breddar Solaris Runways fokus från att generera medier till att skapa interaktiva visuella miljöer. Gränssnittet är inte bara en video som ska tittas på, utan en scen som reagerar på handlingar och genereras om medan interaktionen fortsätter.

Varför tror Runway att Solaris kan bli viktigt?

En annan väg till mjukvaruutveckling

Om tekniken blir tillräckligt tillförlitlig skulle kreatörer kunna beskriva en visuell miljö, produkter, mål och beteenden med naturligt språk i stället för att implementera varje tänkbart tillstånd i kod. Det kan vara särskilt intressant för utforskande, rumsliga eller starkt visuella upplevelser där traditionella gränssnittslayouter känns begränsande.

Priset för flexibiliteten är att beteendet skapas genom generering i stället för genom uttrycklig programlogik. För produktionsmjukvara krävs fortfarande förutsägbart beteende, testbarhet, dataintegritet, tillgänglighet och integration med andra system – områden där Solaris ännu inte har visat att tekniken kan ersätta konventionellt utvecklingsarbete.

Ett nytt gränssnittslager för AI-agenter

Solaris pekar också mot ett sätt för AI-agenter att arbeta i visuella miljöer de inte känner igen. I stället för att helt förlita sig på fasta API:er eller hårdkodade arbetsflöden skulle en agent kunna tolka gränssnittet som en dynamisk värld, utföra en handling, observera det nya tillståndet och fortsätta därifrån.

Det är en betydelsefull ambition för agenter som behöver navigera i gränssnitt som inte är byggda kring ett känt automationsschema. Men det är fortfarande en forskningsinriktning. Tillförlitliga, strukturerade API:er och konventionell tillgänglig mjukvara har fortfarande tydliga fördelar när spårbarhet, precision och repeterbara resultat är avgörande.

Slutsatsen

Solaris bör bäst förstås som en forskningsförhandsvisning av generativa mjukvarugränssnitt – inte som slutet för applikationskod. Den särskiljande idén är att göra själva gränssnittet till modellens resultat: en serie AI-genererade bildrutor som styrs av en språkmodell och formas av användarens handlingar.

Runways studie visar att människor ibland föredrar upplägget när det gäller naturlig interaktion och följsamhet till instruktioner. Men olösta frågor om textprecision, faktagrundning, sammanhang över långa sessioner, genereringskostnad, tillgänglighet och integration är centrala produktkrav – inte detaljer som kan putsas till i efterhand. Solaris visar vad en gränssnittsvärldsmodell skulle kunna bli, men också varför konventionell kod fortfarande är svår att ersätta.