Runway Solaris vil gøre software til levende, AI-genererede verdener

Runway Solaris peger på en markant anderledes måde at skabe og bruge software på. I stedet for at indlæse en kodet brugerflade med faste skærmbilleder genererer systemet løbende selve brugerfladen. Skærmen skal dermed fungere som en levende visuel verden, der ændrer sig, når brugeren klikker, trækker, skriver eller beskriver, hvad der skal ske. 38

Det gør Solaris til mere end endnu en no-code-appbygger. Runway forsøger at anvende en verdensmodel på softwarebrugerflader: Skærmen bliver genereret som en fortløbende række visuelle tilstande i stedet for at blive gengivet fra en fast implementering.

Hvad er Runway Solaris?

Runway introducerede Solaris den 31. august som en eksperimentel “Interface World Model”. Grundideen er at erstatte den normale arbejdsgang – hvor udviklere skriver HTML, CSS og JavaScript, som browseren derefter gengiver – med direkte generering af den synlige brugerflade.

En Solaris-oplevelse kan begynde med et visuelt udgangspunkt, for eksempel en produktscene eller et brandmiljø. Modellen genererer derefter brugerfladen omkring dette udgangspunkt og opdaterer den, når brugeren interagerer med den. Der er ikke nødvendigvis en række forudbyggede skærme, som udvikleren på forhånd skal beskrive én for én. I stedet forsøger systemet at syntetisere det, der bør vises som det næste.

Forskellen er vigtig, fordi visuelle brugerflader kan indeholde detaljer, som går tabt, når en model først skal omsætte et billede eller en idé til kode. Solaris lader i stedet den visuelle scene være det primære output – en tilgang, som Runway siger skal bevare sammenhæng og mere naturlig adfærd under interaktion.

Sådan genererer Solaris en interaktiv brugerflade

Solaris adskiller den del af processen, der fortolker en handling, fra den del, der gengiver resultatet visuelt.

1. Brugeren giver en instruktion eller udfører en handling. Det kan være at klikke på et objekt, trække et element, skrive tekst eller bede om en ændring på almindeligt sprog.
2. En sprogmodel fortolker hensigten. Den vurderer, hvad der skal ske, om den aktuelle scene skal ændres, og hvordan den ønskede adfærd skal beskrives for den visuelle model. 38
3. Brugerfladens verdensmodel gengiver den næste tilstand. I stedet for at returnere en kodet webside genererer Solaris den næste visuelle frame ud fra handlingen og de foregående frames.
4. Processen gentages. Hver ny handling indgår i konteksten for de efterfølgende frames, så brugerfladen kan udvikle sig kontinuerligt i stedet for at skifte mellem et fast antal skærmbilleder.

Den visuelle komponent bygger på Runways Gen-4.5-videoteknologi. Runways udviklerdokumentation beskriver Gen-4.5 som en model til tekst-til-video og billede-til-video, mens Solaris anvender dette visuelle fundament i en interaktiv, autoregressiv sammenhæng. 46

Teknologien bag realtidsgenereringen

At generere en ny visuel tilstand efter hver handling er noget andet end at producere et kort videoklip. Derfor bruger Solaris flere teknikker, der skal begrænse forsinkelsen og bevare kvaliteten gennem en længere session.

Sekventiel generering af frames

Modellen genererer frames autoregressivt, hvor hver frame bygger på det, der kom før. På den måde kan systemet fortsætte den eksisterende visuelle tilstand efter en handling i stedet for at begynde helt forfra med en løsrevet generering.

Destillering til en hurtigere model

Runway siger, at en langsommere diffusionsmodel – den såkaldte “teacher” – destilleres til en hurtigere model, der kun kræver få denoising-trin. Målet er at reducere den beregning, der kræves for hvert svar, uden at kvaliteten bliver for lav til interaktiv brug.

Træning på modellens egne output

Runway oplyser også, at den hurtige model trænes på sine egne genererede output. Det skal mindske kvalitetsforringelse, når systemet producerer en lang kæde af afhængige frames, hvor små fejl ellers kan vokse over tid.

Runways angivne mål omfatter en interaktionsforsinkelse på under cirka et halvt sekund, sammenhæng gennem en hel session og visuel kvalitet i 720p. Det er forskningsmål – ikke en garanti for, at alle Solaris-interaktioner lever op til dem.

Hvordan klarede Solaris sig mod kodede brugerflader?

Runway rapporterer om en brugerundersøgelse med 250 deltagere og cirka 7.500 parvise vurderinger på tværs af 30 interaktionseksempler. Deltagerne sammenlignede Solaris-genererede brugerflader med brugerflader, der var produceret som kode af Claude Opus 5.

Ifølge de offentliggjorte resultater foretrak deltagerne Solaris:

• 61 procent af gangene, når det gjaldt instruktionsfølgning
• 71 procent af gangene, når det gjaldt naturlig adfærd

Resultaterne antyder, at genererede brugerflader i nogle situationer kan føles mere visuelt sammenhængende eller fysisk intuitive. De beviser dog ikke, at Solaris generelt er bedre end traditionel software. Sammenligningen handler om subjektive vurderinger af interaktion – ikke om pålidelighed, korrekthed, sikkerhed, vedligeholdelse, pris, ydeevne eller tilgængelighed. Det tilgængelige materiale dokumenterer heller ikke uafhængigt undersøgelsens fulde metode eller statistiske analyse.

Solaris' vigtigste begrænsninger

Den samme mekanisme, som giver Solaris fleksibilitet, skaber også vanskelige tekniske og produktmæssige problemer.

Genereret tekst er stadig ustabil

Læsbar og korrekt tekst er fortsat en kendt udfordring for realtidsgenerering af billeder og video. En model kan skabe en flot brugerflade, men samtidig gengive etiketter, tal, menuer eller instruktioner forkert. Runway peger selv på tekstgenerering som et uløst problem og nævner en mulig hybridtilgang, hvor billedmodeller håndterer teksttunge, statiske øjeblikke, mens videomodeller står for den kontinuerlige interaktion.

En overbevisende brugerflade kan tage fejl

En visuelt overbevisende brugerflade er ikke nødvendigvis faktuelt pålidelig. Solaris er i øjeblikket primært forankret i startbilledet og de referencer, der bliver leveret, og systemet kan derfor med stor sikkerhed vise et forkert svar, en forkert produktdetalje eller en misvisende visuel repræsentation. Runway fremhæver mere omfattende, verificerede data, dokumenter og referencemateriale som et område for videre forskning.

Lange sessioner kan miste sammenhæng

Fordi hver tilstand afhænger af en kæde af tidligere genererede tilstande og modelbeslutninger, kan fejl ophobe sig under åben og langvarig brug. Det er fortsat et aktivt forskningsproblem at holde scene, objekters egenskaber, instruktioner og interaktionshistorik konsistente gennem en hel session.

Det koster at gengive hver frame

En traditionel webside sender typisk kode og ressourcer, som brugerens enhed selv gengiver. Solaris udfører i stedet løbende generativt arbejde for at producere det, der vises på skærmen. Runway siger, at optimeringerne gør processen væsentligt billigere end almindelig videodiffusion, men generering frame for frame er stadig mere krævende end at levere en fast, kodet side. Prototypens angivne mål for visuel kvalitet er 720p.

Tilgængelighed og integration er ikke på plads

Et gengivet billede giver ikke automatisk de strukturerede betydninger, som skærmlæsere og andre hjælpemidler er afhængige af. Det indeholder heller ikke i sig selv den inspicerbare tilstand, hændelsesstruktur og forudsigelighed, som mange softwaresystemer kræver. Analytikere har derfor fremhævet fraværet af en traditionel DOM og et tilgængelighedslag som en væsentlig hindring for brug i miljøer med høje krav til tilgængelighed eller kontrolspor.

Kan man bruge Solaris?

Solaris blev præsenteret som eksperimentel forskning og ikke som en bredt tilgængelig produktionsplatform. Omtaler beskriver det som en forskningsforhåndsvisning med tidlig adgang eller adgang efter forespørgsel – ikke som et almindeligt lanceret værktøj til appudvikling.

Dets aktuelle betydning er derfor først og fremmest konceptuel og forskningsmæssig. Solaris viser en mulig retning for softwarebrugerflader, men giver endnu ikke belæg for, at teams kan bruge det som en direkte erstatning for kodede applikationer.

Forholdet til Runways GWM-1

Solaris er beslægtet med Runways bredere forskning i verdensmodeller, men har et andet formål. Runway beskriver GWM-1 som en generel realtidssimulator, der dækker miljøer, avatarer og robotmanipulation. Solaris begrænser verdensmodel-idéen til softwarebrugerflader: Den “verden”, der simuleres, er en app eller et website, og brugerens handlinger driver dens udvikling. 12

På den måde udvider Solaris Runways fokus fra mediegenerering til interaktive visuelle miljøer. Brugerfladen er ikke kun en video, man ser på; den er en scene, der reagerer på handlinger og bliver genereret på ny, mens interaktionen fortsætter.

Hvorfor mener Runway, at Solaris kan få betydning?

En anden vej til softwareudvikling

Hvis metoden bliver pålidelig, kan skabere beskrive et visuelt miljø, produkter, mål og adfærd på naturligt sprog i stedet for at implementere alle tænkelige tilstande i kode. Det kan især være interessant til udforskende, rumlige eller meget visuelle oplevelser, hvor traditionelle brugerfladelayouts kan føles begrænsende.

Prisen for fleksibiliteten er, at den kommer fra generering frem for eksplicit programlogik. I produktionssoftware vil teams stadig have brug for forudsigelig adfærd, testbarhed, dataintegritet, tilgængelighed og integration med andre systemer. Solaris har endnu ikke vist, at det kan erstatte den konventionelle softwareudvikling på disse områder.

Et nyt lag til AI-agenter

Solaris peger også mod en måde, hvorpå AI-agenter kan operere i ukendte visuelle miljøer. I stedet for udelukkende at være afhængige af faste API'er eller hardcodede arbejdsgange kan en agent fortolke en brugerflade som en dynamisk verden, udføre en handling, observere den nye tilstand og fortsætte derfra.

Det er en ambitiøs tanke for agenter, der skal navigere i brugerflader, som ikke er bygget omkring et kendt automatiseringsskema. Men det er fortsat et forskningsspor. Pålidelige, strukturerede API'er og konventionel, tilgængelig software har stadig klare fordele, når opgaver kræver kontrolspor, præcision og gentagelig udførelse.

Den praktiske konklusion

Solaris bør bedst forstås som en forskningsforhåndsvisning af generative softwarebrugerflader – ikke som afslutningen på appkode. Den særlige idé er at gøre selve brugerfladen til modellens output: en serie AI-genererede frames, der styres af en sprogmodel og formes af brugerens handlinger.

Runways undersøgelse viser, at mennesker i nogle tilfælde foretrækker denne tilgang, når det gælder naturlig interaktion og instruktionsfølgning. Men uløste problemer med tekstnøjagtighed, faktuel forankring, sammenhæng gennem lange sessioner, genereringsomkostninger, tilgængelighed og integration er centrale produktkrav – ikke detaljer, der blot mangler den sidste finish. Solaris viser, hvad en Interface World Model måske kan blive, men også hvorfor konventionel kode fortsat er vanskelig at erstatte.