Runway Solaris gjør programvare til levende, AI-genererte verdener

Runway Solaris forsøker å endre selve måten programvare blir laget og brukt på. I stedet for å laste inn et kodet grensesnitt med forhåndsdefinerte skjermer, genererer systemet grensesnittet fortløpende. Resultatet skal oppføre seg mer som en levende visuell verden som endrer seg når brukeren klikker, drar, skriver eller beskriver hva som skal skje. 38

Det gjør Solaris til mer enn en verktøykasse for appbygging uten kode. Runway prøver å bruke en såkalt verdensmodell på programvaregrensesnitt – der skjermen genereres som en sammenhengende serie visuelle tilstander, i stedet for å bli rendret fra en fast implementasjon.

Hva er Runway Solaris?

Runway introduserte Solaris 31. august som en eksperimentell «Interface World Model», eller grensesnitt-verdenmodell. Hovedideen er å erstatte den vanlige kjeden – skriv HTML, CSS og JavaScript, og la nettleseren vise resultatet – med direkte generering av det synlige grensesnittet.

En Solaris-opplevelse kan begynne med et visuelt utgangspunkt, for eksempel et produktmotiv eller et merkevareunivers. Modellen genererer deretter grensesnittet rundt dette utgangspunktet og oppdaterer det etter hvert som brukeren samhandler med det. Utvikleren trenger ikke nødvendigvis å planlegge og bygge hver enkelt skjerm på forhånd; systemet forsøker å syntetisere det som bør vises i neste øyeblikk.

Forskjellen er viktig fordi visuelle grensesnitt kan inneholde informasjon som går tapt når en modell først må oversette et bilde eller et konsept til kode. Solaris lar i stedet den visuelle scenen være det primære resultatet – en tilnærming Runway mener kan bevare bedre sammenheng og mer naturlig atferd under samhandling.

Slik lager Solaris et interaktivt grensesnitt

Solaris skiller mellom oppgaven med å tolke en handling og oppgaven med å vise resultatet visuelt:

1. Brukeren gir en instruks eller utfører en handling. Det kan være å klikke på et objekt, dra et element, skrive inn tekst eller be om en endring med naturlig språk.
2. En språkmodell tolker hensikten. Den avgjør hva som skal skje videre, om scenen skal endres, og hvordan den ønskede oppførselen skal beskrives for den visuelle modellen. 38
3. Grensesnittets verdensmodell lager neste tilstand. I stedet for å returnere en kodet nettside genererer Solaris neste visuelle bilde basert på handlingen og bildene som kom før.
4. Prosessen gjentas. Hver nye handling blir en del av konteksten for de neste bildene. Dermed kan grensesnittet utvikle seg kontinuerlig, i stedet for å hoppe mellom et fast sett med skjermer.

Den visuelle komponenten bygger på Runways videogenereringsmodell Gen-4.5. Runways utviklerdokumentasjon beskriver Gen-4.5 som en modell for tekst-til-video og bilde-til-video, mens Solaris bruker dette visuelle fundamentet i en interaktiv, autoregressiv setting. 46

Teknikkene som skal gjøre dette mulig i sanntid

Å generere en ny visuell tilstand etter hver handling er noe annet enn å lage et kort videoklipp. Solaris bruker derfor flere teknikker for å redusere forsinkelsen og bevare kvaliteten gjennom en lengre økt.

Sekvensiell generering av bilder

Modellen genererer bilder autoregressivt, altså ett etter ett, med utgangspunkt i det som allerede har skjedd. Når brukeren utfører en handling, kan systemet dermed fortsette den eksisterende scenen i stedet for å starte en helt ny generering.

En raskere modell gjennom destillering

Runway sier at en langsommere diffusjonsmodell – «lærermodellen» – er destillert til en raskere modell som trenger få støyfjerningssteg. Målet er å redusere beregningsarbeidet for hvert svar, samtidig som den visuelle kvaliteten blir god nok til interaktiv bruk.

Trening på modellens egne resultater

Runway opplyser også at den raske modellen er trent på sine egne genererte resultater. Hensikten er å begrense kvalitetsforringelse når systemet lager en lang kjede av avhengige bilder, der små feil ellers kan hope seg opp over tid.

Runways uttalte mål omfatter en interaksjonsforsinkelse på under omtrent et halvt sekund, sammenheng gjennom en hel økt og visuell kvalitet på 720p. Dette er forskningsmål, ikke en garanti for at alle Solaris-interaksjoner vil nå dem.

Hvordan gjorde Solaris det mot kodede grensesnitt?

Runway beskriver en brukerundersøkelse med 250 deltakere og rundt 7 500 parvise vurderinger fordelt på 30 interaksjonseksempler. Deltakerne sammenlignet Solaris-genererte grensesnitt med grensesnitt som var laget som kode av Claude Opus 5.

Ifølge resultatene som Runway har rapportert, foretrakk deltakerne Solaris:

• 61 prosent av gangene når det gjaldt å følge instruksjoner
• 71 prosent av gangene når det gjaldt naturlig oppførsel

Resultatene tyder på at genererte grensesnitt i enkelte situasjoner kan oppleves som mer visuelt sammenhengende eller intuitivt å bruke. De viser imidlertid ikke at Solaris generelt er bedre enn tradisjonell programvare. Sammenligningen handler om subjektive vurderinger av interaksjon – ikke om pålitelighet, korrekthet, sikkerhet, vedlikehold, kostnader, ytelse eller tilgjengelighet. Materialet som er tilgjengelig her, dokumenterer heller ikke uavhengig hele metodikken eller den statistiske analysen bak studien.

De viktigste begrensningene

Den samme mekanismen som gir Solaris fleksibilitet, skaper også krevende problemer for utvikling og produktbruk.

Tekst er fortsatt ustabil

Lesbar og korrekt tekst er en kjent utfordring for sanntidsgenerering av bilder og video. Et system kan lage et tiltalende grensesnitt, men samtidig gjengi etiketter, tall, menyer eller instrukser feil. Runway peker på tekstgenerering som et uløst problem og nevner en mulig hybridløsning der bildemodeller håndterer teksttunge, statiske øyeblikk, mens videomodeller håndterer den kontinuerlige interaksjonen.

Systemet kan virke overbevisende og likevel ta feil

Et visuelt overbevisende grensesnitt er ikke nødvendigvis faktamessig pålitelig. Solaris er foreløpig i stor grad forankret i startbildet og referansene som blir levert inn, og kan derfor presentere et feil svar, en uriktig produktdetalj eller en misvisende visuell fremstilling med stor selvsikkerhet. Runway peker på rikere, verifiserte data, dokumenter og referansemateriale som et område for videre forskning.

Lange økter kan miste sammenheng

Siden hver tilstand avhenger av en kjede av tidligere genererte tilstander og modellavgjørelser, kan feil forsterkes under åpen og langvarig bruk. Å holde scene, objektegenskaper, instrukser og interaksjonshistorikk konsistente gjennom en lang økt er fortsatt et aktivt forskningsproblem.

Det koster å generere hvert bilde

En vanlig nettside sender kode og ressurser som brukerens enhet rendrer. Solaris utfører i stedet kontinuerlig generativt arbeid for å produsere det som vises på skjermen. Runway sier optimaliseringene gjør prosessen betydelig billigere enn vanlig videodiffusjon, men bilde-for-bilde-generering er fortsatt mer ressurskrevende enn å levere en fast, kodet side. Prototypens oppgitte mål for visuell kvalitet er 720p.

Tilgjengelighet og integrasjon er ikke ferdig løst

Et rendret bilde gir ikke automatisk tilgang til den strukturerte semantikken som skjermlesere og andre hjelpemidler er avhengige av. Det tilbyr heller ikke i seg selv den kontrollerbare tilstanden, hendelsesstrukturen og forutsigbarheten som mange programvaresystemer trenger. Analytikere har trukket frem fraværet av en tradisjonell DOM og et tilgjengelighetslag som en betydelig hindring for bruk i løsninger med strenge krav til tilgjengelighet, sporbarhet og revisjon.

Er Solaris tilgjengelig?

Solaris ble presentert som et eksperimentelt forskningsprosjekt, ikke som en bredt tilgjengelig produksjonsplattform. Omtaler beskriver det som en forskningsforhåndsvisning med tidlig tilgang eller tilgang etter forespørsel, snarere enn et ferdig produkt for appbygging.

Betydningen er derfor først og fremst konseptuell og forskningsmessig. Solaris viser en mulig retning for programvaregrensesnitt, men gir foreløpig ikke grunnlag for å si at team kan bruke det som en direkte erstatning for kodede applikasjoner.

Forholdet mellom Solaris og Runways GWM-1

Solaris er knyttet til Runways bredere forskning på verdensmodeller, men har et annet formål. Runway beskriver GWM-1 som en generell sanntidssimulator for omgivelser, avatarer og robotisk håndtering. Solaris snevrer inn denne ideen til programvaregrensesnitt: «verdenen» som simuleres, er en app eller nettside, og brukerens handlinger driver utviklingen videre. 12

På den måten utvider Solaris Runways fokus fra å generere medier til å generere interaktive, visuelle miljøer. Grensesnittet er ikke bare en video som skal sees på; det er en scene som svarer på handlinger og genereres på nytt etter hvert som interaksjonen fortsetter.

Hvorfor Runway mener Solaris kan bli viktig

En annen vei til å lage programvare

Hvis teknologien blir pålitelig, kan skapere beskrive et visuelt miljø, produkter, mål og oppførsel med naturlig språk, i stedet for å implementere alle mulige tilstander i kode. Det kan være særlig interessant for utforskende, romlige eller svært visuelle opplevelser der tradisjonelle grensesnitt føles begrensende.

Prisen for fleksibiliteten er at den kommer fra generering, ikke fra eksplisitt programlogikk. For produksjonsprogramvare trenger team fortsatt forutsigbar oppførsel, testing, dataintegritet, tilgjengelighet og integrasjon med andre systemer. Solaris har ennå ikke vist at det kan erstatte tradisjonell programvareutvikling på disse områdene.

Et nytt grensesnittlag for AI-agenter

Solaris peker også mot en mulig måte for AI-agenter å operere i ukjente visuelle miljøer på. I stedet for å være helt avhengige av faste API-er eller forhåndsprogrammerte arbeidsflyter, kan en agent tolke grensesnittet som en dynamisk verden, utføre en handling, observere resultatet og fortsette derfra.

Ambisjonen er betydelig for agenter som må navigere i grensesnitt som ikke er laget med et kjent automatiseringsskjema. Men dette er fortsatt en forskningsretning. Pålitelige, strukturerte API-er og konvensjonell programvare med god tilgjengelighet har fortsatt klare fordeler når oppgavene krever sporbarhet, presisjon og repeterbar utførelse.

Kort oppsummert

Solaris bør først og fremst forstås som en forskningsforhåndsvisning av generative programvaregrensesnitt – ikke som slutten på appkode. Den særegne ideen er å gjøre selve grensesnittet til modellens resultat: en serie AI-genererte bilder som styres av en språkmodell og formes av brukerens handlinger.

Runways rapporterte studie viser at mennesker i noen situasjoner foretrekker denne tilnærmingen når det gjelder naturlig interaksjon og instruksjonsfølging. Samtidig er uløste problemer som tekstnøyaktighet, faktagrunnlag, sammenheng over lange økter, kostnader, tilgjengelighet og integrasjon helt sentrale produktkrav – ikke bare detaljer som kan finpusses senere. Solaris viser hva en grensesnitt-verdenmodell kan bli, men også hvorfor tradisjonell kode fortsatt er vanskelig å erstatte.