Runway Solaris Mengubah Antara Muka Perisian Menjadi Dunia AI yang Hidup

Runway Solaris mencadangkan perubahan besar terhadap cara perisian dibina dan digunakan. Berbanding memuatkan antara muka yang telah dikodkan dengan skrin-skrin tetap, sistem ini menjana antara muka itu sendiri secara berterusan. Hasilnya diharapkan berfungsi seperti dunia visual yang hidup—berubah apabila pengguna mengklik, menyeret, menaip atau menerangkan perkara yang mahu dilakukan. 38

Ini bermakna Solaris bukan sekadar pembina aplikasi tanpa kod. Ia ialah percubaan menggunakan pendekatan world model untuk antara muka perisian: skrin dijana sebagai rangkaian keadaan visual yang berterusan, bukannya dipaparkan daripada kod dan struktur tetap.

Apakah Runway Solaris?

Runway memperkenalkan Solaris pada 31 Ogos sebagai “Interface World Model” eksperimen. Idea terasnya adalah menggantikan aliran kerja biasa—menulis HTML, CSS dan JavaScript sebelum pelayar memaparkan hasilnya—dengan penjanaan terus antara muka yang kelihatan pada skrin.

Pengalaman Solaris boleh bermula dengan rujukan visual, misalnya suasana produk atau persekitaran berjenama. Model kemudian menjana antara muka berdasarkan titik permulaan itu dan mengemas kininya sebagai tindak balas kepada interaksi pengguna. Tiada set skrin prabina konvensional yang perlu dijangka oleh pembangun satu demi satu; sistem cuba mensintesis perkara yang patut muncul seterusnya.

Perbezaan ini penting kerana antara muka visual sering mengandungi maklumat yang sukar dikekalkan apabila model perlu menterjemahkan imej atau konsep terlebih dahulu kepada kod. Solaris sebaliknya menjadikan adegan visual sebagai hasil utama, pendekatan yang menurut Runway direka untuk mengekalkan keselarasan dan tingkah laku yang lebih semula jadi semasa interaksi.

Bagaimana Solaris menjana antara muka interaktif?

Solaris memisahkan proses memahami tindakan pengguna daripada proses memaparkan hasilnya secara visual.

1. Pengguna memberikan arahan atau melakukan interaksi. Tindakan ini boleh berupa klik pada objek, menyeret elemen, memasukkan teks atau meminta perubahan dalam bahasa semula jadi.
2. Model bahasa mentafsir niat pengguna. Ia menentukan perkara yang patut berlaku seterusnya, sama ada adegan semasa perlu berubah dan cara tingkah laku itu perlu dihantar kepada model visual. 38
3. Model dunia antara muka menjana keadaan seterusnya. Solaris tidak mengembalikan halaman yang dikodkan. Sebaliknya, ia menjana bingkai visual baharu berdasarkan interaksi dan bingkai-bingkai sebelumnya.
4. Kitaran ini berulang. Setiap tindakan baharu menjadi sebahagian daripada konteks untuk bingkai berikutnya. Dengan itu, antara muka boleh berkembang secara berterusan dan tidak sekadar bertukar antara beberapa skrin tetap.

Komponen visual Solaris dibina berasaskan teknologi penjanaan video Gen-4.5 milik Runway. Dokumentasi pembangun Runway menerangkan Gen-4.5 sebagai model untuk penjanaan video daripada teks dan imej, manakala Solaris menggunakan asas visual itu dalam bentuk interaktif dan autoregresif. 46

Teknik yang membolehkan operasi masa nyata

Menjana keadaan visual baharu selepas setiap tindakan pengguna jauh lebih mencabar daripada menghasilkan klip video pendek. Solaris menggunakan beberapa teknik untuk mengurangkan kependaman dan mengekalkan kualiti sepanjang sesi yang lebih panjang.

Penjanaan bingkai secara berurutan

Model menjana bingkai secara autoregresif, iaitu setiap bingkai bergantung pada bingkai sebelumnya. Ini membolehkan sistem meneruskan keadaan visual semasa selepas sesuatu tindakan, bukannya memulakan penjanaan yang tidak berkaitan dari awal.

Penyulingan kepada model yang lebih pantas

Runway berkata ia menyuling model resapan yang lebih perlahan—dikenali sebagai “guru”—menjadi model pantas yang hanya memerlukan beberapa langkah penyahhingaran. Matlamatnya adalah mengurangkan pengiraan yang diperlukan bagi setiap respons, sambil mengekalkan kualiti visual yang mencukupi untuk interaksi.

Latihan menggunakan hasil model sendiri

Runway turut melaporkan bahawa model pantas itu dilatih menggunakan hasil janaannya sendiri. Teknik ini bertujuan mengurangkan kemerosotan kualiti apabila sistem menghasilkan rangkaian bingkai yang saling bergantung, kerana kesilapan kecil boleh terkumpul dari semasa ke semasa.

Sasaran reka bentuk Runway termasuk kependaman interaksi di bawah kira-kira setengah saat, keselarasan sepanjang sesi dan kualiti visual 720p. Ini ialah sasaran penyelidikan, bukannya jaminan bahawa setiap interaksi Solaris akan mencapai tahap tersebut.

Adakah Solaris lebih baik daripada antara muka berkod?

Runway melaporkan kajian pengguna yang melibatkan 250 peserta dan kira-kira 7,500 penilaian berpasangan merentas 30 contoh interaksi. Peserta membandingkan antara muka yang dijana Solaris dengan antara muka yang dihasilkan sebagai kod oleh Claude Opus 5.

Menurut keputusan yang dilaporkan, peserta memilih Solaris:

• 61 peratus daripada masa untuk pematuhan arahan
• 71 peratus daripada masa untuk tingkah laku yang lebih semula jadi

Keputusan ini menunjukkan antara muka yang dijana mungkin kelihatan lebih selaras atau terasa lebih intuitif dalam situasi interaksi tertentu. Namun, ia tidak membuktikan bahawa Solaris secara umum lebih baik daripada perisian konvensional. Perbandingan itu menilai pertimbangan subjektif tentang interaksi, bukan kebolehpercayaan, ketepatan, keselamatan, kebolehselenggaraan, kos, prestasi atau kebolehcapaian. Bahan yang tersedia juga tidak membolehkan metodologi penuh dan analisis statistik kajian itu disahkan secara bebas.

Batasan utama Solaris

Mekanisme yang memberikan Solaris fleksibiliti turut mewujudkan beberapa masalah kejuruteraan dan produk yang sukar diselesaikan.

Teks yang dijana masih tidak stabil

Teks yang tepat dan mudah dibaca merupakan cabaran lama dalam penjanaan imej serta video masa nyata. Sistem mungkin menghasilkan antara muka yang menarik, tetapi memaparkan label, nombor, menu atau arahan yang salah. Runway mengenal pasti penjanaan teks sebagai isu yang masih belum selesai dan mencadangkan pendekatan hibrid: model imej mengendalikan keadaan statik yang sarat dengan teks, manakala model video menguruskan interaksi berterusan.

Antara muka boleh kelihatan meyakinkan tetapi tetap salah

Antara muka yang kelihatan realistik tidak semestinya tepat dari segi fakta. Solaris kini banyak bergantung pada imej permulaan dan bahan rujukan yang diberikan, jadi ia berpotensi menyampaikan jawapan, butiran produk atau gambaran visual yang tidak benar dengan penuh keyakinan. Runway menyenaraikan data yang lebih kaya dan disahkan, dokumen serta bahan rujukan sebagai bidang penyelidikan lanjut.

Sesi panjang boleh menyebabkan keselarasan hilang

Oleh sebab setiap keadaan bergantung pada rantaian keadaan dan keputusan model sebelumnya, kesilapan boleh bertambah dalam penggunaan terbuka. Mengekalkan adegan, ciri objek, arahan dan sejarah interaksi agar konsisten sepanjang sesi panjang masih menjadi masalah penyelidikan yang aktif.

Menjana setiap bingkai memerlukan kos pengiraan

Laman web konvensional biasanya menghantar kod dan aset untuk dipaparkan oleh peranti pengguna. Solaris pula melakukan kerja penjanaan berterusan untuk menghasilkan perkara yang kelihatan pada skrin. Runway berkata pengoptimumannya menjadikan proses itu jauh lebih murah berbanding resapan video standard, tetapi penjanaan bingkai demi bingkai masih lebih mencabar daripada menghantar halaman yang telah dikodkan. Sasaran kualiti visual prototaip ialah 720p.

Kebolehcapaian dan integrasi perisian belum lengkap

Imej yang dipaparkan tidak secara automatik mendedahkan semantik berstruktur yang diperlukan oleh pembaca skrin dan teknologi bantuan lain. Ia juga tidak menyediakan secara semula jadi keadaan yang boleh diperiksa, struktur peristiwa dan antara muka yang boleh diramal—semuanya penting untuk banyak sistem perisian.

Penganalisis mengenal pasti ketiadaan DOM konvensional, iaitu struktur dokumen yang biasanya digunakan pelayar dan teknologi bantuan untuk memahami elemen pada halaman, serta ketiadaan lapisan kebolehcapaian sebagai halangan besar kepada penggunaan Solaris dalam persekitaran yang memerlukan kebolehcapaian atau audit yang ketat.

Adakah Solaris sudah tersedia?

Solaris diperkenalkan sebagai penyelidikan eksperimen, bukannya platform produksi yang tersedia secara meluas. Laporan yang ada menggambarkannya sebagai pratonton penyelidikan dengan akses awal atau akses melalui permohonan, bukan produk pembinaan aplikasi yang boleh digunakan umum.

Buat masa ini, kepentingan Solaris lebih bersifat konsep dan penyelidikan. Ia menunjukkan satu kemungkinan baharu untuk antara muka perisian, tetapi belum membuktikan bahawa pasukan pembangunan boleh menggunakannya sebagai pengganti terus kepada aplikasi berkod.

Hubungan Solaris dengan GWM-1 Runway

Solaris berkait dengan penyelidikan world model Runway yang lebih luas, tetapi tujuannya berbeza. Runway menerangkan GWM-1 sebagai simulator masa nyata serba guna yang meliputi persekitaran, avatar dan manipulasi robotik. Solaris mengecilkan skop idea itu kepada antara muka perisian: “dunia” yang disimulasikan ialah aplikasi atau laman web, manakala tindakan pengguna memacu perkembangannya. 12

Dalam erti kata ini, Solaris mengembangkan tumpuan Runway daripada penjanaan media kepada penjanaan persekitaran visual interaktif. Antara muka itu bukan sekadar video untuk ditonton; ia ialah adegan yang bertindak balas terhadap tindakan dan dijana semula sepanjang interaksi diteruskan.

Mengapa Solaris mungkin penting?

Laluan baharu untuk mencipta perisian

Jika pendekatan ini menjadi lebih boleh dipercayai, pencipta boleh menerangkan persekitaran visual, produk, matlamat dan tingkah laku menggunakan bahasa semula jadi, tanpa perlu melaksanakan setiap kemungkinan keadaan dalam kod. Ia mungkin amat berguna untuk pengalaman yang bersifat visual, spatial atau eksploratif, yang kadangkala sukar dihadkan kepada susun atur antara muka biasa.

Namun, fleksibiliti itu datang daripada penjanaan dan bukannya logik program yang dinyatakan secara jelas. Bagi perisian produksi, pasukan masih memerlukan tingkah laku yang boleh diramal, kebolehujian, integriti data, kebolehcapaian dan integrasi dengan sistem lain—bidang yang belum dibuktikan Solaris mampu menggantikan melalui amalan kejuruteraan konvensional.

Lapisan antara muka baharu untuk ejen AI

Solaris juga menunjukkan kemungkinan cara baharu untuk ejen AI beroperasi dalam persekitaran visual yang tidak dikenali. Daripada bergantung sepenuhnya pada API tetap atau aliran kerja yang dikodkan, ejen boleh mentafsir antara muka sebagai dunia yang dinamik, melakukan tindakan, memerhati keadaan baharu dan meneruskan tugasan berdasarkan pemerhatian itu.

Cita-cita ini penting untuk ejen yang perlu menggunakan antara muka yang tidak direka dengan skema automasi tertentu. Namun, ia masih merupakan arah penyelidikan. API berstruktur yang boleh dipercayai dan perisian konvensional yang boleh diakses masih menawarkan kelebihan besar untuk tugas yang memerlukan kebolehkesanan audit, ketepatan dan pelaksanaan berulang.

Kesimpulan

Solaris paling tepat difahami sebagai pratonton penyelidikan bagi antara muka perisian generatif, bukannya pengakhiran kepada aplikasi berkod. Idea utamanya ialah menjadikan antara muka itu sendiri sebagai hasil model: rangkaian bingkai yang dijana AI, dipandu oleh model bahasa dan dibentuk oleh tindakan pengguna.

Kajian yang dilaporkan Runway menunjukkan bahawa pengguna kadangkala lebih menyukai pendekatan ini dari segi interaksi semula jadi dan pematuhan arahan. Namun, masalah yang masih belum selesai—ketepatan teks, kesahihan fakta, keselarasan sesi panjang, kos penjanaan, kebolehcapaian dan integrasi—ialah keperluan produk teras, bukan sekadar sentuhan akhir.

Solaris memberi gambaran tentang rupa dunia antara muka yang dijana model. Pada masa yang sama, ia turut menjelaskan mengapa kod konvensional masih sukar digantikan.