Runway Solaris เปลี่ยนหน้าจอซอฟต์แวร์ให้เป็นโลก AI ที่สร้างสดแบบเรียลไทม์

Runway Solaris เสนอแนวคิดที่อาจเปลี่ยนวิธีสร้างและใช้งานซอฟต์แวร์อย่างถึงราก แทนที่ระบบจะโหลดหน้าจอที่เขียนโค้ดและกำหนดไว้ล่วงหน้า Solaris จะสร้างอินเทอร์เฟซขึ้นมาอย่างต่อเนื่อง ราวกับเป็นโลกภาพเคลื่อนไหวที่ตอบสนองต่อทุกการคลิก การลาก การพิมพ์ หรือคำสั่งภาษาธรรมชาติของผู้ใช้ 38

ดังนั้น Solaris จึงไม่ใช่เพียงเครื่องมือสร้างแอปแบบไม่ต้องเขียนโค้ด แต่เป็นความพยายามนำแนวคิด world model มาใช้กับอินเทอร์เฟซซอฟต์แวร์ โดยหน้าจอไม่ได้ถูกเรนเดอร์จากโค้ดตายตัว หากถูกสร้างเป็นลำดับสถานะภาพที่เปลี่ยนไปตามการใช้งาน

Runway Solaris คืออะไร?

Runway เปิดตัว Solaris เมื่อวันที่ 31 สิงหาคม ในฐานะ Interface World Model หรือ “โมเดลโลกสำหรับอินเทอร์เฟซ” เชิงทดลอง แนวคิดหลักคือการตัดขั้นตอนแบบเดิมที่นักพัฒนาเขียน HTML, CSS และ JavaScript แล้วให้เบราว์เซอร์แสดงผลออกมา เปลี่ยนเป็นการสร้างสิ่งที่ผู้ใช้มองเห็นโดยตรง

ประสบการณ์ใช้งานอาจเริ่มจากภาพอ้างอิง เช่น ฉากแสดงสินค้า บรรยากาศของแบรนด์ หรือสภาพแวดล้อมที่ต้องการ จากนั้นโมเดลจะสร้างอินเทอร์เฟซรอบจุดตั้งต้นดังกล่าว และปรับเปลี่ยนภาพตามการโต้ตอบของผู้ใช้ แทนที่นักพัฒนาจะต้องเตรียมหน้าจอและสถานะที่เป็นไปได้ไว้ทีละแบบ ระบบจะพยายามสังเคราะห์ว่าสิ่งใดควรปรากฏขึ้นในเฟรมถัดไป

จุดนี้สำคัญกับงานออกแบบที่มีภาพเป็นองค์ประกอบหลัก เพราะรายละเอียดของฉากหรือบรรยากาศอาจสูญหายได้เมื่อโมเดลต้องแปลงภาพให้เป็นโค้ดเสียก่อน Runway ระบุว่า Solaris ให้ภาพเป็นผลลัพธ์หลัก จึงมีเป้าหมายเพื่อรักษาความต่อเนื่องและพฤติกรรมที่ดูเป็นธรรมชาติระหว่างการโต้ตอบ

Solaris สร้างอินเทอร์เฟซแบบอินเทอร์แอกทีฟได้อย่างไร

ระบบแบ่งงานระหว่างการตีความการกระทำของผู้ใช้กับการสร้างภาพผลลัพธ์ออกจากกันเป็นหลัก

1. ผู้ใช้ส่งคำสั่งหรือโต้ตอบกับหน้าจอ อาจเป็นการคลิกวัตถุ ลากองค์ประกอบ พิมพ์ข้อความ หรือขอให้ระบบเปลี่ยนแปลงบางอย่างด้วยภาษาธรรมชาติ
2. โมเดลภาษาตีความเจตนา โมเดลจะประเมินว่าควรเกิดอะไรขึ้นต่อไป ฉากปัจจุบันต้องเปลี่ยนหรือไม่ และควรอธิบายพฤติกรรมนั้นให้โมเดลภาพอย่างไร 38
3. โมเดลโลกสำหรับอินเทอร์เฟซสร้างสถานะถัดไป แทนที่จะส่งคืนหน้าเว็บที่เขียนเป็นโค้ด Solaris จะสร้างเฟรมภาพถัดไปโดยพิจารณาจากการโต้ตอบและเฟรมก่อนหน้า
4. กระบวนการจะทำซ้ำต่อเนื่อง ทุกการกระทำใหม่จะกลายเป็นบริบทสำหรับเฟรมถัดไป ทำให้อินเทอร์เฟซค่อย ๆ เปลี่ยนแปลงไป แทนที่จะกระโดดระหว่างหน้าจอที่กำหนดไว้ล่วงหน้า

ส่วนการสร้างภาพอาศัยเทคโนโลยีสร้างวิดีโอ Gen-4.5 ของ Runway เอกสารสำหรับนักพัฒนาระบุว่า Gen-4.5 รองรับการสร้างวิดีโอจากข้อความและจากภาพ ขณะที่ Solaris นำพื้นฐานดังกล่าวมาปรับใช้ในระบบที่สร้างภาพแบบอัตถดถอยและตอบสนองต่อการโต้ตอบ 46

เทคนิคที่ทำให้การสร้างภาพแบบเรียลไทม์เป็นไปได้

การสร้างสถานะภาพใหม่หลังทุกการกระทำแตกต่างจากการสร้างคลิปวิดีโอสั้น ๆ อย่างมาก Solaris จึงใช้เทคนิคหลายอย่างเพื่อลดเวลาหน่วงและรักษาคุณภาพในเซสชันที่ยาวขึ้น

สร้างเฟรมตามลำดับ

โมเดลสร้างเฟรมแบบอัตถดถอย โดยใช้เฟรมก่อนหน้าเป็นเงื่อนไขของเฟรมถัดไป วิธีนี้ช่วยให้ระบบตอบสนองต่อการกระทำด้วยการต่อยอดจากฉากเดิม แทนการเริ่มสร้างภาพใหม่ที่ไม่เกี่ยวข้องทุกครั้ง

กลั่นโมเดลให้ทำงานเร็วขึ้น

Runway ระบุว่าได้กลั่นโมเดล diffusion ที่ทำงานช้ากว่า ซึ่งทำหน้าที่เป็น “ครู” ให้กลายเป็นโมเดลที่เร็วขึ้นและต้องใช้ขั้นตอนลดสัญญาณรบกวนเพียงไม่กี่รอบ เป้าหมายคือการลดภาระการคำนวณต่อการตอบสนอง โดยยังคงคุณภาพภาพไว้มากพอสำหรับการใช้งานแบบโต้ตอบ

ฝึกโมเดลเร็วด้วยผลลัพธ์ของตัวเอง

Runway ยังระบุว่าได้นำผลลัพธ์ที่โมเดลเร็วสร้างขึ้นมาใช้ฝึกโมเดลต่อ วิธีนี้มีเป้าหมายเพื่อลดการเสื่อมของคุณภาพตลอดลำดับเฟรมที่เชื่อมโยงกัน เพราะความคลาดเคลื่อนเล็ก ๆ อาจสะสมมากขึ้นเมื่อเซสชันดำเนินต่อไป

เป้าหมายการออกแบบที่ Runway ระบุไว้ ได้แก่ เวลาหน่วงของการโต้ตอบต่ำกว่าประมาณครึ่งวินาที ความต่อเนื่องตลอดเซสชัน และคุณภาพภาพระดับ 720p อย่างไรก็ตาม สิ่งเหล่านี้เป็นเป้าหมายของงานวิจัย ไม่ใช่การรับประกันว่าทุกการโต้ตอบจะทำได้ตามตัวเลขดังกล่าว

ผลทดสอบเมื่อเทียบกับอินเทอร์เฟซที่เขียนโค้ด

Runway รายงานการศึกษาผู้ใช้ 250 คน เก็บคำตัดสินแบบเปรียบเทียบเป็นคู่ประมาณ 7,500 ครั้ง จากตัวอย่างการโต้ตอบ 30 กรณี โดยให้ผู้เข้าร่วมเปรียบเทียบอินเทอร์เฟซที่สร้างโดย Solaris กับอินเทอร์เฟซที่สร้างเป็นโค้ดด้วย Claude Opus 5

จากผลที่รายงาน ผู้เข้าร่วมเลือก Solaris มากกว่าในประเด็นต่อไปนี้

• ทำตามคำสั่งได้ตรงกว่า 61% ของการเปรียบเทียบ
• มีพฤติกรรมเป็นธรรมชาติกว่า 71% ของการเปรียบเทียบ

ผลดังกล่าวบ่งชี้ว่า ในบางสถานการณ์ อินเทอร์เฟซที่สร้างขึ้นอาจดูต่อเนื่องทางภาพหรือให้ความรู้สึกเป็นธรรมชาติกว่าเมื่อผู้ใช้โต้ตอบกับวัตถุบนหน้าจอ แต่ไม่ควรตีความว่า Solaris เหนือกว่าซอฟต์แวร์แบบเดิมในทุกด้าน การทดสอบนี้วัดความรู้สึกและการตัดสินด้านการโต้ตอบเป็นหลัก ไม่ได้พิสูจน์เรื่องความน่าเชื่อถือ ความถูกต้อง ความปลอดภัย การดูแลรักษา ต้นทุน ประสิทธิภาพ หรือการเข้าถึงสำหรับผู้ใช้ทุกกลุ่ม อีกทั้งข้อมูลที่มีอยู่ยังไม่เพียงพอสำหรับตรวจสอบระเบียบวิธีและการวิเคราะห์ทางสถิติของการศึกษาอย่างเป็นอิสระ

ข้อจำกัดสำคัญของ Solaris

กลไกเดียวกับที่ทำให้ Solaris ยืดหยุ่น ยังนำมาซึ่งปัญหาด้านวิศวกรรมและการใช้งานจริงหลายประการ

ข้อความบนหน้าจอยังไม่นิ่ง

การสร้างข้อความที่อ่านง่ายและถูกต้องเป็นปัญหาที่ยังแก้ได้ไม่สมบูรณ์ในระบบสร้างภาพและวิดีโอแบบเรียลไทม์ อินเทอร์เฟซอาจดูสวยงาม แต่ป้ายกำกับ ตัวเลข เมนู หรือคำแนะนำอาจผิดเพี้ยนได้ Runway ระบุว่าการสร้างข้อความยังเป็นโจทย์เปิด และเสนอความเป็นไปได้ของระบบแบบผสม โดยให้โมเดลภาพรับผิดชอบช่วงที่เป็นข้อความจำนวนมากและค่อนข้างนิ่ง ส่วนโมเดลวิดีโอรับผิดชอบการโต้ตอบต่อเนื่อง

ภาพที่น่าเชื่อถือไม่ได้แปลว่าถูกต้อง

อินเทอร์เฟซที่ดูสมจริงอาจให้ข้อมูลผิดได้ Solaris ในปัจจุบันอาศัยภาพตั้งต้นและแหล่งอ้างอิงที่ป้อนให้เป็นหลัก จึงอาจนำเสนอคำตอบ รายละเอียดสินค้า หรือภาพแทนที่ไม่ถูกต้องด้วยความมั่นใจ Runway ระบุว่าการเพิ่มข้อมูลผลิตภัณฑ์ที่ตรวจสอบแล้ว เอกสาร และแหล่งอ้างอิงที่ละเอียดขึ้น เป็นหัวข้อสำหรับการวิจัยต่อไป

ใช้งานนาน ๆ อาจรักษาความต่อเนื่องได้ยาก

เมื่อแต่ละสถานะขึ้นอยู่กับห่วงโซ่ของเฟรมและการตัดสินใจจากโมเดล ความผิดพลาดอาจสะสมระหว่างการใช้งานแบบปลายเปิด การทำให้ฉาก คุณสมบัติของวัตถุ คำสั่ง และประวัติการโต้ตอบยังสอดคล้องกันตลอดเซสชัน จึงยังเป็นปัญหาวิจัยที่อยู่ระหว่างการแก้ไข

การสร้างทุกเฟรมมีต้นทุน

เว็บไซต์ทั่วไปส่งโค้ดและไฟล์ทรัพยากรให้เครื่องของผู้ใช้เป็นผู้เรนเดอร์ แต่ Solaris ต้องสร้างผลลัพธ์เชิงกำเนิดอย่างต่อเนื่องเพื่อผลิตสิ่งที่ปรากฏบนหน้าจอ Runway ระบุว่าการปรับปรุงต่าง ๆ ทำให้กระบวนการมีต้นทุนต่ำกว่าวิธีสร้างวิดีโอด้วย diffusion แบบมาตรฐานอย่างมาก แต่การสร้างภาพทีละเฟรมก็ยังใช้ทรัพยากรมากกว่าการส่งหน้าเว็บที่เขียนโค้ดไว้ล่วงหน้า เป้าหมายคุณภาพภาพของต้นแบบอยู่ที่ 720p

การเข้าถึงและการเชื่อมต่อกับซอฟต์แวร์ยังไม่สมบูรณ์

ภาพที่เรนเดอร์ขึ้นมาไม่ได้เปิดเผยความหมายเชิงโครงสร้างโดยอัตโนมัติ ซึ่งเป็นข้อมูลที่โปรแกรมอ่านหน้าจอและเทคโนโลยีช่วยเหลืออื่น ๆ ต้องใช้ นอกจากนี้ยังไม่มีสถานะที่ตรวจสอบได้ โครงสร้างเหตุการณ์ และอินเทอร์เฟซที่คาดเดาได้เหมือนซอฟต์แวร์ทั่วไป นักวิเคราะห์จึงมองว่าการไม่มี DOM แบบดั้งเดิมและชั้นการเข้าถึง เป็นอุปสรรคสำคัญต่อการนำแนวทางนี้ไปใช้ในระบบที่ต้องตรวจสอบได้สูงหรือให้ความสำคัญกับการเข้าถึง

Solaris เปิดให้ใช้งานแล้วหรือยัง?

Solaris ถูกนำเสนอในฐานะงานวิจัยเชิงทดลอง ไม่ใช่แพลตฟอร์มสร้างแอปสำหรับใช้งานจริงที่เปิดให้คนทั่วไปอย่างกว้างขวาง รายงานต่าง ๆ ระบุว่าเป็นงานวิจัยตัวอย่างที่อาจเปิดให้เข้าถึงก่อนหรือให้ผู้สนใจยื่นคำขอ มากกว่าจะเป็นผลิตภัณฑ์ที่เปิดตัวเต็มรูปแบบ

ด้วยเหตุนี้ ความสำคัญของ Solaris ในเวลานี้จึงอยู่ที่การชี้ให้เห็นทิศทางใหม่ของซอฟต์แวร์ มากกว่าการเป็นเครื่องมือที่ทีมพัฒนาสามารถนำไปแทนที่แอปแบบเขียนโค้ดได้ทันที

Solaris เกี่ยวข้องกับ GWM-1 อย่างไร

Solaris เชื่อมโยงกับงานวิจัย world model ในภาพรวมของ Runway แต่มีเป้าหมายต่างกัน Runway อธิบายว่า GWM-1 เป็นเครื่องจำลองแบบเรียลไทม์สำหรับสภาพแวดล้อม อวตาร และการควบคุมหุ่นยนต์ ขณะที่ Solaris จำกัดแนวคิด world model ให้มุ่งไปที่อินเทอร์เฟซซอฟต์แวร์โดยเฉพาะ “โลก” ที่จำลองจึงเป็นแอปหรือเว็บไซต์ และการกระทำของผู้ใช้เป็นตัวขับเคลื่อนให้โลกนั้นเปลี่ยนแปลง 12

ในมุมนี้ Solaris คือการขยายความสนใจของ Runway จากการสร้างสื่อ ไปสู่การสร้างสภาพแวดล้อมภาพที่โต้ตอบได้ อินเทอร์เฟซไม่ได้เป็นเพียงวิดีโอสำหรับรับชม แต่เป็นฉากที่ตอบสนองต่อการกระทำและถูกสร้างขึ้นใหม่อย่างต่อเนื่อง

ทำไมแนวคิดนี้จึงอาจมีความสำคัญ

เส้นทางใหม่สำหรับการสร้างซอฟต์แวร์

หากแนวทางนี้พัฒนาให้มีความน่าเชื่อถือมากขึ้น ผู้สร้างอาจเพียงอธิบายสภาพแวดล้อม สินค้า เป้าหมาย และพฤติกรรมด้วยภาษาธรรมชาติ โดยไม่ต้องเขียนโค้ดดักทุกสถานะที่อาจเกิดขึ้น แนวทางนี้น่าสนใจเป็นพิเศษกับประสบการณ์ที่เน้นภาพ พื้นที่ หรือการสำรวจ ซึ่งการจัดวาง UI แบบเดิมอาจมีข้อจำกัด

แต่ความยืดหยุ่นดังกล่าวเกิดจากการสร้างผลลัพธ์ใหม่ ไม่ใช่ตรรกะโปรแกรมที่ระบุไว้อย่างชัดเจน สำหรับซอฟต์แวร์ที่ใช้งานจริง ทีมพัฒนายังคงต้องรับประกันพฤติกรรมที่คาดเดาได้ การทดสอบ ความถูกต้องของข้อมูล การเข้าถึง และการเชื่อมต่อกับระบบอื่น ซึ่ง Solaris ยังไม่ได้แสดงให้เห็นว่าสามารถเข้ามาแทนที่แนวปฏิบัติด้านวิศวกรรมเหล่านี้ได้

ชั้นอินเทอร์เฟซรูปแบบใหม่สำหรับ AI Agent

Solaris ยังชี้ไปสู่แนวทางที่ AI Agent อาจทำงานในสภาพแวดล้อมภาพที่ไม่คุ้นเคยได้ แทนที่จะพึ่งพา API ที่กำหนดไว้ตายตัวหรือเวิร์กโฟลว์ที่เขียนฮาร์ดโค้ดทั้งหมด Agent อาจตีความอินเทอร์เฟซเป็นโลกแบบไดนามิก ลงมือทำ สังเกตสถานะที่เปลี่ยนไป แล้วดำเนินการต่อจากข้อมูลนั้น

แนวคิดนี้มีความหมายกับ Agent ที่ต้องใช้งานอินเทอร์เฟซซึ่งไม่ได้ออกแบบมาเพื่อระบบอัตโนมัติโดยเฉพาะ อย่างไรก็ตาม ยังเป็นทิศทางการวิจัยมากกว่าจะเป็นคำตอบที่พิสูจน์แล้ว เพราะ API ที่มีโครงสร้างและซอฟต์แวร์แบบเข้าถึงได้ตามมาตรฐานยังได้เปรียบในงานที่ต้องการความแม่นยำ การตรวจสอบย้อนหลัง และการทำงานซ้ำได้อย่างคาดเดาได้

สรุป: Solaris คือภาพอนาคตของ UI ไม่ใช่จุดจบของโค้ด

Solaris ควรถูกมองว่าเป็นตัวอย่างงานวิจัยของอินเทอร์เฟซซอฟต์แวร์แบบสร้างขึ้นด้วย AI ไม่ใช่หลักฐานว่าแอปแบบเขียนโค้ดกำลังจะหายไป จุดเด่นของมันคือการทำให้อินเทอร์เฟซกลายเป็นผลลัพธ์โดยตรงของโมเดล ซึ่งสร้างเป็นชุดเฟรมต่อเนื่อง โดยมีโมเดลภาษาคอยตีความคำสั่งและ user action เป็นตัวกำหนดทิศทาง

ผลการศึกษาที่ Runway รายงานชี้ว่า ผู้ใช้บางส่วนชอบแนวทางนี้มากกว่าเมื่อวัดจากความเป็นธรรมชาติของการโต้ตอบและการทำตามคำสั่ง แต่ปัญหาเรื่องความถูกต้องของข้อความ การอ้างอิงข้อเท็จจริง ความต่อเนื่องในเซสชันยาว ต้นทุน การเข้าถึง และการเชื่อมต่อกับระบบอื่น ล้วนเป็นเงื่อนไขหลักของผลิตภัณฑ์ ไม่ใช่รายละเอียดเล็ก ๆ ที่ค่อยปรับทีหลัง

Solaris จึงทำหน้าที่สองอย่างพร้อมกัน: แสดงให้เห็นว่าอินเทอร์เฟซแบบ world model อาจมีหน้าตาอย่างไร และย้ำให้เห็นว่าทำไมโค้ดแบบดั้งเดิมยังเป็นสิ่งที่แทนที่ได้ยาก