AnswersPublished11 sources
Omega-0: Model yang menyelaraskan langkah, penglihatan dan tangan robot humanoid
Omega 0 ialah model tindakan dunia (world action model) tunggal yang menyelaraskan pergerakan kaki, badan, kamera dan tangan robot humanoid. Seni binanya mempunyai tiga peringkat: memampatkan gerakan seluruh badan, meramalkan ciri visual masa depan menggunakan penglihatan, bahasa dan propriosepsi, kemudian melakukan...
Diterbitkan olehDisunting dengan GPT-5.6 LunaImej dijana dengan GPT Image 1.5
Research answer
Key takeaways
- Omega 0 ialah model tindakan dunia (world action model) tunggal yang menyelaraskan pergerakan kaki, badan, kamera dan tangan robot humanoid.
- Seni binanya mempunyai tiga peringkat: memampatkan gerakan seluruh badan, meramalkan ciri visual masa depan menggunakan penglihatan, bahasa dan propriosepsi, kemudian melakukan grounding serta penalaan pada data rumah...
- Dataset Omega HOME mengandungi 40.3 jam data, 4,827 episod teleoperasi dan 24 tugasan rumah dengan rakaman pelbagai sudut, data kedudukan robot serta arahan bahasa.
- Dalam 11 tugasan loco manipulation di rumah sebenar, penyelidik melaporkan kadar kejayaan purata 81.8% menggunakan satu model, namun autonomi jangka panjang dan keselamatan masih belum diselesaikan.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Omega-0, the whole-body latent-prediction world action model released on August 21, 2026 by researchers from Nanyang Technological U. Article summary: Omega-0 (ω-0) is a single, whole-body “world action model” for humanoid robots: it takes a language instruction, visual observations, and robot state, predicts a future visual representation, then generates controller-co. Topic tags: general, academic, general web, user generated, government. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, wate
Omega-0 (ω-0) ialah model tindakan dunia seluruh badan (whole-body world action model) untuk robot humanoid. Berbanding memisahkan tugas berjalan dan mengendalikan objek kepada sistem berlainan, model ini cuba menyelaraskan semuanya dalam satu polisi: robot boleh menggerakkan tapaknya, menukar postur dan sudut pandangan, mengekalkan keseimbangan serta menggunakan tangannya sebagai sebahagian daripada tugasan yang sama. 1
Pada teras pendekatan ini ialah ramalan ciri visual masa depan, bukannya penghasilan terus trajektori panjang yang telah ditetapkan. Secara mudah, model menganggarkan perkara yang akan dilihat robot selepas melakukan sesuatu tindakan, kemudian menggunakan ramalan itu untuk memilih pergerakan yang serasi. Keputusan yang dibincangkan datang daripada kertas penyelidikan dan wajar dianggap sebagai tuntutan penulis, bukannya penanda aras yang telah disahkan secara bebas. 1
Cara seni bina tiga peringkat Omega-0 berfungsi
1. Memampatkan gerakan seluruh badan dan mempelajari representasi
Peringkat pertama menukar gerakan seluruh badan yang berdimensi tinggi kepada token tindakan atau latent yang lebih padat melalui Whole-Body FAST tokenizer. Pemampatan ini memberi model cara yang lebih mudah diurus untuk mewakili gerakan kompleks, seperti gabungan pergerakan kaki, badan dan tangan. 1
Pada masa yang sama, penyelidik menyesuaikan teras penglihatan-bahasa Qwen3-VL-2B-Instruct dengan persekitaran robot. Latihan menggunakan token boleh dipelajari yang membezakan pandangan egosentrik—iaitu pandangan orang pertama daripada kamera robot—dan pandangan eksosentrik, iaitu pandangan orang ketiga daripada kamera luar. Dengan cara ini, model boleh memanfaatkan pandangan menyeluruh daripada kamera luar ketika latihan, tetapi bergantung pada pandangan robot sendiri apabila digunakan. 1
2. Meramalkan latent visual masa depan sebelum bertindak
Dalam peringkat kedua, Omega-0 menggunakan matlamat ramalan latent yang diinspirasikan oleh V-JEPA. Model menggabungkan maklumat visual, arahan bahasa dan propriosepsi—ukuran tentang keadaan fizikal robot—untuk meramalkan ciri visual masa depan, bukannya cuba menghasilkan semula setiap piksel masa depan. 1
Selepas itu, sebuah diffusion transformer menggunakan representasi yang diramalkan tersebut untuk menghasilkan urutan latent tindakan seluruh badan yang serasi dengan pengawal robot. Logiknya ialah sesuatu gerakan dipilih bukan semata-mata kerana ia munasabah dari sudut kinematik, tetapi kerana ia dijangka membawa robot kepada keadaan visual yang berguna. Contohnya, robot boleh bergerak ke lokasi yang sesuai, menghalakan badan dan kameranya, kemudian menghulurkan tangan ke arah objek. 1
3. Grounding pada robot dan penalaan menggunakan data rumah sebenar
Dalam peringkat ketiga, demonstrasi manusia yang tersedia untuk umum dipindahkan melalui grounding berasaskan simulasi ke ruang latent tindakan robot. Sistem itu kemudiannya disesuaikan menggunakan data sebenar daripada robot humanoid yang menjalankan tugasan rumah. 1
Semasa digunakan, Omega-0 tidak terikat pada keseluruhan laluan bagi tugasan yang panjang. Sebaliknya, ia menghasilkan cebisan tindakan (action chunk) yang pendek, melaksanakannya, memerhati semula persekitaran dan merancang semula. Kaedah ufuk berundur (receding horizon) ini membolehkan robot membetulkan pergerakannya berdasarkan maklumat visual dan proprioseptif yang baharu, bukannya mengikuti trajektori open-loop yang lengkap dari awal hingga akhir. 1
Apa yang terkandung dalam dataset Omega-HOME?
Untuk latihan dan penilaian, kertas kerja tersebut memperkenalkan Omega-HOME, dataset interaksi rumah sebenar yang dikumpulkan menggunakan robot humanoid. Dataset ini merangkumi 40.3 jam data, 4,827 episod teleoperasi dan 24 tugasan rumah, yang dirakam pada kadar 30 Hz. 1
Data yang disegerakkan itu merangkumi:
- arahan bahasa;
- RGB egosentrik daripada kamera robot;
- RGB-D eksosentrik daripada kamera ZED;
- keadaan proprioseptif;
- rujukan gerakan seluruh badan; dan
- latent tindakan yang serasi dengan pengawal robot.
1
Tugasan tersebut dibahagikan kepada lapan kumpulan keupayaan:
- mendapatkan objek;
- membersihkan permukaan;
- berinteraksi dengan peralatan rumah;
- memindahkan objek antara bekas;
- mengendalikan kain atau tekstil;
- menyusun barang di ruang penyimpanan;
- manipulasi mudah alih (mobile manipulation); dan
- menggunakan alat untuk tugasan di lantai.
Yang penting, aktiviti itu tidak terhad kepada robot yang hanya mengambil objek di atas meja. Robot perlu menggerakkan tapaknya, mengubah postur dan badannya, mengekalkan keseimbangan serta mengendalikan perabot, objek atau alat dalam urutan tindakan yang lebih panjang. 1
Bagaimana pencemaran penanda aras ditangani?
Dalam protokol yang diterangkan oleh kajian tersebut, 11 jenis tugasan penilaian dikeluarkan daripada data latihan Omega-HOME. Data robot yang selebihnya digabungkan dengan demonstrasi manusia yang tersedia untuk umum bagi latihan awal, manakala data rumah sebenar digunakan untuk proses grounding dan latihan selepas itu. 1
Langkah ini mengurangkan risiko model sekadar menghafal demonstrasi yang sama seperti yang muncul dalam set ujian. Namun, ia bukan jaminan mutlak bahawa model benar-benar boleh menggeneralisasi. Persamaan mungkin masih wujud dari segi bilik, objek, struktur tugasan, perkakasan atau cara data dikumpulkan. Ujian yang lebih ketat memerlukan pengulangan bebas di rumah baharu dan pada platform robot humanoid yang berbeza.
Prestasi yang dilaporkan dalam tugasan rumah sebenar
Dalam 11 tugasan loco-manipulation di rumah sebenar, penulis melaporkan kadar kejayaan purata 81.8% bagi Omega-0. Model itu menggunakan satu sistem bersepadu, bukannya polisi berasingan bagi setiap tugasan, kepala tindakan yang berbeza atau modul bebas untuk berjalan dan mengendalikan objek. 1
Ujian meliputi manipulasi di atas meja, pembersihan, cucian, pemindahan objek, interaksi dengan peralatan rumah dan manipulasi mudah alih. Kajian itu turut melaporkan bahawa Omega-0 mengatasi garis dasar yang dibandingkan—π-0.5, EgoVLA, GR00T-N1.7 dan ψ-0—dalam set ujian berkenaan. 1
Bahan yang tersedia tidak menerangkan dengan cukup jelas kadar keseluruhan tepat bagi setiap garis dasar. Oleh itu, kesimpulan yang paling selamat ialah kedudukan perbandingan yang dilaporkan serta angka 81.8% untuk Omega-0, bukannya perbandingan angka terperinci yang tidak disediakan di sini.
Apa makna 81.8% untuk AI berjasad?
Sumbangan utama Omega-0 adalah dari segi seni bina. Ia menunjukkan satu arah penyelidikan yang menggunakan ramalan latent persepsi masa depan sebagai penghubung antara demonstrasi manusia, bahasa, penglihatan, propriosepsi dan kawalan robot seluruh badan. 1
Daripada hanya mempelajari “pergerakan apakah yang sepadan dengan imej ini”, model cuba mengaitkan sesuatu pergerakan dengan keadaan yang bakal terhasil daripadanya. Ini amat berguna untuk tugasan yang memerlukan robot memutuskan secara serentak di mana ia patut berdiri, perkara yang perlu dilihat dan cara tangannya perlu digunakan.
Namun, keputusan itu tidak bermakna robot humanoid sudah bersedia beroperasi sendiri tanpa kawalan dalam semua jenis rumah. Beberapa cabaran utama masih belum selesai:
- Kebolehpercayaan untuk tugasan panjang: kadar kejayaan dalam 11 tugasan tidak membuktikan robot boleh beroperasi selama berjam-jam, pulih daripada kesilapan yang terkumpul atau menyelesaikan rangkaian submatlamat yang saling bergantung.
- Keselamatan: interaksi dengan manusia, objek mudah pecah, tangga, keadaan berselerak, haiwan peliharaan dan pergerakan tidak dijangka memerlukan pelindung keselamatan yang jelas, pengurusan ketidakpastian serta pengesahan pada peringkat perkakasan.
- Generalisasi: prestasi pada objek dan pemandangan yang tidak digunakan dalam latihan sememangnya menggalakkan, tetapi belum menyelesaikan pemindahan ke rumah, pencahayaan, susun atur, kebiasaan meletakkan objek atau bentuk robot yang berbeza.
- Penyesuaian: rumah sentiasa berubah dan hanya boleh diperhatikan sebahagiannya. Sistem praktikal perlu mengesan kegagalan, meminta bantuan apabila perlu, belajar dengan selamat dan menyesuaikan diri tanpa latihan semula yang mahal.
Kesimpulan yang paling tepat ialah Omega-0 merupakan langkah penting ke arah penyelarasan pergerakan dan manipulasi secara bersepadu pada robot humanoid. Angka 81.8% ialah hasil penyelidikan yang kukuh dalam penanda aras tertentu, tetapi bukan bukti bahawa robot sudah boleh melakukan setiap kerja rumah dengan boleh dipercayai tanpa pengawasan.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Omega-0: Model yang menyelaraskan langkah, penglihatan dan tangan robot humanoid"?
Omega 0 ialah model tindakan dunia (world action model) tunggal yang menyelaraskan pergerakan kaki, badan, kamera dan tangan robot humanoid.
What are the key points to validate first?
Omega 0 ialah model tindakan dunia (world action model) tunggal yang menyelaraskan pergerakan kaki, badan, kamera dan tangan robot humanoid. Seni binanya mempunyai tiga peringkat: memampatkan gerakan seluruh badan, meramalkan ciri visual masa depan menggunakan penglihatan, bahasa dan propriosepsi, kemudian melakukan grounding serta penalaan pada data rumah...
What should I do next in practice?
Dataset Omega HOME mengandungi 40.3 jam data, 4,827 episod teleoperasi dan 24 tugasan rumah dengan rakaman pelbagai sudut, data kedudukan robot serta arahan bahasa.