JawabanDipublikasikan11 sumber
Omega-0 Menggabungkan Langkah, Penglihatan, dan Gerakan Tangan Robot Humanoid
Omega 0 adalah whole body world action model yang dirancang agar robot humanoid dapat berjalan, mengubah sudut pandang, menjaga keseimbangan, dan menggunakan tangannya dalam satu tugas terpadu. Arsitekturnya memiliki tiga tahap: memadatkan gerakan seluruh tubuh, memprediksi fitur visual masa depan dari penglihatan,...
Diterbitkan olehDiedit dengan GPT-5.6 LunaGambar dibuat dengan GPT Image 1.5
Jawaban penelitian
Poin-poin penting
- Omega 0 adalah whole body world action model yang dirancang agar robot humanoid dapat berjalan, mengubah sudut pandang, menjaga keseimbangan, dan menggunakan tangannya dalam satu tugas terpadu.
- Arsitekturnya memiliki tiga tahap: memadatkan gerakan seluruh tubuh, memprediksi fitur visual masa depan dari penglihatan, bahasa, dan propriosepsi, lalu melakukan grounding serta fine tuning menggunakan data rumah ta...
- Dataset Omega HOME mencakup 40,3 jam data, 4.827 episode teleoperasi, dan 24 tugas rumah tangga dengan data video, kedalaman, instruksi bahasa, kondisi robot, serta gerakan seluruh tubuh yang tersinkronisasi.
- Dalam evaluasi pada 11 tugas rumah nyata, peneliti melaporkan tingkat keberhasilan rata rata 81,8% untuk satu model Omega 0, lebih tinggi daripada baseline yang dibandingkan dalam rangkaian pengujian tersebut.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Omega-0, the whole-body latent-prediction world action model released on August 21, 2026 by researchers from Nanyang Technological U. Article summary: Omega-0 (ω-0) is a single, whole-body “world action model” for humanoid robots: it takes a language instruction, visual observations, and robot state, predicts a future visual representation, then generates controller-co. Topic tags: general, academic, general web, user generated, government. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, wate
Omega-0 (ω-0) adalah whole-body world action model untuk robot humanoid. Alih-alih memisahkan kemampuan berjalan dan memanipulasi objek ke dalam sistem yang berbeda, model ini berupaya mengaturnya melalui satu kebijakan terpadu. Dengan pendekatan tersebut, robot dapat memindahkan posisi tubuh, mengubah postur dan sudut pandang kamera, menjaga keseimbangan, lalu menggunakan tangannya sebagai bagian dari tugas yang sama. 1
Di balik pendekatan ini terdapat gagasan penting: robot tidak hanya perlu memilih gerakan yang mungkin dilakukan, tetapi juga memperkirakan kondisi visual yang akan muncul setelah gerakan tersebut. Jadi, sebelum menjulurkan tangan ke sebuah benda, robot dapat mempertimbangkan apakah ia perlu melangkah, memutar tubuh, atau mengubah arah pandang terlebih dahulu.
Hasil yang dibahas di sini berasal dari penelitian para penulisnya. Karena itu, angka dan klaim performanya sebaiknya dipahami sebagai hasil yang dilaporkan dalam makalah penelitian, bukan sebagai benchmark yang sudah dikonfirmasi secara independen. 1
Cara kerja arsitektur tiga tahap Omega-0
1. Memadatkan gerakan seluruh tubuh
Tahap pertama mengubah gerakan seluruh tubuh yang berdimensi tinggi menjadi representasi yang lebih ringkas, yaitu action token atau latent, menggunakan Whole-Body FAST tokenizer. Kompresi ini membantu model menangani rangkaian gerakan kompleks yang melibatkan kaki, tubuh, lengan, dan tangan secara bersamaan. 1
Pada tahap yang sama, peneliti menyesuaikan backbone vision-language Qwen3-VL-2B-Instruct untuk lingkungan robot. Model tersebut memakai token yang dapat dipelajari untuk membedakan dua sudut pandang:
- Egocentric, atau sudut pandang orang pertama dari kamera robot;
- Exocentric, atau sudut pandang orang ketiga dari kamera eksternal.
Dengan demikian, selama pelatihan model dapat memanfaatkan pengawasan dari kamera eksternal yang memberikan gambaran lebih luas. Saat digunakan, robot tetap mengandalkan pandangan dari kameranya sendiri. 1
2. Memprediksi apa yang akan dilihat robot
Tahap kedua menggunakan tujuan pelatihan yang terinspirasi V-JEPA. Omega-0 menggabungkan informasi visual, instruksi bahasa, dan propriosepsi—data internal mengenai posisi, gerakan, dan kondisi robot—untuk memprediksi fitur visual masa depan. Model tidak perlu merekonstruksi setiap piksel, melainkan cukup memperkirakan representasi visual yang relevan. 1
Setelah itu, sebuah diffusion transformer menggunakan representasi yang diprediksi tersebut untuk menghasilkan urutan latent gerakan seluruh tubuh yang dapat dijalankan oleh controller robot.
Secara sederhana, robot tidak hanya bertanya, “Gerakan apa yang cocok dengan gambar ini?” Robot juga mencoba memperkirakan, “Jika saya melakukan gerakan ini, kondisi visual apa yang akan saya capai?” Logika tersebut dapat membantu robot menyusun gerakan seperti melangkah ke posisi yang tepat, mengarahkan tubuh dan kamera, lalu meraih objek. 1
3. Menghubungkan model dengan robot nyata
Pada tahap ketiga, demonstrasi manusia yang tersedia untuk umum dipindahkan ke ruang action-latent robot melalui proses simulation-based grounding. Sistem kemudian disesuaikan menggunakan data nyata dari robot humanoid yang mengerjakan tugas rumah tangga. 1
Saat beroperasi, Omega-0 tidak langsung merencanakan seluruh rangkaian tugas panjang secara terbuka. Model menghasilkan action chunk pendek, menjalankannya, mengamati lingkungan kembali, lalu menyusun rencana berikutnya. Cara kerja berulang ini disebut pendekatan receding horizon.
Keuntungannya, robot dapat memperbaiki gerakan berdasarkan informasi visual dan proprioseptif terbaru. Robot tidak harus terus mengikuti satu lintasan panjang yang sudah ditentukan sejak awal.
Isi dataset Omega-HOME
Untuk melatih dan mengevaluasi sistem, penelitian tersebut memperkenalkan Omega-HOME, dataset interaksi rumah tangga nyata yang melibatkan robot humanoid. Dataset ini berisi 40,3 jam data, 4.827 episode teleoperasi, dan 24 tugas rumah tangga, yang direkam pada 30 Hz. 1
Data yang tersedia mencakup:
- instruksi dalam bahasa;
- video RGB egosentris dari kamera robot;
- video RGB-D eksosentris dari kamera ZED;
- kondisi proprioseptif robot;
- referensi gerakan seluruh tubuh;
- latent aksi yang kompatibel dengan controller robot.
1
Ke-24 tugas tersebut dikelompokkan ke dalam delapan kategori kemampuan:
- mengambil objek;
- membersihkan permukaan;
- berinteraksi dengan perangkat rumah tangga;
- memindahkan objek antarwadah;
- menangani kain atau pakaian;
- menata objek di ruang penyimpanan;
- mobile manipulation, yakni memanipulasi objek sambil berpindah tempat;
- menggunakan alat untuk mengerjakan tugas di lantai.
Fokusnya bukan hanya mengambil benda dari meja dalam kondisi statis. Banyak tugas mengharuskan robot memindahkan basis tubuh, mengubah posisi torso, menjaga keseimbangan, serta menangani furnitur, objek, atau alat dalam rangkaian tindakan yang lebih panjang. 1
Bagaimana risiko kontaminasi benchmark dikurangi?
Dalam protokol evaluasi yang dijelaskan di makalah tersebut, 11 jenis tugas yang digunakan untuk pengujian dikeluarkan dari data pelatihan Omega-HOME. Data robot yang tersisa kemudian digabungkan dengan demonstrasi manusia yang tersedia untuk umum dalam tahap pretraining. Data rumah tangga nyata digunakan untuk grounding dan post-training. 1
Pemisahan ini mengurangi kemungkinan model hanya menghafal demonstrasi yang sama dengan yang muncul dalam data pengujian. Namun, langkah tersebut bukan jaminan mutlak bahwa model benar-benar mampu melakukan generalisasi.
Masih mungkin terdapat kemiripan pada ruangan, objek, struktur tugas, perangkat keras, atau cara pengumpulan data antara pelatihan dan pengujian. Pengujian yang lebih ketat akan membutuhkan replikasi independen di rumah-rumah baru dan pada platform robot humanoid yang berbeda.
Performa yang dilaporkan pada tugas rumah nyata
Pada 11 tugas loco-manipulation di rumah nyata, para peneliti melaporkan tingkat keberhasilan rata-rata 81,8% untuk Omega-0. Angka tersebut dicapai menggunakan satu model terpadu, bukan kebijakan terpisah untuk setiap tugas, action head yang berbeda, atau modul independen untuk berjalan dan manipulasi. 1
Tugas pengujian mencakup manipulasi di atas meja, pembersihan, mencuci atau menangani pakaian, memindahkan objek, berinteraksi dengan perangkat rumah tangga, dan mobile manipulation. Penelitian tersebut juga melaporkan bahwa Omega-0 mengungguli baseline π-0.5, EgoVLA, GR00T-N1.7, dan ψ-0 dalam rangkaian pengujian yang sama. 1
Sumber yang tersedia tidak memberikan rincian yang cukup jelas mengenai persentase agregat masing-masing baseline. Karena itu, kesimpulan yang paling aman adalah bahwa makalah melaporkan Omega-0 berada di atas baseline pembanding tersebut, dengan tingkat keberhasilan Omega-0 sebesar 81,8%—bukan perbandingan angka terperinci yang tidak ditampilkan di sini.
Apa arti 81,8% bagi embodied AI?
Kontribusi utama Omega-0 terletak pada arsitekturnya. Model ini menunjukkan arah pengembangan embodied AI, yaitu AI yang memahami dan bertindak di dunia fisik, dengan menghubungkan prediksi persepsi masa depan, bahasa, demonstrasi manusia, propriosepsi, dan kendali seluruh tubuh robot dalam satu sistem. 1
Model tidak hanya belajar menghubungkan gambar dengan gerakan. Model juga berusaha mengaitkan gerakan dengan kondisi yang akan dicapai setelah gerakan tersebut. Hal ini penting untuk tugas yang mengharuskan robot menentukan secara bersamaan di mana ia harus berdiri, apa yang harus dilihat, dan bagaimana menggunakan tangan.
Meski demikian, hasil ini belum berarti robot humanoid siap bekerja secara bebas dan serbaguna di rumah. Sejumlah tantangan besar masih terbuka:
- Keandalan dalam tugas panjang: tingkat keberhasilan pada 11 tugas belum membuktikan bahwa robot dapat beroperasi selama berjam-jam, memulihkan diri dari kesalahan yang menumpuk, atau menyelesaikan banyak subtujuan yang saling bergantung.
- Keselamatan: interaksi dengan manusia, benda rapuh, tangga, ruangan berantakan, hewan peliharaan, dan gerakan tak terduga memerlukan pengaman khusus, pengelolaan ketidakpastian, serta verifikasi pada tingkat perangkat keras.
- Generalisasi: performa pada objek dan adegan yang tidak terlihat selama pelatihan memang menjanjikan, tetapi belum menyelesaikan tantangan perpindahan ke rumah, pencahayaan, tata ruang, kebiasaan penempatan benda, atau bentuk robot yang berbeda.
- Adaptasi: rumah terus berubah dan sebagian kondisinya tidak dapat diamati secara sempurna. Sistem praktis harus mampu mengenali kegagalan, meminta bantuan ketika diperlukan, belajar dengan aman, dan beradaptasi tanpa pelatihan ulang yang mahal.
Kesimpulan paling tepat adalah bahwa Omega-0 merupakan langkah penting menuju koordinasi terpadu antara pergerakan dan manipulasi pada robot humanoid. Angka 81,8% merupakan hasil penelitian yang kuat dalam benchmark tertentu, tetapi belum menjadi bukti bahwa robot sudah dapat menjalankan setiap pekerjaan rumah secara andal tanpa pengawasan.
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "Omega-0 Menggabungkan Langkah, Penglihatan, dan Gerakan Tangan Robot Humanoid"?
Omega 0 adalah whole body world action model yang dirancang agar robot humanoid dapat berjalan, mengubah sudut pandang, menjaga keseimbangan, dan menggunakan tangannya dalam satu tugas terpadu.
Apa poin penting yang harus divalidasi terlebih dahulu?
Omega 0 adalah whole body world action model yang dirancang agar robot humanoid dapat berjalan, mengubah sudut pandang, menjaga keseimbangan, dan menggunakan tangannya dalam satu tugas terpadu. Arsitekturnya memiliki tiga tahap: memadatkan gerakan seluruh tubuh, memprediksi fitur visual masa depan dari penglihatan, bahasa, dan propriosepsi, lalu melakukan grounding serta fine tuning menggunakan data rumah ta...
Apa yang harus saya lakukan selanjutnya dalam latihan?
Dataset Omega HOME mencakup 40,3 jam data, 4.827 episode teleoperasi, dan 24 tugas rumah tangga dengan data video, kedalaman, instruksi bahasa, kondisi robot, serta gerakan seluruh tubuh yang tersinkronisasi.