Era Baru Robotika: Belajar di Dunia Virtual, Langsung Jago di Dunia Nyata Berkat Riset Sim-to-Real NVIDIA

COMPASS: Navigasi Lintas-Embodiment dengan Tingkat Keberhasilan 80% di Dunia Nyata

Membangun robot yang dapat bernavigasi melintasi berbagai jenis tubuh—robot beroda, humanoid—sangatlah sulit. Kerangka kebijakan COMPASS pertama-tama melatih kebijakan navigasi dasar melalui pembelajaran imitasi (imitation learning), lalu menggunakan pembelajaran penguatan residual (residual reinforcement learning) di NVIDIA Isaac Lab untuk menciptakan kebijakan khusus bagi beragam jenis robot—semuanya dalam simulasi. Dibandingkan dengan baseline imitation learning, COMPASS mencapai peningkatan 4,5x lipat dalam rata-rata tingkat keberhasilan. Ia juga mentransfer dengan mulus ke dunia nyata, menunjukkan keberhasilan ~80% di 20 uji coba navigasi dunia nyata pada robot mobil otonom dan humanoid .

Grasp-MPC: Penggenggaman Adaptif yang Mengoreksi Diri di Tengah Gerakan

Rencana penggenggaman yang kaku akan gagal saat objek bergeser atau estimasi awal robot sedikit meleset. Grasp-MPC terus-menerus mengoreksi gerakan robot saat mendekati suatu objek. Para peneliti menghasilkan 2 juta lintasan simulasi pada 8.000 objek menggunakan dataset GraspGen dan cuRobo, pustaka CUDA untuk menghasilkan gerakan. Pada robot sungguhan, ia mencapai keberhasilan penggenggaman keseluruhan ~75% versus baseline 41% .

Manipulasi Klaster Deformable: Membersihkan Ranting Tanpa Latihan Tambahan

Memanipulasi material kusut dan fleksibel—seperti ranting di atas kabel listrik—membutuhkan lebih dari sekadar gripper presisi. Peneliti NVIDIA melatih kebijakan untuk menggunakan seluruh lengan guna menyapu klaster, memanfaatkan ribuan pohon sintetis di framework simulasi Isaac. Hasilnya: kebijakan langsung diterapkan (zero-shot) ke ranting sungguhan tanpa pelatihan tambahan .

PEEK: Penglihatan Fokus yang Mendorong Akurasi 41x Lipat

Pengganggu (distractor) dalam umpan kamera robot dapat menggagalkan kebijakan manipulasi yang sudah terlatih sekalipun. PEEK menggunakan model visi-bahasa (vision-language model) untuk membaca instruksi tugas dan memfokuskan penglihatan robot pada objek yang relevan sambil menyamarkan yang lain. Saat ditambahkan ke kebijakan yang dilatih murni dalam simulasi, PEEK menghasilkan peningkatan akurasi 41x lipat di dunia nyata. Untuk model visi-bahasa-tindakan (VLA) besar, peningkatannya berkisar 2–3,5x lipat. PEEK dapat diintegrasikan dengan kebijakan berbasis kamera apa pun tanpa modifikasi .

Do What You Say (SEAL): Menutup Kesenjangan antara Penalaran dan Tindakan

Framework SEAL—kolaborasi dengan Carnegie Mellon University, University of Utah, dan University of Sydney—memperbaiki mode kegagalan yang tampak sederhana namun umum: model bernalar dengan benar, memilih rencana yang tepat, tetapi mengeksekusi sesuatu yang berbeda. SEAL menghasilkan beberapa kandidat urutan tindakan, menyimulasikan ke mana arah masing-masing, dan memilih yang paling cocok dengan maksud yang dinyatakan. Ini memberikan peningkatan akurasi hingga 15% di atas karya sebelumnya dan tangguh terhadap instruksi yang diulang, lingkungan berantakan, dan sudut kamera yang berubah .

Refinery: Merakit Bagian Demi Bagian dengan Keberhasilan Simulasi 91%

Untuk perakitan multi-bagian, hasil dari setiap langkah membentuk langkah berikutnya. Refinery melatih kebijakan yang memahami ketergantungan ini, belajar di ratusan skenario simulasi. Ia mencapai keberhasilan simulasi 91% dan peningkatan rata-rata hampir 11% di atas baseline, dengan kebijakan yang saling terhubung untuk urutan perakitan yang panjang dan kompleks .

RL Sim-to-Real Berbasis Visi untuk Tugas Humanoid yang Cekatan

Sebuah "resep" pembelajaran penguatan sim-to-real berbasis visi yang terpisah melatih robot humanoid untuk tugas-tugas meraih-dan-menggenggam, mengangkat kotak, dan serah terima dengan dua tangan. Pendekatan ini menunjukkan tingkat keberhasilan tinggi pada objek yang belum pernah dilihat dengan perilaku kebijakan yang adaptif dan tangguh—menggarisbawahi bahwa manipulasi cekatan berbasis visi melalui RL sim-to-real tidak hanya layak, tetapi juga skalabel .

Platform Fondasi: GR00T, Cosmos, Newton, cuMotion, dan Jetson

Kedelapan makalah ini bertumpu pada beberapa platform lintas-sektor NVIDIA yang mengubah simulasi menjadi lingkungan pengembangan ujung-ke-ujung yang praktis:

• NVIDIA Isaac GR00T: Inisiatif riset dan platform pengembangan untuk model fondasi robot serba guna, menampilkan model terbuka (seri GR00T N) untuk penalaran dan kontrol humanoid, kerangka simulasi yang dibangun di atas Omniverse dan Cosmos, serta komputer tepi Jetson AGX Thor .
• NVIDIA Cosmos World Models: Platform model fondasi dunia generatif mutakhir untuk membangun model dunia kustom dalam skala besar, mendukung pembuatan data sintetis dan evaluasi kebijakan sepenuhnya dalam simulasi .
• Mesin Fisika Newton 1.0: Mesin fisika open-source yang diakselerasi GPU, dikembangkan bersama Google DeepMind dan Disney Research, kini tersedia di NVIDIA Isaac Lab untuk membantu menciptakan robot yang lebih mumpuni dan adaptif .
• NVIDIA cuMotion: Pustaka yang diakselerasi CUDA untuk memecahkan masalah perencanaan gerak robot dalam skala besar dengan menjalankan beberapa optimasi lintasan secara simultan untuk menghasilkan solusi terbaik .
• Platform AI Tepi NVIDIA Jetson: Platform perangkat keras yang digunakan pada robot untuk menjalankan seluruh turnpukan (stack) robot, termasuk demo akselerasi 3x lipat ScheduleStream, dengan Jetson AGX Thor sebagai komputer terpasang (onboard) .

Mitra yang Menerapkan Efisiensi Sim-to-Real

Toyota Research Institute Pangkas Kebutuhan Data Dunia Nyata

Toyota Research Institute (TRI) menyesuaikan model fondasi dunia NVIDIA Cosmos untuk sintesis tampilan dinamis dan teleoperasi robot, secara efektif mengurangi jumlah data dunia nyata yang diperlukan untuk melatih kebijakan manipulasi berbasis visi .

Mimic Robotics: 10x Lebih Efisien dalam Pengambilan Sampel

Mimic Robotics mengembangkan model aksi-video menggunakan platform NVIDIA yang mencapai efisiensi sampel 10x lebih baik dan konvergensi 2x lebih cepat pada tugas manipulasi dunia nyata, secara dramatis memangkas jumlah demonstrasi dunia nyata yang mahal yang diperlukan .

Doosan Robotics Tambahkan Kecerdasan Kontekstual pada Palletizing

Doosan menggunakan NVIDIA Cosmos Reason untuk memungkinkan robot palletizing menganalisis isi kotak, mendeteksi kerusakan, dan menyesuaikan penanganan berdasarkan berat dan kerapuhan—memungkinkan pengambilan keputusan sadar konteks tanpa data pelatihan dunia nyata yang melelahkan .

Gambaran Lebih Besar: Dari Demo Terprogram ke Otonomi Sejati

NVIDIA membingkai badan karya ini sebagai bagian dari pergeseran fundamental dalam industri robotika:

"Robotika memasuki fase baru: bergerak dari demo terkontrol dan otomatisasi terprogram menuju otonomi yang dapat digeneralisasi, andal, dan mewujud (embodied) di dunia nyata."

Transfer sim-to-real bukan lagi sekadar keingintahuan akademis. Delapan makalah ICRA ini menunjukkannya menggarap seluruh tumpukan: koordinasi multi-lengan paralel, generalisasi kebijakan lintas-embodiment, penggenggaman objek baru di tengah kekacauan, manipulasi deformable tanpa latihan (zero-shot), perakitan sekuensial presisi, dan model visi-bahasa-tindakan yang menalar sebelum bergerak . Pesannya jelas: pelatihan berbasis simulasi—alih-alih bergantung pada kuantitas besar demonstrasi manusia di dunia nyata—adalah jalur yang skalabel menuju robot yang berfungsi tangguh di lingkungan yang tidak terstruktur dan dinamis.