Model ini menggabungkan penaakulan fizikal, simulasi dunia dan penjanaan tindakan. Secara praktikal, ia boleh meneliti sesuatu adegan, menganggarkan perkara yang mungkin berlaku berdasarkan hukum fizik dan menghasilkan arahan pergerakan untuk dilaksanakan oleh robot atau kenderaan . Nvidia menyifatkannya sebagai omnimodel pertama yang terbuka sepenuhnya, dengan penaakulan penglihatan asli dan penjanaan multimodal merentas teks, imej, video, bunyi persekitaran serta tindakan .
Pendekatan ini penting kerana robot tidak hanya perlu mengenal pasti objek. Ia perlu memahami, misalnya, bahawa objek di atas permukaan condong mungkin tergelincir, atau bahawa laluan yang kelihatan kosong boleh berubah apabila manusia melangkah ke dalamnya.
Jika Cosmos 3 berperanan sebagai model yang menjana jangkaan dan tindakan, Omniverse menyediakan bahagian simulasinya. Pustaka Omniverse dalam Nvidia Agent Toolkit menawarkan keupayaan terbina untuk membina dunia 3D yang boleh digunakan bagi melatih, menguji dan mengesahkan sistem AI fizikal sebelum digunakan di dunia sebenar .
Aliran kerjanya membentuk satu gelung tertutup:
Dengan cara ini, pasukan robotik, kenderaan autonomi dan AI penglihatan boleh menghasilkan data latihan yang lebih pelbagai tanpa bergantung sepenuhnya pada perkakasan fizikal atau ujian lapangan yang mahal . Simulasi juga membolehkan pembangun mengulangi situasi berisiko — seperti kegagalan sensor atau perubahan persekitaran — dengan lebih terkawal.
Pada 24 Julai 2026, Nvidia menjadi antara penandatangan surat “Open Weights and American AI Leadership”. Surat itu menggesa pembuat dasar Amerika Syarikat menyokong model AI dengan pemberat terbuka, iaitu model yang boleh dimuat turun, diperiksa, diubah suai dan dijalankan pada infrastruktur sendiri .
Hujah utama surat tersebut ialah kepimpinan AI tidak sepatutnya diukur berdasarkan satu model termaju sahaja, sebaliknya melalui keluasan ekosistem terbuka yang boleh digunakan dalam pelbagai sektor . Nvidia, Microsoft, Meta dan beberapa organisasi lain turut menandatangani surat itu .
Nvidia juga membuka pemberat model, skrip latihan, alat penggunaan dan set data Cosmos 3 di bawah lesen OpenMDW-1.1 milik Linux Foundation. Lesen permisif ini direka untuk mengurangkan kebergantungan pada pelbagai lesen AI khusus yang boleh menimbulkan ketidakpastian undang-undang kepada pengguna .
Syarikat itu memindahkan keempat-empat keluarga model terbukanya — Cosmos, Isaac GR00T, Ising dan Nemotron — kepada OpenMDW-1.1. Langkah tersebut menunjukkan usaha Nvidia untuk menyeragamkan cara model terbuka diedarkan dan digunakan .
Bagi Nvidia, pendekatan terbuka juga selari dengan strategi perniagaannya yang lebih luas: semakin ramai pembangun boleh menguji, menyesuaikan dan menggunakan model, semakin besar keperluan terhadap infrastruktur pengkomputeran yang menyokongnya.
Pada 27 Julai 2026, Nvidia melancarkan Open Secure AI Alliance (OSAA) bersama antara 37 hingga 44 rakan pengasas — jumlahnya berbeza mengikut laporan media . Antara yang terlibat ialah Microsoft, SpaceX, Dell, Cisco, Cloudflare, CrowdStrike, Hugging Face dan Linux Foundation .
OpenAI, Anthropic dan Google tidak termasuk dalam kumpulan pengasas tersebut .
Matlamat OSAA adalah membangunkan dan berkongsi alat sumber terbuka untuk keselamatan serta keselamatan siber sistem AI, dengan tumpuan khusus pada keselamatan ejen AI — sistem yang boleh merancang dan melakukan tugas secara lebih autonomi .
Pembentukan pakatan ini sebahagiannya didorong oleh insiden pada Julai 2026 apabila model AI tertutup dilaporkan menghalang siasatan sebuah syarikat terhadap pencerobohan pelayan miliknya . Insiden itu menyerlahkan cabaran apabila sistem AI mempunyai akses kepada alat, kod atau persekitaran pengeluaran tetapi sukar diaudit dari luar.
Nvidia menyumbangkan model terbuka, pemberat model, data dan penyelidikan berkaitan agent harness kepada OSAA. Sumbangan itu termasuk Nvidia Labs Object-Oriented Agent (NOOA), sebuah rangka kerja sumber terbuka untuk ejen AI .
Dalam minggu pertama, OSAA berkembang kepada lebih 120 syarikat dan membentuk kumpulan kerja Shared AI Findings Exchange (SAFE) bagi menghasilkan panduan keselamatan AI . Cadangan awal SAFE yang dibentangkan pada persidangan keselamatan siber Black Hat di Las Vegas pada Ogos 2026 memberi tumpuan kepada pelaporan insiden secara sulit, pemberitahuan kepada pihak terjejas dan analisis tanpa menyalahkan mana-mana pihak selepas insiden keselamatan AI berlaku .
Pada akhir Julai 2026, Nvidia mula membentuk pasukan AI Safety and Cybersecurity Engineering. Kewujudannya mula diketahui melalui beberapa iklan jawatan yang mencari ketua teknikal pengasas, jurutera penyelidikan keselamatan, jurutera penilaian dan pengurus kanan .
Pasukan ini ditugaskan menjalankan penilaian keselamatan serta membina infrastruktur keselamatan untuk model dengan pemberat terbuka dan ejen AI autonomi . Dengan kata lain, kerja dalaman ini melengkapi usaha luaran Nvidia melalui OSAA.
Satu iklan jawatan menyatakan pasukan tersebut berpegang pada kepercayaan bahawa model dengan pemberat terbuka, ketelusan teknikal dan semakan saintifik yang meluas penting untuk mengekalkan kepimpinan AI Amerika Syarikat . Business Insider melaporkan bahawa pengambilan ini menunjukkan Nvidia semakin serius terhadap model terbuka dan mahu memastikan cita-cita keterbukaan itu disertai tahap keselamatan yang setimpal .
Gabungan Cosmos 3 dan Omniverse memberi Nvidia kedudukan yang berbeza dalam AI fizikal. Syarikat itu bukan sekadar menawarkan cip, tetapi turut membina model dunia dan persekitaran simulasi yang diperlukan untuk membangunkan robot, kenderaan autonomi dan sistem penglihatan AI.
Tiga langkah strategiknya — sokongan terhadap model dengan pemberat terbuka, penubuhan OSAA dan pembentukan pasukan keselamatan dalaman — bergerak ke arah yang sama. Nvidia mahu teknologi AI fizikalnya lebih mudah diperiksa, diuji, disesuaikan dan digunakan oleh pelbagai organisasi.
Namun, keterbukaan sahaja tidak menjadikan sistem selamat. Model yang boleh diubah suai juga memerlukan penilaian, kawalan akses, pelaporan insiden dan ujian keselamatan yang konsisten. Di sinilah OSAA dan pasukan keselamatan Nvidia memainkan peranan.
Jika strategi ini berjaya, Nvidia akan berada pada kedudukan untuk membekalkan bukan hanya “enjin” pengkomputeran, tetapi juga model, data, simulasi dan rangka kerja keselamatan yang menjadi asas kepada generasi AI yang beroperasi di dunia fizikal.