NVIDIA Kembangkan Agent Toolkit dengan Pustaka Omniverse di SIGGRAPH 2026

NVIDIA mengeluarkan beberapa pustaka baharu sebagai sebahagian daripada tumpukan Omniverse, setiap satu direka untuk membawa keupayaan AI fizikal khusus ke dalam aplikasi sedia ada:

• ovrtx — Pustaka simulasi sensor RTX (pratonton di GitHub). Ia menyediakan SDK C dan Python ringan untuk menghasilkan output sensor kamera, lidar, radar, dan lain-lain dari pemandangan OpenUSD, membolehkan aplikasi dan ejen AI menguji cara sistem AI fizikal melihat persekitaran maya .
• ovphysx — Pustaka simulasi fizik dipercepat GPU. Ia membawa tingkah laku fizikal realistik (perlanggaran, jisim, geseran, gerakan) ke pemandangan 3D supaya pasukan dapat menguji interaksi objek dan sistem dalam simulasi .
• ovstage — Pentas masa jalan kongsi untuk data pemandangan OpenUSD, membolehkan pustaka seperti ovphysx dan ovrtx bertukar keadaan simulasi melalui substrat data biasa .
• Kemahiran CAD-ke-SimReady — Menukar data CAD ke aset SimReady yang dibina di atas OpenUSD, memberikan kandungan 3D sifat struktur, bahan, dan fizikal yang diperlukan untuk simulasi AI fizikal .

Pustaka sokongan tambahan termasuk ovstream (penstriman) dan ovstorage (pengurusan data) .

Rangka Kerja SimReady Blender

NVIDIA juga mengeluarkan rangka kerja baharu untuk mengintegrasikan pustaka Omniverse ke dalam Blender, kini tersedia di GitHub. Ia menyediakan aliran kerja rujukan untuk pembangun dan artis teknikal menyediakan kandungan 3D sedia simulasi terus di dalam Blender menggunakan tumpukan pustaka Omniverse .

Kenyataan Eksekutif

Jensen Huang, pengasas dan CEO NVIDIA: "Era AI fizikal akan dibina dalam simulasi terlebih dahulu. NVIDIA Agent Toolkit dengan pustaka Omniverse membawa ejen AI ke dalam alat 3D yang sudah digunakan oleh pembangun, membantu membina dunia sedia simulasi di mana robot, kilang, dan sistem autonomi dilatih dan diuji jauh sebelum mereka sampai ke dunia nyata."

Lebih awal di GTC Taipei (Jun 2026), Huang menyatakan: "Ejen AI merevolusikan pembangunan perisian, dan peralihan itu kini datang ke AI fizikal, meluas ke dalam sistem yang akan mengubah pengangkutan, pembuatan, penjagaan kesihatan, dan robotik."

Pengguna Awal

SideFX

SideFX menggunakan aliran kerja OpenUSD, ovrtx, dan ovphysx untuk meneroka bagaimana ejen AI dapat mengintegrasikan pustaka Omniverse ke dalam aliran kerja penciptaan kandungan 3D prosedur Houdini. Ini memberi artis teknikal laluan untuk menjana, menguji fizik, dan menyediakan kandungan untuk simulasi sepenuhnya dalam Houdini.

Kim Davidson, presiden dan CEO SideFX: "Penciptaan 3D prosedur adalah penting untuk membina dunia kompleks yang boleh dikawal yang diperlukan untuk simulasi, robotik, dan AI perindustrian. Dengan pustaka NVIDIA Omniverse dan OpenUSD, SideFX sedang meneroka bagaimana alat sedia ejen dapat menyokong aliran kerja Houdini, membantu artis teknikal menyemak, menguji, dan menyediakan kandungan prosedur untuk simulasi sambil kekal mengawal proses kreatif."

PTC

Platform CAD dan pengurusan data produk (PDM) Onshape PTC menggunakan OpenUSD dan ovrtx untuk menghubungkan aliran kerja reka bentuk asli awan dengan simulasi sensor NVIDIA RTX, membolehkan keupayaan "Render Studio" terus di pelayar .

Syarikat Pemula

Beberapa syarikat pemula adalah antara yang pertama menggunakan pustaka Omniverse: ForgeCAD, Lightwheel, Moonlake AI, dan Palatial sedang membina dengan pustaka dan kemahiran sedia ejen baharu untuk mempercepatkan saluran paip aset sedia simulasi dan pengesahan AI fizikal .

Konteks Strategik Lebih Luas

Pengumuman ini memperluas strategi NVIDIA untuk menjadikan simulasi AI fizikal lebih mudah diakses dengan:

• Mendedahkan keupayaan teras Omniverse (penyampaian RTX, simulasi PhysX, saluran paip data) sebagai API C mandiri pertama tanpa kepala dengan pengikatan C++ dan Python — tidak lagi memerlukan platform Omniverse penuh .
• Menjadikan pustaka ini alat boleh dipanggil ejen dalam Agent Toolkit, supaya ejen pengekodan dapat secara autonomi memeriksa pemandangan, menandai isu, menyediakan aset, dan menjalankan simulasi .
• Mengeluarkan koleksi sumber terbuka utama kemahiran ejen AI fizikal (merangkumi Omniverse, Cosmos, Isaac, Metropolis, Alpamayo, dan Jetson) pada Jun 2026 di GTC Taipei, kini diperluas dengan pelepasan pustaka Omniverse SIGGRAPH 2026 .

Matlamat keseluruhan adalah untuk menurunkan halangan bagi pembangun yang membina dunia sedia simulasi yang diperlukan untuk melatih dan menguji robot, kenderaan autonomi, kilang, dan kembar digital perindustrian sebelum mereka sampai ke dunia nyata .