NVIDIA maakt fysieke AI toegankelijker met nieuwe Omniverse-bibliotheken in Agent Toolkit

Op SIGGRAPH 2026 kondigde NVIDIA aan dat zijn Agent Toolkit nu is uitgebreid met NVIDIA Omniverse-bibliotheken — een verzameling modulaire, open-source softwarecomponenten die AI-agenten in staat stellen fysieke AI-mogelijkheden (sensorsimulatie, fysica en simulatieklare assetvalidatie) direct in te bouwen in bestaande 3D- en industriële toepassingen. De bibliotheken zijn openbaar beschikbaar op GitHub, samen met een nieuwe 'SimReady Blender'-blauwdruk .

Nieuwe bibliotheken beschikbaar op GitHub

NVIDIA heeft verschillende nieuwe bibliotheken uitgebracht als onderdeel van de Omniverse-stack, elk ontworpen om specifieke fysieke AI-mogelijkheden in bestaande toepassingen te brengen:

• ovrtx — RTX-sensorsimulatiebibliotheek (prerelease op GitHub). Het biedt een lichte C- en Python-SDK voor het genereren van camera-, lidar-, radar- en andere sensoruitvoer uit OpenUSD-scènes, waardoor toepassingen en AI-agenten kunnen testen hoe fysieke AI-systemen virtuele omgevingen waarnemen .
• ovphysx — GPU-versnelde fysicasimulatiebibliotheek. Het brengt realistisch fysiek gedrag (botsingen, massa, wrijving, beweging) naar 3D-scènes, zodat teams object- en systeeminteracties in simulatie kunnen testen .
• ovstage — Gedeelde runtime-stage voor OpenUSD-scènegegevens, waarmee bibliotheken zoals ovphysx en ovrtx simulatiestatus kunnen uitwisselen via een gemeenschappelijke datalaag .
• CAD-to-SimReady-vaardigheden — Converteer CAD-gegevens naar SimReady-assets gebouwd op OpenUSD, waardoor 3D-content de structurele, materiële en fysieke eigenschappen krijgt die nodig zijn voor fysieke AI-simulatie .

Aanvullende ondersteunende bibliotheken zijn ovstream (streaming) en ovstorage (gegevensbeheer) .

SimReady Blender-blauwdruk

NVIDIA heeft ook een nieuwe blauwdruk uitgebracht voor de integratie van Omniverse-bibliotheken in Blender, nu beschikbaar op GitHub. Het biedt een referentieworkflow voor ontwikkelaars en technisch artiesten om simulatieklare 3D-content direct in Blender voor te bereiden met behulp van de Omniverse-bibliothekenstack .

Citaten van het management

Jensen Huang, oprichter en CEO van NVIDIA: "Het tijdperk van fysieke AI zal eerst in simulatie worden gebouwd. NVIDIA Agent Toolkit met Omniverse-bibliotheken brengt AI-agenten naar de 3D-tools die ontwikkelaars al gebruiken, en helpt bij het bouwen van de simulatieklare werelden waar robots, fabrieken en autonome systemen worden getraind en getest, lang voordat ze de echte wereld bereiken."

Eerder op GTC Taipei (juni 2026) verklaarde Huang: "AI-agenten revolutioneren softwareontwikkeling, en die verschuiving komt nu naar fysieke AI, en breidt zich uit naar de systemen die transport, productie, gezondheidszorg en robotica zullen transformeren."

Early adopters

SideFX

SideFX gebruikt OpenUSD-workflows, ovrtx en ovphysx om te onderzoeken hoe AI-agenten Omniverse-bibliotheken kunnen integreren in Houdini-workflows voor het maken van procedurele 3D-content. Dit geeft technisch artiesten een manier om content te genereren, fysica te testen en voor te bereiden voor simulatie, geheel binnen Houdini.

Kim Davidson, president en CEO van SideFX: "Procedurele 3D-creatie is essentieel voor het bouwen van de complexe, controleerbare werelden die nodig zijn voor simulatie, robotica en industriële AI. Met NVIDIA Omniverse-bibliotheken en OpenUSD onderzoekt SideFX hoe agentklare tools Houdini-workflows kunnen ondersteunen, waardoor technisch artiesten procedurele content kunnen beoordelen, testen en voorbereiden voor simulatie, terwijl ze de controle over het creatieve proces behouden."

PTC

Het Onshape CAD- en productgegevensbeheerplatform (PDM) van PTC gebruikt OpenUSD en ovrtx om cloud-native ontwerpworkflows te verbinden met NVIDIA RTX-sensorsimulatie, waardoor 'Render Studio'-mogelijkheden direct in de browser mogelijk worden .

Startups

Verschillende startups behoren tot de eersten die Omniverse-bibliotheken adopteren: ForgeCAD, Lightwheel, Moonlake AI en Palatial bouwen met de nieuwe agentklare bibliotheken en vaardigheden om simulatieklare asset-pijplijnen en fysieke AI-validatie te versnellen .

Brede strategische context

De aankondiging maakt deel uit van NVIDIA's strategie om fysieke AI-simulatie toegankelijker te maken door:

• Kernmogelijkheden van Omniverse (RTX-rendering, PhysX-simulatie, gegevenspijplijnen) bloot te stellen als zelfstandige, headless-first C-API's met C++- en Python-bindingen — zonder dat het volledige Omniverse-platform nodig is .
• Deze bibliotheken beschikbaar te maken als door agenten aanroepbare tools binnen de Agent Toolkit, zodat codeeragenten autonoom scènes kunnen inspecteren, problemen kunnen signaleren, assets kunnen voorbereiden en simulaties kunnen uitvoeren .
• In juni 2026 op GTC Taipei een grote open-source collectie fysieke AI-agent vaardigheden uit te brengen (bestaande uit Omniverse, Cosmos, Isaac, Metropolis, Alpamayo en Jetson), nu uitgebreid met de SIGGRAPH 2026 Omniverse-bibliothekenrelease .

Het overkoepelende doel is om de drempel voor ontwikkelaars te verlagen bij het bouwen van de simulatieklare werelden die nodig zijn om robots, autonome voertuigen, fabrieken en industriële digitale tweelingen te trainen en testen voordat ze de echte wereld bereiken .