NVIDIA utvider Agent Toolkit med Omniverse-biblioteker på SIGGRAPH 2026

På SIGGRAPH 2026 annonserte NVIDIA at Agent Toolkit nå inkluderer NVIDIA Omniverse-biblioteker – en samling modulære åpne kildekode-komponenter som gir KI-agenter evnen til å legge til fysiske AI-egenskaper (sensorbilder, fysikk og simuleringsklar eiendelskontroll) direkte i eksisterende 3D- og industrielle applikasjoner. Bibliotekene er fritt tilgjengelige på GitHub, sammen med en ny «SimReady Blender»-oppskrift .

Nye biblioteker på GitHub

NVIDIA lanserte flere nye biblioteker i Omniverse-stakken, hver designet for å bringe spesifikke fysiske AI-evner inn i eksisterende applikasjoner:

• ovrtx – RTX-sensorsimuleringsbibliotek (forhåndsversjon på GitHub). Det gir et lettvekts C- og Python-SDK for å generere kamera-, lidar-, radar- og andre sensorutdata fra OpenUSD-scener, slik at applikasjoner og KI-agenter kan teste hvordan fysiske KI-systemer oppfatter virtuelle miljøer .
• ovphysx – GPU-akselerert fysikksimuleringsbibliotek. Det tilfører realistisk fysisk oppførsel (kollisjoner, masse, friksjon, bevegelse) til 3D-scener slik at team kan teste objekter og systeminteraksjoner i simulering .
• ovstage – Delt kjøretids scene for OpenUSD-scenedata, som lar biblioteker som ovphysx og ovrtx utveksle simuleringsstatus gjennom et felles datagrunnlag .
• CAD-til-SimReady-ferdigheter – Konverterer CAD-data til SimReady-eiendeler bygget på OpenUSD, og gir 3D-innhold de strukturelle, materielle og fysiske egenskapene som trengs for fysisk KI-simulering .

Andre støttebiblioteker inkluderer ovstream (strømming) og ovstorage (databehandling) .

SimReady Blender-oppskrift

NVIDIA lanserte også en ny oppskrift for integrering av Omniverse-biblioteker i Blender, nå tilgjengelig på GitHub. Den gir en referansearbeidsflyt for utviklere og tekniske artister til å forberede simuleringsklart 3D-innhold direkte i Blender ved hjelp av Omniverse-bibliotekstakken .

Ledelsessitater

Jensen Huang, grunnlegger og administrerende direktør i NVIDIA: «Den fysiske KI-tiden vil bli bygget i simulering først. NVIDIA Agent Toolkit med Omniverse-biblioteker bringer KI-agenter inn i 3D-verktøyene utviklere allerede bruker, og hjelper til med å bygge de simuleringsklare verdenene der roboter, fabrikker og autonome systemer trenes og testes lenge før de når den virkelige verden.»

Tidligere på GTC Taipei (juni 2026) uttalte Huang: «KI-agenter revolusjonerer programvareutvikling, og det skiftet kommer nå til fysisk KI, og strekker seg inn i systemene som vil forandre transport, produksjon, helsevesen og robotikk.»

Tidlige brukere

SideFX

SideFX bruker OpenUSD-arbeidsflyter, ovrtx og ovphysx for å utforske hvordan KI-agenter kan integrere Omniverse-biblioteker i Houdini sine prosedyrebaserte 3D-innholdsskapingsarbeidsflyter. Dette gir tekniske artister en vei til å generere, teste fysikk og forberede innhold for simulering helt innenfor Houdini.

Kim Davidson, president og administrerende direktør i SideFX: «Prosedyrebasert 3D-skaping er avgjørende for å bygge de komplekse, kontrollerbare verdenene som trengs for simulering, robotikk og industriell KI. Med NVIDIA Omniverse-biblioteker og OpenUSD utforsker SideFX hvordan agentklare verktøy kan støtte Houdini-arbeidsflyter, og hjelper tekniske artister med å gjennomgå, teste og forberede prosedyreinnhold for simulering mens de beholder kontrollen over den kreative prosessen.»

PTC

PTCs Onshape CAD- og produktdatahåndteringsplattform (PDM) bruker OpenUSD og ovrtx for å koble skybaserte designarbeidsflyter med NVIDIA RTX-sensorsimulering, og muliggjør «Render Studio»-funksjoner direkte i nettleseren .

Oppstartsbedrifter

Flere oppstartsbedrifter er blant de første til å ta i bruk Omniverse-bibliotekene: ForgeCAD, Lightwheel, Moonlake AI og Palatial bygger med de nye agentklare bibliotekene og ferdighetene for å akselerere simuleringsklare eiendelsrørledninger og fysisk KI-validering .

Bredere strategisk kontekst

Kunngjøringen utvider NVIDIAs strategi for å gjøre fysisk KI-simulering mer tilgjengelig ved å:

• Eksponere kjerne-Omniverse-funksjoner (RTX-gjengivelse, PhysX-simulering, datapipelines) som frittstående, hodløse-først C-API-er med C++- og Python-bindinger – som ikke lenger krever hele Omniverse-plattformen .
• Gjøre disse bibliotekene til agentkallbare verktøy innen Agent Toolkit, slik at kodeagenter autonomt kan inspisere scener, flagge problemer, forberede eiendeler og kjøre simuleringer .
• Lanserte en stor åpen kildekode-samling av fysiske KI-agentferdigheter (som spenner over Omniverse, Cosmos, Isaac, Metropolis, Alpamayo og Jetson) i juni 2026 på GTC Taipei, nå utvidet med SIGGRAPH 2026 Omniverse-bibliotekutgivelsen .

Det overordnede målet er å senke barrieren for utviklere som bygger de simuleringsklare verdenene som trengs for å trene og teste roboter, autonome kjøretøy, fabrikker og industrielle digitale tvillinger før de når den virkelige verden .