NVIDIA Agent Toolkit udvides med Omniverse-biblioteker på SIGGRAPH 2026

På SIGGRAPH 2026 annoncerede NVIDIA, at deres Agent Toolkit nu inkluderer NVIDIA Omniverse-biblioteker — en samling af modulære, open source-softwarekomponenter, der giver AI-agenter evnen til at tilføje fysiske AI-funktioner (sensorsimulering, fysik og simuleringsklar aktivvalidering) direkte ind i eksisterende 3D- og industrielle applikationer. Bibliotekerne er frit tilgængelige på GitHub, sammen med en ny "SimReady Blender"-blueprint .

Nye biblioteker udgivet på GitHub

NVIDIA udgav flere nye biblioteker som en del af Omniverse-stakken, hver designet til at bringe specifikke fysiske AI-funktioner ind i eksisterende applikationer:

• ovrtx — RTX-sensorsimuleringsbibliotek (prerelease på GitHub). Det leverer et letvægts C- og Python-SDK til at generere kamera-, lidar-, radar- og andre sensoroutput fra OpenUSD-scener, hvilket gør det muligt for applikationer og AI-agenter at teste, hvordan fysiske AI-systemer opfatter virtuelle miljøer .
• ovphysx — GPU-accelereret fysiksimuleringsbibliotek. Det bringer realistisk fysisk adfærd (kollisioner, masse, friktion, bevægelse) til 3D-scener, så teams kan teste objekt- og systeminteraktioner i simulation .
• ovstage — Delt runtime-stage for OpenUSD-scenedata, der gør det muligt for biblioteker som ovphysx og ovrtx at udveksle simulationstilstand gennem et fælles datasubstrat .
• CAD-to-SimReady skills — Konverter CAD-data til SimReady-aktiver bygget på OpenUSD, hvilket giver 3D-indhold de strukturelle, materielle og fysiske egenskaber, der er nødvendige for fysisk AI-simulering .

Yderligere understøttende biblioteker inkluderer ovstream (streaming) og ovstorage (datahåndtering) .

SimReady Blender Blueprint

NVIDIA udgav også en ny blueprint til integration af Omniverse-biblioteker i Blender, nu tilgængelig på GitHub. Den leverer en reference-workflow for udviklere og tekniske kunstnere til at forberede simuleringsklart 3D-indhold direkte inde i Blender ved hjælp af Omniverse-biblioteksstakken .

Ledelsescitater

Jensen Huang, grundlægger og administrerende direktør for NVIDIA: "Den fysiske AI-æra vil blive bygget i simulation først. NVIDIA Agent Toolkit med Omniverse-biblioteker bringer AI-agenter ind i de 3D-værktøjer, som udviklere allerede bruger, og hjælper med at bygge de simuleringsklare verdener, hvor robotter, fabrikker og autonome systemer trænes og testes længe før de når den virkelige verden."

Tidligere på GTC Taipei (juni 2026) udtalte Huang: "AI-agenter revolutionerer softwareudvikling, og det skift kommer nu til fysisk AI, der strækker sig ind i de systemer, som vil transformere transport, fremstilling, sundhedspleje og robotteknologi."

Tidlige brugere

SideFX

SideFX bruger OpenUSD-workflows, ovrtx og ovphysx til at undersøge, hvordan AI-agenter kan integrere Omniverse-biblioteker i Houdinis proceduremæssige 3D-indholdsoprettelsesworkflows. Dette giver tekniske kunstnere en vej til at generere, teste fysik og forberede indhold til simulation udelukkende i Houdini.

Kim Davidson, præsident og administrerende direktør for SideFX: "Proceduremæssig 3D-oprettelse er afgørende for at bygge de komplekse, kontrollerbare verdener, der er nødvendige til simulation, robotteknologi og industriel AI. Med NVIDIA Omniverse-biblioteker og OpenUSD undersøger SideFX, hvordan agent-klare værktøjer kan understøtte Houdini-workflows, og hjælper tekniske kunstnere med at gennemgå, teste og forberede proceduremæssigt indhold til simulation, mens de forbliver i kontrol over den kreative proces."

PTC

PTCs Onshape CAD- og produktdatahåndteringsplatform (PDM) bruger OpenUSD og ovrtx til at forbinde cloud-native designworkflows med NVIDIA RTX-sensorsimulering, hvilket muliggør "Render Studio"-funktioner direkte i browseren .

Startups

Flere startups er blandt de første til at tage Omniverse-biblioteker i brug: ForgeCAD, Lightwheel, Moonlake AI og Palatial bygger med de nye agent-klare biblioteker og skills for at accelerere simuleringsklare aktivpipelines og fysisk AI-validering .

Bredere strategisk kontekst

Annonceringen udvider NVIDIAs strategi om at gøre fysisk AI-simulering mere tilgængelig ved at:

• Udstille kerne-Omniverse-funktioner (RTX-gengivelse, PhysX-simulering, datapipelines) som selvstændige, headless-first C-API'er med C++- og Python-bindinger — der ikke længere kræver den fulde Omniverse-platform .
• Gøre disse biblioteker til agent-kaldbare værktøjer i Agent Toolkit, så kodningsagenter autonomt kan inspicere scener, markere problemer, forberede aktiver og køre simulationer .
• Udgive en stor open source-samling af fysiske AI-agent skills (der spænder over Omniverse, Cosmos, Isaac, Metropolis, Alpamayo og Jetson) i juni 2026 på GTC Taipei, nu udvidet med SIGGRAPH 2026 Omniverse-biblioteksudgivelsen .

Det overordnede mål er at sænke barrieren for udviklere, der bygger de simuleringsklare verdener, der er nødvendige for at træne og teste robotter, autonome køretøjer, fabrikker og industrielle digitale tvillinger, før de når den virkelige verden .