NVIDIA Agent Toolkit erhält Omniverse-Bibliotheken: KI-Agenten erobern die 3D-Welt

Auf der SIGGRAPH 2026 gab NVIDIA bekannt, dass sein Agent Toolkit nun die NVIDIA Omniverse-Bibliotheken umfasst – eine Sammlung modularer Open-Source-Softwarekomponenten. Diese verleihen KI-Agenten die Fähigkeit, physische KI-Funktionen wie Sensor-Simulation, Physik und die Validierung simulationsbereiter Assets direkt in bestehende 3D- und Industrieanwendungen einzubringen. Die Bibliotheken sind auf GitHub verfügbar, zusammen mit einem neuen „SimReady Blender“-Blueprint .

Neue Bibliotheken auf GitHub

NVIDIA veröffentlichte mehrere neue Bibliotheken im Rahmen des Omniverse-Stacks, die jeweils spezifische physische KI-Fähigkeiten in vorhandene Anwendungen bringen:

• ovrtx – Die RTX-Sensor-Simulationsbibliothek (Vorabversion auf GitHub). Sie bietet ein leichtgewichtiges C- und Python-SDK zur Erzeugung von Kamera-, Lidar-, Radar- und anderen Sensorausgaben aus OpenUSD-Szenen. So können Anwendungen und KI-Agenten testen, wie physische KI-Systeme virtuelle Umgebungen wahrnehmen .
• ovphysx – GPU-beschleunigte Physiksimulationsbibliothek. Sie bringt realistisches physikalisches Verhalten (Kollisionen, Masse, Reibung, Bewegung) in 3D-Szenen, sodass Teams Objekt- und Systeminteraktionen in der Simulation testen können .
• ovstage – Gemeinsame Laufzeitumgebung für OpenUSD-Szenendaten, die es Bibliotheken wie ovphysx und ovrtx ermöglicht, Simulationszustände über ein gemeinsames Daten-Substrat auszutauschen .
• CAD-zu-SimReady-Fähigkeiten – Konvertieren von CAD-Daten in SimReady-Assets auf Basis von OpenUSD und verleihen 3D-Inhalten die strukturellen, materiellen und physikalischen Eigenschaften, die für die physische KI-Simulation erforderlich sind .

Weitere unterstützende Bibliotheken sind ovstream (Streaming) und ovstorage (Datenverwaltung) .

SimReady Blender Blueprint

NVIDIA hat außerdem einen neuen Blueprint für die Integration von Omniverse-Bibliotheken in Blender veröffentlicht, der jetzt auf GitHub verfügbar ist. Er bietet Entwicklern und technischen Künstlern einen Referenz-Workflow zur Erstellung simulationsbereiter 3D-Inhalte direkt in Blender mithilfe des Omniverse-Bibliotheksstacks .

Zitate der Führungsebene

Jensen Huang, Gründer und CEO von NVIDIA: „Die Ära der physischen KI wird zuerst in der Simulation aufgebaut. Das NVIDIA Agent Toolkit mit den Omniverse-Bibliotheken bringt KI-Agenten in die 3D-Werkzeuge, die Entwickler bereits verwenden, und hilft, die simulationsbereiten Welten zu schaffen, in denen Roboter, Fabriken und autonome Systeme trainiert und getestet werden – lange bevor sie die reale Welt erreichen.“

Bereits auf der GTC Taipei (Juni 2026) erklärte Huang: „KI-Agenten revolutionieren die Softwareentwicklung, und dieser Wandel erreicht nun die physische KI. Er erstreckt sich auf die Systeme, die Verkehr, Fertigung, Gesundheitswesen und Robotik verändern werden.“

Erste Anwender

SideFX

SideFX nutzt OpenUSD-Workflows, ovrtx und ovphysx, um zu erforschen, wie KI-Agenten Omniverse-Bibliotheken in die prozeduralen 3D-Content-Erstellungs-Workflows von Houdini integrieren können. Technische Künstler erhalten so einen Weg, Inhalte direkt in Houdini zu generieren, Physik zu testen und für die Simulation vorzubereiten.

Kim Davidson, Präsident und CEO von SideFX: „Die prozedurale 3D-Erstellung ist essenziell für den Aufbau komplexer, steuerbarer Welten, die für Simulation, Robotik und industrielle KI benötigt werden. Mit den NVIDIA Omniverse-Bibliotheken und OpenUSD untersucht SideFX, wie agentenbereite Werkzeuge Houdini-Workflows unterstützen können. So können technische Künstler prozedurale Inhalte für die Simulation prüfen, testen und vorbereiten, während sie die Kontrolle über den kreativen Prozess behalten.“

PTC

Die Onshape-CAD- und Produktdatenmanagement-Plattform (PDM) von PTC verwendet OpenUSD und ovrtx, um cloud-native Design-Workflows mit der NVIDIA-RTX-Sensor-Simulation zu verbinden und „Render Studio“-Funktionen direkt im Browser zu ermöglichen .

Startups

Mehrere Startups gehören zu den ersten Anwendern der Omniverse-Bibliotheken: ForgeCAD, Lightwheel, Moonlake AI und Palatial bauen mit den neuen agentenbereiten Bibliotheken und Fähigkeiten, um simulationsbereite Asset-Pipelines und die Validierung physischer KI zu beschleunigen .

Strategischer Kontext

Die Ankündigung erweitert NVIDIAs Strategie, physische KI-Simulation zugänglicher zu machen, indem:

• Kernfunktionen von Omniverse (RTX-Rendering, PhysX-Simulation, Datenpipelines) als eigenständige, headless-first C-APIs mit C++- und Python-Bindungen bereitgestellt werden – ohne die gesamte Omniverse-Plattform vorauszusetzen .
• Diese Bibliotheken zu agentenaufrufbaren Werkzeugen im Agent Toolkit werden, sodass Code-Agenten autonom Szenen inspizieren, Probleme markieren, Assets vorbereiten und Simulationen ausführen können .
• Im Juni 2026 auf der GTC Taipei eine große Open-Source-Sammlung physischer KI-Agenten-Fähigkeiten (über Omniverse, Cosmos, Isaac, Metropolis, Alpamayo und Jetson hinweg) veröffentlicht wurde, die nun mit der SIGGRAPH-2026-Veröffentlichung der Omniverse-Bibliotheken erweitert wird .

Das übergeordnete Ziel ist es, die Hürden für Entwickler zu senken, die die simulationsbereiten Welten aufbauen, die zum Trainieren und Testen von Robotern, autonomen Fahrzeugen, Fabriken und industriellen digitalen Zwillingen benötigt werden – bevor sie die reale Welt erreichen .