L'Agent Toolkit de NVIDIA s'enrichit des bibliothèques Omniverse au SIGGRAPH 2026

Nouvelles bibliothèques publiées sur GitHub

NVIDIA a publié plusieurs nouvelles bibliothèques dans le cadre de la pile Omniverse, chacune conçue pour apporter des capacités d'IA physique spécifiques aux applications existantes :

• ovrtx — Bibliothèque de simulation de capteurs RTX (préversion sur GitHub). Elle fournit un SDK léger en C et Python pour générer des sorties de caméra, lidar, radar et autres capteurs à partir de scènes OpenUSD, permettant aux applications et aux agents d'IA de tester comment les systèmes d'IA physique perçoivent les environnements virtuels .
• ovphysx — Bibliothèque de simulation physique accélérée par GPU. Elle apporte un comportement physique réaliste (collisions, masse, friction, mouvement) aux scènes 3D, permettant aux équipes de tester les interactions entre objets et systèmes en simulation .
• ovstage — Runtime partagé pour les données de scène OpenUSD, permettant aux bibliothèques comme ovphysx et ovrtx d'échanger l'état de la simulation via un substrat de données commun .
• Compétences CAO-vers-SimReady — Convertissent les données CAO en actifs SimReady basés sur OpenUSD, dotant le contenu 3D des propriétés structurelles, matérielles et physiques nécessaires à la simulation d'IA physique .

Les bibliothèques de support supplémentaires incluent ovstream (streaming) et ovstorage (gestion des données) .

Blueprint SimReady Blender

NVIDIA a également publié un nouveau blueprint pour intégrer les bibliothèques Omniverse dans Blender, désormais disponible sur GitHub. Il fournit un flux de travail de référence pour les développeurs et les artistes techniques afin de préparer du contenu 3D prêt pour la simulation directement dans Blender en utilisant la pile de bibliothèques Omniverse .

Citations des dirigeants

Jensen Huang, fondateur et PDG de NVIDIA : « L'ère de l'IA physique sera construite d'abord en simulation. L'Agent Toolkit de NVIDIA avec les bibliothèques Omniverse amène les agents d'IA dans les outils 3D que les développeurs utilisent déjà, contribuant ainsi à construire les mondes prêts pour la simulation où les robots, les usines et les systèmes autonomes sont formés et testés bien avant d'atteindre le monde réel. »

Plus tôt, au GTC Taipei (juin 2026), Huang avait déclaré : « Les agents d'IA révolutionnent le développement logiciel, et ce changement arrive maintenant dans l'IA physique, s'étendant aux systèmes qui transformeront les transports, la fabrication, la santé et la robotique. »

Premiers adoptants

SideFX

SideFX utilise les flux de travail OpenUSD, ovrtx et ovphysx pour explorer comment les agents d'IA peuvent intégrer les bibliothèques Omniverse dans les flux de travail de création de contenu 3D procédural de Houdini. Cela offre aux artistes techniques un moyen de générer, tester la physique et préparer du contenu pour la simulation entièrement dans Houdini.

Kim Davidson, président et PDG de SideFX : « La création 3D procédurale est essentielle pour construire les mondes complexes et contrôlables nécessaires à la simulation, la robotique et l'IA industrielle. Avec les bibliothèques NVIDIA Omniverse et OpenUSD, SideFX explore comment les outils prêts pour les agents peuvent soutenir les flux de travail Houdini, aidant les artistes techniques à examiner, tester et préparer du contenu procédural pour la simulation tout en gardant le contrôle du processus créatif. »

PTC

La plateforme CAO et de gestion des données produit (PDM) Onshape de PTC utilise OpenUSD et ovrtx pour connecter les flux de travail de conception natifs cloud avec la simulation de capteurs RTX de NVIDIA, permettant des capacités « Render Studio » directement dans le navigateur .

Startups

Plusieurs startups figurent parmi les premières à adopter les bibliothèques Omniverse : ForgeCAD, Lightwheel, Moonlake AI et Palatial construisent avec les nouvelles bibliothèques et compétences prêtes pour les agents afin d'accélérer les pipelines d'actifs prêts pour la simulation et la validation de l'IA physique .

Contexte stratégique plus large

Cette annonce prolonge la stratégie de NVIDIA visant à rendre la simulation d'IA physique plus accessible en :

• Exposant les capacités centrales d'Omniverse (rendu RTX, simulation PhysX, pipelines de données) sous forme d'API C autonomes, headless-first avec des liaisons C++ et Python — ne nécessitant plus la plateforme Omniverse complète .
• Faisant de ces bibliothèques des outils appelables par des agents au sein de l'Agent Toolkit, permettant aux agents de codage d'inspecter des scènes, de signaler des problèmes, de préparer des actifs et d'exécuter des simulations de manière autonome .
• Publiant une vaste collection open source de compétences d'agents d'IA physique (couvrant Omniverse, Cosmos, Isaac, Metropolis, Alpamayo et Jetson) en juin 2026 au GTC Taipei, désormais étendue avec la publication des bibliothèques Omniverse au SIGGRAPH 2026 .

L'objectif global est d'abaisser la barrière pour les développeurs qui construisent les mondes prêts pour la simulation nécessaires à l'entraînement et au test des robots, des véhicules autonomes, des usines et des jumeaux numériques industriels avant qu'ils n'atteignent le monde réel .