L'Agent Toolkit di NVIDIA si arricchisce con le librerie Omniverse:物理AI a portata di sviluppatore

Nuove librerie rilasciate su GitHub

NVIDIA ha rilasciato diverse nuove librerie come parte dello stack Omniverse, ciascuna progettata per portare specifiche capacità di physical AI nelle applicazioni esistenti:

• ovrtx — libreria per la simulazione di sensori RTX (versione prerelease su GitHub). Fornisce un SDK leggero in C e Python per generare output di sensori come telecamere, lidar, radar e altri a partire da scene OpenUSD, permettendo ad applicazioni e agenti AI di testare come i sistemi di physical AI percepiscano ambienti virtuali .
• ovphysx — libreria di simulazione fisica accelerata su GPU. Porta comportamenti fisici realistici (collisioni, massa, attrito, movimento) alle scene 3D, consentendo ai team di testare le interazioni tra oggetti e sistemi in simulazione .
• ovstage — runtime stage condiviso per i dati delle scene OpenUSD, che permette a librerie come ovphysx e ovrtx di scambiarsi lo stato della simulazione attraverso un substrato dati comune .
• Skill CAD-to-SimReady — convertono dati CAD in asset SimReady basati su OpenUSD, dotando i contenuti 3D delle proprietà strutturali, materiali e fisiche necessarie per la simulazione di physical AI .

Librerie di supporto aggiuntive includono ovstream (streaming) e ovstorage (gestione dati) .

Blueprint SimReady per Blender

NVIDIA ha anche rilasciato un nuovo blueprint per integrare le librerie Omniverse in Blender, ora disponibile su GitHub. Fornisce un flusso di lavoro di riferimento per sviluppatori e technical artist per preparare contenuti 3D pronti per la simulazione direttamente all'interno di Blender utilizzando lo stack di librerie Omniverse .

Dichiarazioni dei dirigenti

Jensen Huang, fondatore e CEO di NVIDIA: "L'era della physical AI sarà costruita prima in simulazione. L'Agent Toolkit di NVIDIA con le librerie Omniverse porta gli agenti AI negli strumenti 3D che gli sviluppatori già utilizzano, aiutando a costruire i mondi pronti per la simulazione in cui robot, fabbriche e sistemi autonomi vengono addestrati e testati molto prima di arrivare nel mondo reale."

In precedenza, al GTC Taipei (giugno 2026), Huang aveva dichiarato: "Gli agenti AI stanno rivoluzionando lo sviluppo software, e questo cambiamento sta ora arrivando alla physical AI, estendendosi ai sistemi che trasformeranno trasporti, manifattura, sanità e robotica."

Primi utilizzatori

SideFX

SideFX sta utilizzando i flussi di lavoro OpenUSD, ovrtx e ovphysx per esplorare come gli agenti AI possano integrare le librerie Omniverse nei flussi di creazione di contenuti 3D procedurali di Houdini. Questo offre ai technical artist un percorso per generare, testare la fisica e preparare contenuti per la simulazione interamente all'interno di Houdini.

Kim Davidson, presidente e CEO di SideFX: "La creazione 3D procedurale è essenziale per costruire i mondi complessi e controllabili necessari per la simulazione, la robotica e l'AI industriale. Con le librerie NVIDIA Omniverse e OpenUSD, SideFX sta esplorando come gli strumenti pronti per gli agenti possano supportare i flussi di lavoro di Houdini, aiutando i technical artist a revisionare, testare e preparare contenuti procedurali per la simulazione, mantenendo il controllo del processo creativo."

PTC

La piattaforma CAD e PDM (Product Data Management) Onshape di PTC sta utilizzando OpenUSD e ovrtx per connettere i flussi di lavoro di progettazione cloud-native con la simulazione di sensori RTX di NVIDIA, abilitando funzionalità "Render Studio" direttamente nel browser .

Startup

Diverse startup sono tra le prime ad adottare le librerie Omniverse: ForgeCAD, Lightwheel, Moonlake AI e Palatial stanno sviluppando con le nuove librerie e skill pronte per gli agenti per accelerare le pipeline di asset pronti per la simulazione e la validazione della physical AI .

Contesto strategico più ampio

L'annuncio estende la strategia di NVIDIA per rendere la simulazione di physical AI più accessibile:

• Esponendo le funzionalità principali di Omniverse (rendering RTX, simulazione PhysX, pipeline dati) come API C standalone, headless-first con binding C++ e Python — senza più richiedere l'intera piattaforma Omniverse .
• Rendendo queste librerie strumenti chiamabili dagli agenti all'interno dell'Agent Toolkit, in modo che gli agenti di codifica possano ispezionare autonomamente le scene, segnalare problemi, preparare asset ed eseguire simulazioni .
• Rilasciando un'importante raccolta open source di skill per agenti di physical AI (che coprono Omniverse, Cosmos, Isaac, Metropolis, Alpamayo e Jetson) a giugno 2026 al GTC Taipei, ora estesa con il rilascio delle librerie Omniverse al SIGGRAPH 2026 .

L'obiettivo generale è abbassare la barriera per gli sviluppatori che costruiscono i mondi pronti per la simulazione necessari per addestrare e testare robot, veicoli autonomi, fabbriche e gemelli digitali industriali prima che arrivino nel mondo reale .