NVIDIA Agent Toolkit laajenee Omniverse-kirjastoilla – fyysinen tekoäly astuu kehittäjien työkaluihin

SIGGRAPH 2026 -tapahtumassa NVIDIA ilmoitti, että sen Agent Toolkit sisältää nyt NVIDIA Omniverse -kirjastot – kokoelman modulaarisia, avoimen lähdekoodin ohjelmistokomponentteja. Nämä antavat tekoälyagenteille mahdollisuuden lisätä fyysisen tekoälyn ominaisuuksia, kuten anturisimulaatiota, fysiikkaa ja simulaatiovalmiiden resurssien validointia, suoraan olemassa oleviin 3D- ja teollisiin sovelluksiin. Kirjastot ja uusi "SimReady Blender" -viitekehys ovat avoimesti saatavilla GitHubissa .

Uudet GitHubissa julkaistut kirjastot

NVIDIA julkaisi useita uusia kirjastoja osana Omniverse-pinoa, joista jokainen tuo tiettyjä fyysisen tekoälyn ominaisuuksia olemassa oleviin sovelluksiin:

• ovrtx – RTX-anturisimulaatiokirjasto (esijulkaisu GitHubissa). Se tarjoaa kevyen C- ja Python-SDK:n kameran, lidarin, tutkan ja muiden anturitulosteiden tuottamiseen OpenUSD-sisällöstä, jolloin sovellukset ja tekoälyagentit voivat testata, miten fyysiset tekoälyjärjestelmät havainnoivat virtuaaliympäristöjä .
• ovphysx – GPU-kiihdytetty fysiikkasimulaatiokirjasto. Se tuo realistisen fysiikan käyttäytymisen (törmäykset, massa, kitka, liike) 3D-sisältöön, jolloin tiimit voivat testata objektien ja järjestelmien vuorovaikutuksia simulaatiossa .
• ovstage – Jaettu suoritusvaihe OpenUSD-sisällölle. Se mahdollistaa eri kirjastojen, kuten ovphysx ja ovrtx, simulointitilan vaihdon yhteisen tietopohjan kautta .
• CAD-to-SimReady -taidot – Muuntavat CAD-sisällön OpenUSD-pohjaisiksi SimReady-resursseiksi, jotka sisältävät fyysiselle tekoälysimulaatiolle tarvittavat rakenteelliset, materiaali- ja fysiikkaominaisuudet .

Muita tukikirjastoja ovat ovstream (suoratoisto) ja ovstorage (tietohallinta) .

SimReady Blender -viitekehys

NVIDIA julkaisi myös uuden viitekehyksen Omniverse-kirjastojen integroimiseksi Blenderiin, joka on nyt saatavilla GitHubissa. Se tarjoaa referenssityönkulun kehittäjille ja teknisille taiteilijoille simulaatiovalmiin 3D-sisällön valmistamiseen suoraan Blenderissa Omniverse-kirjastopinoa käyttäen .

Johdon kommentit

Jensen Huang, NVIDIA:n perustaja ja toimitusjohtaja: "Fyysisen tekoälyn aikakausi rakennetaan ensin simulaatiossa. NVIDIA Agent Toolkit Omniverse-kirjastoineen tuo tekoälyagentit kehittäjien jo käyttämiin 3D-työkaluihin, auttaen rakentamaan simulaatiovalmiita maailmoja, joissa robotit, tehtaat ja autonomiset järjestelmät koulutetaan ja testataan kauan ennen kuin ne saavuttavat todellisen maailman."

Aiemmin GTC Taipei -tapahtumassa (kesäkuu 2026) Huang totesi: "Tekoälyagentit mullistavat ohjelmistokehityksen, ja tämä muutos on nyt tulossa fyysiseen tekoälyyn, ulottuen järjestelmiin, jotka tulevat muuttamaan liikennettä, valmistusta, terveydenhuoltoa ja robotiikkaa."

Varhaiset käyttäjät

SideFX

SideFX tutkii OpenUSD-työnkulkujen, ovrtx:n ja ovphysx:n avulla, miten tekoälyagentit voivat integroida Omniverse-kirjastot Houdini-proseduraaliseen 3D-sisällöntuotantoon. Tämä antaa teknisille taiteilijoille keinon luoda, testata fysiikkaa ja valmistaa sisältöä simulaatioon kokonaan Houdinin sisällä.

Kim Davidson, SideFX:n pääjohtaja: "Proseduraalinen 3D-luominen on olennaista monimutkaisten, hallittavien maailmojen rakentamisessa, joita tarvitaan simulaatioon, robotiikkaan ja teolliseen tekoälyyn. NVIDIA Omniverse -kirjastojen ja OpenUSD:n avulla SideFX tutkii, miten agenttivalmiit työkalut voivat tukea Houdinin työnkulkuja, auttaen teknisiä taiteilijoita tarkastelemaan, testaamaan ja valmistelemaan proseduraalista sisältöä simulaatioon pysyen samalla luovan prosessin hallinnassa."

PTC

PTC:n Onshape-CAD- ja tuotetiedonhallinta-alusta (PDM) käyttää OpenUSD:tä ja ovrtx:tä yhdistääkseen pilvipohjaiset suunnittelutyönkulut NVIDIA RTX -anturisimulaatioon, mahdollistaen "Render Studio" -ominaisuudet suoraan selaimessa .

Startupit

Useat startupit ovat ensimmäisten joukossa ottamassa käyttöön Omniverse-kirjastoja: ForgeCAD, Lightwheel, Moonlake AI ja Palatial rakentavat uusilla agenttivalmiilla kirjastoilla ja taidoilla nopeuttaakseen simulaatiovalmiiden resurssien putkistoja ja fyysisen tekoälyn validointia .

Laajempi strateginen konteksti

Ilmoitus jatkaa NVIDIA:n strategiaa tehdä fyysisen tekoälyn simulaatiosta helpommin saavutettavaa:

• Tarjoamalla ydinominaisuudet (RTX-renderöinti, PhysX-simulaatio, tietoputket) erillisinä, headless-ensimmäisinä C-rajapintoina C++- ja Python-sidontoineen – ilman koko Omniverse-alustan tarvetta .
• Tekemällä näistä kirjastoista agenttien kutsumia työkaluja Agent Toolkitissa, jolloin koodausagentit voivat itsenäisesti tarkastaa kohtauksia, merkitä ongelmia, valmistella resursseja ja suorittaa simulaatioita .
• Julkaisemalla merkittävän avoimen lähdekoodin kokoelman fyysisen tekoälyn agenttitaitoja (kattavat Omniversen, Cosmosin, Isaacin, Metropoliksen, Alpamayon ja Jetsonin) kesäkuussa 2026 GTC Taipei -tapahtumassa, jota nyt laajennetaan SIGGRAPH 2026 Omniverse-kirjastojulkaisulla .

Päätavoite on madaltaa kynnystä kehittäjille, jotka rakentavat simulaatiovalmiita maailmoja robottien, autonomisten ajoneuvojen, tehtaiden ja teollisten digitaalisten kaksosten kouluttamiseen ja testaamiseen ennen kuin ne saavuttavat todellisen maailman .