NVIDIA na SIGGRAPH 2026: Agent Toolkit zyskuje biblioteki Omniverse – nowe możliwości dla fizycznej AI

NVIDIA udostępniła kilka nowych bibliotek z rodziny Omniverse, które umożliwiają wprowadzenie konkretnych funkcji fizycznej AI do istniejących aplikacji:

• ovrtx – biblioteka symulacji sensorów RTX (wersja przedpremierowa na GitHubie). Dostarcza lekkie SDK w C i Pythonie do generowania danych z kamer, lidarów, radarów i innych sensorów na podstawie scen OpenUSD. Dzięki temu aplikacje i agenci AI mogą testować, jak systemy fizycznej AI postrzegają wirtualne środowisko .
• ovphysx – biblioteka symulacji fizyki przyspieszana przez GPU. Wprowadza realistyczne zachowania fizyczne (kolizje, masę, tarcie, ruch) do scen 3D, umożliwiając testowanie interakcji obiektów w symulacji .
• ovstage – współdzielone środowisko uruchomieniowe dla danych scen OpenUSD, pozwalające bibliotekom takim jak ovphysx i ovrtx na wymianę stanu symulacji przez wspólny substrat danych .
• Umiejętności CAD-to-SimReady – konwersja danych CAD do gotowych do symulacji aktywów w formacie OpenUSD, nadająca treściom 3D niezbędne właściwości strukturalne, materiałowe i fizyczne .

Dodatkowe biblioteki wspierające to ovstream (streaming) i ovstorage (zarządzanie danymi) .

Przepis SimReady Blender

NVIDIA opublikowała również nowy przepis na integrację bibliotek Omniverse z Blenderem, dostępny na GitHubie. Stanowi on referencyjny przepływ pracy dla deweloperów i artystów technicznych, umożliwiający przygotowywanie gotowych do symulacji treści 3D bezpośrednio w Blenderze przy użyciu stosu bibliotek Omniverse .

Cytaty kierownictwa

Jensen Huang, założyciel i dyrektor generalny NVIDIA: „Epoka fizycznej AI zostanie zbudowana najpierw w symulacji. NVIDIA Agent Toolkit z bibliotekami Omniverse wprowadza agentów AI do narzędzi 3D, których deweloperzy już używają, pomagając budować gotowe do symulacji światy, w których roboty, fabryki i systemy autonomiczne są szkolone i testowane na długo przed trafieniem do rzeczywistego świata.”

Wcześniej na GTC Taipei (czerwiec 2026) Huang stwierdził: „Agenci AI rewolucjonizują tworzenie oprogramowania, a ta zmiana wkracza teraz do fizycznej AI, rozszerzając się na systemy, które przekształcą transport, produkcję, opiekę zdrowotną i robotykę.”

Pierwsi użytkownicy

SideFX

SideFX wykorzystuje przepływy pracy OpenUSD, ovrtx i ovphysx do badania, w jaki sposób agenci AI mogą integrować biblioteki Omniverse w proceduralnych przepływach pracy z treściami 3D w Houdini. Daje to artystom technicznym możliwość generowania, testowania fizyki i przygotowywania treści do symulacji całkowicie w ramach Houdini.

Kim Davidson, prezes i dyrektor generalny SideFX: „Proceduralne tworzenie treści 3D jest kluczowe dla budowania złożonych, sterowalnych światów potrzebnych do symulacji, robotyki i przemysłowej AI. Dzięki bibliotekom NVIDIA Omniverse i OpenUSD, SideFX bada, jak narzędzia gotowe dla agentów mogą wspierać przepływy pracy w Houdini, pomagając artystom technicznym przeglądać, testować i przygotowywać proceduralne treści do symulacji, zachowując jednocześnie kontrolę nad procesem twórczym.”

PTC

Platforma Onshape firmy PTC (CAD i zarządzanie danymi produktowymi) używa OpenUSD i ovrtx do połączenia chmurowych przepływów projektowych z symulacją sensorów RTX NVIDIA, umożliwiając funkcje „Render Studio” bezpośrednio w przeglądarce .

Startupy

Kilka startupów znalazło się w gronie pierwszych użytkowników bibliotek Omniverse: ForgeCAD, Lightwheel, Moonlake AI oraz Palatial budują z nowymi bibliotekami i umiejętnościami gotowymi dla agentów, aby przyspieszyć tworzenie potoków aktywów gotowych do symulacji i walidację fizycznej AI .

Szerszy kontekst strategiczny

Ogłoszenie rozszerza strategię NVIDIA mającą na celu uczynienie symulacji fizycznej AI bardziej dostępną poprzez:

• Udostępnienie podstawowych możliwości Omniverse (renderowanie RTX, symulacja PhysX, potoki danych) jako samodzielnych, headless-first API w C z wiązaniami C++ i Python – nie wymagających już pełnej platformy Omniverse .
• Uczynienie tych bibliotek narzędziami wywoływanymi przez agentów w ramach Agent Toolkit, tak aby agenci kodujący mogli autonomicznie przeglądać sceny, oznaczać problemy, przygotowywać aktywa i uruchamiać symulacje .
• Wydanie w czerwcu 2026 roku na GTC Taipei dużej, otwartej kolekcji umiejętności agentów fizycznej AI (obejmującej Omniverse, Cosmos, Isaac, Metropolis, Alpamayo i Jetson), która została rozszerzona o wydanie bibliotek Omniverse na SIGGRAPH 2026 .

Nadrzędnym celem jest obniżenie bariery dla deweloperów budujących gotowe do symulacji światy potrzebne do szkolenia i testowania robotów, pojazdów autonomicznych, fabryk i przemysłowych cyfrowych bliźniaków, zanim trafią one do rzeczywistego świata .