NVIDIA Agent Toolkit тепер включає бібліотеки Omniverse: фізичний ШІ стає доступнішим

NVIDIA випустила кілька нових бібліотек у складі стеку Omniverse, кожна з яких призначена для реалізації специфічних можливостей фізичного ШІ в існуючих застосунках:

• ovrtx — Бібліотека для RTX-симуляції сенсорів (попередній реліз на GitHub). Вона надає легкий C та Python SDK для генерації даних з камер, лідарів, радарів та інших сенсорів зі сцен OpenUSD, дозволяючи застосункам та ШІ-агентам тестувати, як системи фізичного ШІ сприймають віртуальне середовище .
• ovphysx — Бібліотека фізичної симуляції з прискоренням на GPU. Вона привносить реалістичну фізичну поведінку (колізії, маса, тертя, рух) у 3D-сцени, дозволяючи командам тестувати взаємодію об'єктів та систем у симуляції .
• ovstage — Спільний runtime-рівень для даних сцени OpenUSD, який дозволяє бібліотекам, таким як ovphysx та ovrtx, обмінюватися станом симуляції через спільну основу даних .
• Навички CAD-to-SimReady — Конвертація CAD-даних у SimReady-активи на основі OpenUSD, що надає 3D-контенту структурні, матеріальні та фізичні властивості, необхідні для симуляції фізичного ШІ .

Додаткові допоміжні бібліотеки включають ovstream (потокова передача даних) та ovstorage (управління даними) .

Blueprint SimReady Blender

NVIDIA також випустила новий blueprint для інтеграції бібліотек Omniverse у Blender, тепер доступний на GitHub. Він надає еталонний робочий процес для розробників та технічних художників, які хочуть готувати 3D-контент, готовий до симуляції, безпосередньо в Blender, використовуючи стек бібліотек Omniverse .

Цитати керівництва

Дженсен Хуанг, засновник та генеральний директор NVIDIA: "Ера фізичного ШІ буде побудована спочатку в симуляції. NVIDIA Agent Toolkit з бібліотеками Omniverse приносить ШІ-агентів у ті 3D-інструменти, які розробники вже використовують, допомагаючи створювати світи, готові до симуляції, де роботи, фабрики та автономні системи навчаються та тестуються задовго до того, як потраплять у реальний світ."

Раніше на GTC Taipei (червень 2026 року) Хуанг заявив: "ШІ-агенти революціонізують розробку програмного забезпечення, і цей зсув тепер приходить у фізичний ШІ, поширюючись на системи, які трансформують транспорт, виробництво, охорону здоров'я та робототехніку."

Перші користувачі

SideFX

SideFX використовує робочі процеси OpenUSD, ovrtx та ovphysx, щоб дослідити, як ШІ-агенти можуть інтегрувати бібліотеки Omniverse у робочі процеси процедурного 3D-контенту Houdini. Це дає технічним художникам шлях до генерації, тестування фізики та підготовки контенту для симуляції повністю в Houdini.

Кім Девідсон, президент та генеральний директор SideFX: "Процедурне 3D-творення є важливим для побудови складних, керованих світів, необхідних для симуляції, робототехніки та промислового ШІ. Завдяки бібліотекам NVIDIA Omniverse та OpenUSD, SideFX досліджує, як інструменти, готові до агентів, можуть підтримувати робочі процеси Houdini, допомагаючи технічним художникам переглядати, тестувати та готувати процедурний контент для симуляції, залишаючись при цьому під контролем творчого процесу."

PTC

Платформа PTC Onshape для CAD та управління даними про продукт (PDM) використовує OpenUSD та ovrtx для з'єднання хмарних робочих процесів проектування з RTX-симуляцією сенсорів NVIDIA, забезпечуючи можливості "Render Studio" безпосередньо в браузері .

Стартапи

Кілька стартапів стали одними з перших, хто впровадив бібліотеки Omniverse: ForgeCAD, Lightwheel, Moonlake AI та Palatial будують з новими бібліотеками та навичками, готовими до агентів, щоб прискорити конвеєри активів, готових до симуляції, та валідацію фізичного ШІ .

Ширший стратегічний контекст

Це оголошення розширює стратегію NVIDIA щодо зробити симуляцію фізичного ШІ більш доступною шляхом:

• Відкриття основних можливостей Omniverse (рендеринг RTX, симуляція PhysX, конвеєри даних) як окремих C API з прив'язками для C++ та Python — більше не потрібна повна платформа Omniverse .
• Перетворення цих бібліотек на інструменти, які можна викликати агентами в Agent Toolkit, дозволяючи кодуючим агентам автономно переглядати сцени, позначати проблеми, готувати активи та запускати симуляції .
• Релізу великої колекції навичок агентів фізичного ШІ з відкритим кодом (охоплюючи Omniverse, Cosmos, Isaac, Metropolis, Alpamayo та Jetson) у червні 2026 року на GTC Taipei, тепер розширеної релізом бібліотек Omniverse на SIGGRAPH 2026 .

Загальна мета — знизити бар'єр для розробників, які створюють світи, готові до симуляції, необхідні для навчання та тестування роботів, автономних транспортних засобів, фабрик та промислових цифрових двійників до того, як вони потраплять у реальний світ .