NVIDIA trình làng Agent Toolkit tích hợp Omniverse: AI giờ đã có thể xây dựng thế giới mô phỏng

Tại SIGGRAPH 2026, NVIDIA công bố rằng Agent Toolkit của hãng giờ đây đã bao gồm các thư viện NVIDIA Omniverse — một bộ sưu tập các thành phần phần mềm dạng module, mã nguồn mở, cho phép các AI agent thêm khả năng AI vật lý (mô phỏng cảm biến, vật lý và kiểm tra tài sản sẵn sàng cho mô phỏng) trực tiếp vào các ứng dụng 3D và công nghiệp hiện có. Các thư viện hiện có sẵn trên GitHub, cùng với một blueprint mới có tên "SimReady Blender" .

Những Công Bố Chính

Các Thư Viện Mới Được Phát Hành Trên GitHub

• ovrtx — Thư viện mô phỏng cảm biến RTX (bản prerelease trên GitHub). Cung cấp SDK C và Python nhẹ để tạo đầu ra từ cảm biến camera, lidar, radar và các cảm biến khác từ các cảnh OpenUSD, cho phép ứng dụng và AI agent kiểm tra cách các hệ thống AI vật lý cảm nhận môi trường ảo .
• ovphysx — Thư viện mô phỏng vật lý tăng tốc GPU. Mang lại hành vi vật lý chân thực (va chạm, khối lượng, ma sát, chuyển động) cho các cảnh 3D, giúp các nhóm kiểm tra tương tác giữa các đối tượng và hệ thống trong mô phỏng .
• ovstage — Runtime stage dùng chung cho dữ liệu cảnh OpenUSD, cho phép các thư viện như ovphysx và ovrtx trao đổi trạng thái mô phỏng thông qua một lớp nền dữ liệu chung .
• Kỹ năng CAD-to-SimReady — Chuyển đổi dữ liệu CAD thành tài sản SimReady dựa trên OpenUSD, cung cấp cho nội dung 3D các thuộc tính cấu trúc, vật liệu và vật lý cần thiết cho mô phỏng AI vật lý .

Các thư viện hỗ trợ khác trong bộ stack bao gồm ovstream (truyền phát) và ovstorage (quản lý dữ liệu) .

Blueprint SimReady Blender

NVIDIA phát hành một blueprint mới để tích hợp các thư viện Omniverse vào Blender, hiện có sẵn trên GitHub. Nó cung cấp một quy trình tham chiếu cho các nhà phát triển và nghệ sĩ kỹ thuật để chuẩn bị nội dung 3D sẵn sàng cho mô phỏng trực tiếp trong Blender bằng bộ thư viện Omniverse .

Trích Dẫn Từ Lãnh Đạo NVIDIA

• Jensen Huang, nhà sáng lập kiêm CEO của NVIDIA: "Kỷ nguyên AI vật lý sẽ được xây dựng trong mô phỏng trước tiên. NVIDIA Agent Toolkit với các thư viện Omniverse mang AI agent vào các công cụ 3D mà nhà phát triển đã sử dụng, giúp xây dựng những thế giới sẵn sàng cho mô phỏng, nơi robot, nhà máy và hệ thống tự hành được huấn luyện và kiểm tra từ rất lâu trước khi chúng đến với thế giới thực."
• Trước đó tại GTC Taipei (tháng 6 năm 2026), Huang phát biểu: "AI agent đang cách mạng hóa việc phát triển phần mềm, và sự chuyển dịch đó giờ đây đang đến với AI vật lý, mở rộng vào các hệ thống sẽ biến đổi giao thông vận tải, sản xuất, chăm sóc sức khỏe và robot."

Những Người Tiên Phong Áp Dụng

SideFX

SideFX đang sử dụng quy trình OpenUSD, ovrtx và ovphysx để khám phá cách AI agent có thể tích hợp các thư viện Omniverse vào quy trình tạo nội dung 3D thủ tục Houdini. Điều này mang đến cho các nghệ sĩ kỹ thuật một con đường để tạo, kiểm tra vật lý và chuẩn bị nội dung cho mô phỏng hoàn toàn trong Houdini.

• Kim Davidson, chủ tịch kiêm CEO của SideFX: "Tạo nội dung 3D thủ tục là điều cần thiết để xây dựng những thế giới phức tạp, có thể kiểm soát cần thiết cho mô phỏng, robot và AI công nghiệp. Với các thư viện NVIDIA Omniverse và OpenUSD, SideFX đang khám phá cách các công cụ sẵn sàng cho agent có thể hỗ trợ quy trình làm việc của Houdini, giúp các nghệ sĩ kỹ thuật xem xét, kiểm tra và chuẩn bị nội dung thủ tục cho mô phỏng trong khi vẫn giữ quyền kiểm soát quy trình sáng tạo."

PTC

Nền tảng Onshape CAD và quản lý dữ liệu sản phẩm (PDM) của PTC đang sử dụng OpenUSD và ovrtx để kết nối các quy trình thiết kế trên nền tảng đám mây với mô phỏng cảm biến RTX của NVIDIA, cho phép khả năng "Render Studio" trực tiếp trong trình duyệt .

Các Startup

Một số startup nằm trong số những đơn vị đầu tiên áp dụng các thư viện Omniverse: ForgeCAD, Lightwheel, Moonlake AI và Palatial đang xây dựng với các thư viện và kỹ năng sẵn sàng cho agent mới để tăng tốc các pipeline tài sản sẵn sàng cho mô phỏng và xác thực AI vật lý .

Bối Cảnh Chiến Lược Rộng Hơn

Thông báo này mở rộng chiến lược của NVIDIA nhằm làm cho mô phỏng AI vật lý trở nên dễ tiếp cận hơn bằng cách:

• Cung cấp các khả năng cốt lõi của Omniverse (kết xuất RTX, mô phỏng PhysX, pipeline dữ liệu) dưới dạng các C API độc lập, ưu tiên headless với liên kết C++ và Python — không còn yêu cầu nền tảng Omniverse đầy đủ nữa .
• Biến các thư viện này thành công cụ có thể gọi bởi agent trong Agent Toolkit, để các coding agent có thể tự động kiểm tra cảnh, gắn cờ sự cố, chuẩn bị tài sản và chạy mô phỏng .
• Phát hành một bộ sưu tập mã nguồn mở lớn các kỹ năng agent AI vật lý (bao gồm Omniverse, Cosmos, Isaac, Metropolis, Alpamayo và Jetson) vào tháng 6 năm 2026 tại GTC Taipei, nay được mở rộng với bản phát hành thư viện Omniverse tại SIGGRAPH 2026 .

Mục tiêu tổng thể là hạ thấp rào cản cho các nhà phát triển xây dựng những thế giới sẵn sàng cho mô phỏng cần thiết để huấn luyện và kiểm tra robot, xe tự hành, nhà máy và bản sao kỹ thuật số công nghiệp trước khi chúng đến với thế giới thực .