NVIDIA mở khóa sức mạnh AI vật lý: Bộ Agent Toolkit tích hợp thư viện Omniverse tại SIGGRAPH 2026

Tại hội nghị SIGGRAPH 2026, NVIDIA đã công bố rằng Agent Toolkit của hãng nay đã bao gồm các thư viện NVIDIA Omniverse — một tập hợp các thành phần phần mềm mã nguồn mở, dạng mô-đun, cho phép các AI agent có thể thêm các khả năng AI vật lý (mô phỏng cảm biến, vật lý, và kiểm định tài sản sẵn sàng mô phỏng) trực tiếp vào các ứng dụng 3D và công nghiệp hiện có. Các thư viện này được phát hành công khai trên GitHub, cùng với một blueprint mới có tên "SimReady Blender" .

Các thư viện mới được phát hành trên GitHub

NVIDIA đã phát hành một số thư viện mới như một phần của hệ sinh thái Omniverse, mỗi thư viện được thiết kế để mang các khả năng AI vật lý cụ thể vào các ứng dụng hiện tại:

• ovrtx — Thư viện mô phỏng cảm biến RTX (bản phát hành thử nghiệm trên GitHub). Nó cung cấp SDK C và Python nhẹ để tạo đầu ra cảm biến camera, lidar, radar và các cảm biến khác từ các scene OpenUSD, cho phép các ứng dụng và AI agent kiểm tra cách các hệ thống AI vật lý nhận thức môi trường ảo .
• ovphysx — Thư viện mô phỏng vật lý được tăng tốc GPU. Nó mang đến các hành vi vật lý chân thực (va chạm, khối lượng, ma sát, chuyển động) cho các scene 3D, giúp các nhóm phát triển có thể kiểm tra tương tác giữa các đối tượng và hệ thống trong mô phỏng .
• ovstage — Runtime stage dùng chung cho dữ liệu scene OpenUSD, cho phép các thư viện như ovphysx và ovrtx trao đổi trạng thái mô phỏng thông qua một nền tảng dữ liệu chung .
• CAD-to-SimReady skills — Chuyển đổi dữ liệu CAD thành các tài sản SimReady được xây dựng trên OpenUSD, cung cấp cho nội dung 3D các thuộc tính về cấu trúc, vật liệu và vật lý cần thiết cho mô phỏng AI vật lý .

Các thư viện hỗ trợ bổ sung bao gồm ovstream (truyền phát) và ovstorage (quản lý dữ liệu) .

Blueprint SimReady Blender

NVIDIA cũng phát hành một blueprint mới để tích hợp các thư viện Omniverse vào Blender, hiện có sẵn trên GitHub. Blueprint này cung cấp một quy trình tham chiếu cho các nhà phát triển và nghệ sĩ kỹ thuật để chuẩn bị nội dung 3D sẵn sàng mô phỏng trực tiếp trong Blender bằng cách sử dụng hệ thống thư viện Omniverse .

Trích dẫn từ lãnh đạo

Jensen Huang, người sáng lập kiêm CEO của NVIDIA: "Kỷ nguyên AI vật lý sẽ được xây dựng thông qua mô phỏng trước tiên. Agent Toolkit của NVIDIA với các thư viện Omniverse mang AI agent vào các công cụ 3D mà các nhà phát triển đang sử dụng, giúp xây dựng các thế giới sẵn sàng mô phỏng, nơi robot, nhà máy và các hệ thống tự động được huấn luyện và kiểm tra từ rất lâu trước khi chúng được đưa ra thế giới thực."

Trước đó tại GTC Đài Bắc (tháng 6 năm 2026), Huang đã phát biểu: "Các AI agent đang cách mạng hóa việc phát triển phần mềm, và sự chuyển dịch đó hiện đang đến với AI vật lý, mở rộng sang các hệ thống sẽ biến đổi giao thông vận tải, sản xuất, chăm sóc sức khỏe và robot."

Những người áp dụng sớm

SideFX

SideFX đang sử dụng quy trình làm việc OpenUSD, ovrtx và ovphysx để khám phá cách AI agent có thể tích hợp các thư viện Omniverse vào quy trình tạo nội dung 3D thủ tục của Houdini. Điều này mang đến cho các nghệ sĩ kỹ thuật một con đường để tạo ra, kiểm tra vật lý và chuẩn bị nội dung cho mô phỏng hoàn toàn trong Houdini.

Kim Davidson, chủ tịch kiêm CEO của SideFX: "Tạo nội dung 3D thủ tục là điều cần thiết để xây dựng các thế giới phức tạp, có thể kiểm soát cần thiết cho mô phỏng, robot và AI công nghiệp. Với các thư viện NVIDIA Omniverse và OpenUSD, SideFX đang khám phá cách các công cụ agent-ready có thể hỗ trợ quy trình làm việc của Houdini, giúp các nghệ sĩ kỹ thuật xem xét, kiểm tra và chuẩn bị nội dung thủ tục cho mô phỏng trong khi vẫn kiểm soát được quá trình sáng tạo."

PTC

Nền tảng Onshape CAD và quản lý dữ liệu sản phẩm (PDM) của PTC đang sử dụng OpenUSD và ovrtx để kết nối các quy trình thiết kế trên nền tảng đám mây với mô phỏng cảm biến RTX của NVIDIA, cho phép các khả năng "Render Studio" trực tiếp trong trình duyệt .

Các Startup

Một số startup là một trong những đơn vị đầu tiên áp dụng các thư viện Omniverse: ForgeCAD, Lightwheel, Moonlake AI và Palatial đang xây dựng với các thư viện và kỹ năng agent-ready mới để tăng tốc các pipeline tạo tài sản sẵn sàng mô phỏng và kiểm định AI vật lý .

Bối cảnh chiến lược rộng hơn

Thông báo này mở rộng chiến lược của NVIDIA nhằm giúp việc mô phỏng AI vật lý dễ tiếp cận hơn bằng cách:

• Cung cấp các khả năng cốt lõi của Omniverse (kết xuất RTX, mô phỏng PhysX, pipeline dữ liệu) dưới dạng API C độc lập, headless-first với bindings C++ và Python — không còn yêu cầu nền tảng Omniverse đầy đủ .
• Biến các thư viện này thành các công cụ có thể gọi từ agent trong Agent Toolkit, để các coding agent có thể tự động kiểm tra scene, gắn cờ lỗi, chuẩn bị tài sản và chạy mô phỏng .
• Phát hành một bộ sưu tập mã nguồn mở lớn các kỹ năng AI vật lý cho agent (bao gồm Omniverse, Cosmos, Isaac, Metropolis, Alpamayo và Jetson) vào tháng 6 năm 2026 tại GTC Đài Bắc, nay được mở rộng với bản phát hành thư viện Omniverse tại SIGGRAPH 2026 .

Mục tiêu bao trùm là hạ thấp rào cản cho các nhà phát triển xây dựng các thế giới sẵn sàng mô phỏng cần thiết để huấn luyện và kiểm tra robot, xe tự hành, nhà máy và bản sao số công nghiệp trước khi chúng được đưa ra thế giới thực .