Bước Ngoặt của Ngành Robotics: Robot 'Mô Phỏng' Bắt Đầu Làm Chủ Thực Tế

Việc chế tạo robot có thể điều hướng trên các kiểu dáng cơ thể khác nhau – robot di động bánh lốp, robot hình người – nổi tiếng là khó. Framework chính sách COMPASS trước tiên huấn luyện một chính sách điều hướng cơ bản thông qua học bắt chước, sau đó sử dụng học tăng cường trên phần dư trong NVIDIA Isaac Lab để tạo ra các chính sách chuyên biệt cho các hình thái đa dạng – tất cả đều trong mô phỏng. So với các mô hình học bắt chước cơ sở, COMPASS đạt được mức cải thiện trung bình 4,5 lần về tỉ lệ thành công. Nó cũng chuyển giao liền mạch sang thế giới thực, đạt tỉ lệ thành công khoảng 80% qua 20 lần thử nghiệm điều hướng thực tế trên robot tự hành và robot hình người .

Grasp-MPC: Gắp Vật Thích Ứng, Điều Chỉnh Ngay Khi Đang Di Chuyển

Các kế hoạch gắp cố định thất bại khi đối tượng dịch chuyển hoặc khi ước tính ban đầu của robot hơi lệch. Grasp-MPC liên tục hiệu chỉnh chuyển động của robot khi nó tiến gần đến một vật thể. Các nhà nghiên cứu đã tạo ra 2 triệu quỹ đạo mô phỏng trên 8.000 đồ vật bằng cách sử dụng bộ dữ liệu GraspGen và cuRobo, một thư viện tạo chuyển động tăng tốc bằng CUDA. Trên robot thực, nó đạt tỉ lệ gắp tổng thể khoảng 75%, so với mức cơ sở là 41% .

Thao Tác Cụm Vật Méo Dạng: Dọn Dẹp Lộn Xộn Ngay Lập Tức

Thao tác với các vật liệu mềm, rối rắm – như cành cây vướng trên đường dây điện – đòi hỏi nhiều hơn là một bàn kẹp chính xác. Các nhà nghiên cứu đã huấn luyện các chính sách sử dụng toàn bộ cánh tay để gạt các cụm vật, mô phỏng hàng nghìn cái cây tổng hợp trong framework Isaac simulation. Kết quả: các chính sách được triển khai ngay lập tức trên cành cây thật mà không cần huấn luyện thêm .

PEEK: Tầm Nhìn Tập Trung Mang Lại Độ Chính Xác Tăng 41 Lần

Các yếu tố gây xao lãng trong luồng camera của robot có thể làm hỏng ngay cả những chính sách thao tác được huấn luyện tốt. PEEK sử dụng mô hình ngôn ngữ-thị giác để đọc hướng dẫn nhiệm vụ và tập trung tầm nhìn của robot vào các vật thể liên quan trong khi làm mờ mọi thứ khác. Khi được thêm vào một chính sách huấn luyện thuần túy trong mô phỏng, PEEK đã tạo ra sự cải thiện gấp 41 lần về độ chính xác trong thế giới thực. Đối với các mô hình hành động-ngôn ngữ-thị giác (VLA) lớn, mức tăng dao động từ 2 đến 3,5 lần. PEEK tích hợp với bất kỳ chính sách dựa trên camera nào mà không cần chỉnh sửa .

Do What You Say (SEAL): Thu Hẹp Khoảng Cách Giữa Suy Luận và Hành Động

Framework SEAL – sản phẩm hợp tác với Đại học Carnegie Mellon, Đại học Utah và Đại học Sydney – khắc phục một lỗi phổ biến nhưng khó nhận thấy: mô hình suy luận đúng, chọn đúng kế hoạch, nhưng thực thi lại khác. SEAL tạo ra nhiều chuỗi hành động ứng viên, mô phỏng xem mỗi chuỗi dẫn đến đâu và chọn ra kế hoạch phù hợp nhất với ý định đã nêu. Nó mang lại mức tăng độ chính xác lên đến 15% so với các công trình trước đó và hoạt động tốt với các hướng dẫn được diễn đạt lại, môi trường lộn xộn và góc camera thay đổi .

Refinery: Chuỗi Hóa Các Bước Lắp Ráp Với 91% Thành Công Mô Phỏng

Đối với việc lắp ráp nhiều bộ phận, kết quả của mỗi bước định hình bước tiếp theo. Refinery huấn luyện các chính sách hiểu được những sự phụ thuộc này, học qua hàng trăm kịch bản mô phỏng. Nó đạt được 91% thành công trong mô phỏng và cải thiện trung bình gần 11% so với các mô hình cơ sở, với các chính sách được liên kết với nhau cho các chuỗi lắp ráp dài và phức tạp .

Học Tăng Cường Sim-to-Real Dựa Trên Hình Ảnh Cho Các Nhiệm Vụ Hình Người Khéo Léo

Một công thức học tăng cường sim-to-real dựa trên thị giác riêng biệt đã huấn luyện một robot hình người thực hiện các nhiệm vụ gắp-và-vươn, nâng hộp và chuyển giao bằng hai tay. Cách tiếp cận này đạt tỉ lệ thành công cao trên các vật thể chưa từng thấy, với các hành vi thích ứng và mạnh mẽ – nhấn mạnh rằng thao tác khéo léo dựa trên thị giác thông qua sim-to-real RL không chỉ khả thi mà còn có khả năng mở rộng .

Các Nền Tảng Nền Tảng: GR00T, Cosmos, Newton, cuMotion và Jetson

Tám công trình này dựa trên một số nền tảng nền tảng của NVIDIA, vốn biến mô phỏng thành một môi trường phát triển end-to-end thực tế:

• NVIDIA Isaac GR00T: Một sáng kiến nghiên cứu và nền tảng phát triển cho các mô hình nền tảng robot đa năng, bao gồm các mô hình mở (dòng GR00T N) cho suy luận và điều khiển robot hình người, các framework mô phỏng được xây dựng trên Omniverse và Cosmos, và máy tính biên Jetson AGX Thor .
• Mô hình Thế giới NVIDIA Cosmos: Một nền tảng gồm các mô hình nền tảng thế giới sinh tạo tiên tiến nhất để xây dựng mô hình thế giới tùy chỉnh ở quy mô lớn, hỗ trợ tạo dữ liệu tổng hợp và đánh giá chính sách hoàn toàn trong mô phỏng .
• Công cụ Vật lý Newton 1.0: Một công cụ vật lý tăng tốc GPU mã nguồn mở, được đồng phát triển với Google DeepMind và Disney Research, hiện có sẵn trong NVIDIA Isaac Lab để giúp tạo ra các robot có năng lực và khả năng thích ứng cao hơn .
• NVIDIA cuMotion: Một thư viện tăng tốc CUDA giải quyết các bài toán lập kế hoạch chuyển động robot ở quy mô lớn bằng cách chạy đồng thời nhiều tối ưu hóa quỹ đạo để trả về giải pháp tốt nhất .
• Nền tảng AI Biên NVIDIA Jetson: Nền tảng phần cứng được sử dụng trên robot để chạy toàn bộ hệ thống robot, bao gồm bản demo tăng tốc gấp 3 lần của ScheduleStream, với Jetson AGX Thor đóng vai trò là máy tính trên bo mạch .

Các Đối Tác Đưa Hiệu Quả Sim-to-Real Vào Ứng Dụng

Viện Nghiên cứu Toyota Cắt Giảm Nhu Cầu Dữ Liệu Thực Tế

Viện Nghiên cứu Toyota (TRI) đã tùy chỉnh các mô hình nền tảng thế giới NVIDIA Cosmos cho tổng hợp góc nhìn động và thao tác từ xa của robot, qua đó giảm lượng dữ liệu thực tế cần thiết để huấn luyện các chính sách thao tác dựa trên thị giác .

Mimic Robotics: Hiệu Quả Mẫu Tốt Hơn Gấp 10 Lần

Mimic Robotics đã phát triển một mô hình video-hành động sử dụng các nền tảng của NVIDIA, đạt hiệu quả mẫu tốt hơn gấp 10 lần và tốc độ hội tụ nhanh gấp 2 lần cho các nhiệm vụ thao tác thực tế, cắt giảm đáng kể số lượng các màn trình diễn thực tế tốn kém cần có .

Doosan Robotics Bổ Sung Khả Năng Xếp Pallet Nhận Biết Ngữ Cảnh

Doosan sử dụng NVIDIA Cosmos Reason để cho phép robot xếp pallet phân tích nội dung của các thùng hàng, phát hiện hư hỏng và điều chỉnh cách xử lý dựa trên trọng lượng và độ dễ vỡ – cho phép ra quyết định dựa trên bối cảnh mà không cần dữ liệu huấn luyện thực tế toàn diện .

Bức Tranh Toàn Cảnh: Từ Demo Có Kịch Bản Đến Tự Động Hóa Thể Hiện

NVIDIA định hình khối lượng công việc này như một phần của sự thay đổi cơ bản trong ngành công nghiệp robot:

"Ngành robotics đang bước vào một giai đoạn mới: dịch chuyển từ các bản demo được kiểm soát và tự động hóa theo kịch bản sang khả năng tự động hóa thể hiện đáng tin cậy, có tính tổng quát hóa trong thế giới thực" .

Chuyển giao sim-to-real không còn là một sự tò mò học thuật. Tám công trình tại ICRA cho thấy nó giải quyết toàn bộ vấn đề: phối hợp đa cánh tay song song, tổng quát hóa chính sách xuyên hình thái, gắp vật thể mới trong môi trường lộn xộn, thao tác vật liệu mềm không cần huấn luyện, lắp ráp tuần tự chính xác, và các mô hình ngôn ngữ-hành động-thị giác suy luận trước khi chuyển động . Thông điệp rất rõ ràng: huấn luyện dựa trên mô phỏng – thay vì phụ thuộc vào lượng lớn các bài trình diễn của con người trong thế giới thực – là con đường có khả năng mở rộng để tạo ra những robot hoạt động mạnh mẽ trong các môi trường phi cấu trúc và năng động.