Câu trả lờiĐã xuất bản16 nguồn
Khi robot học từ những lần làm thành công của đồng đội
Collective Experience Learning (CEL) giúp robot đang vận hành chia sẻ kinh nghiệm để cùng cải thiện một chính sách, thay vì cần chuyên gia làm mẫu mới cho mỗi lần cập nhật. FERT dùng bối cảnh thất bại để tìm những đoạn thao tác thành công tương tự làm dữ liệu huấn luyện; FATS hỗ trợ quá trình huấn luyện không đồng b...
Đăng bởiBiên tập bằng GPT-6 LunaHình ảnh được tạo bằng GPT Image 2
Câu trả lời nghiên cứu
Bài học chính
- Collective Experience Learning (CEL) giúp robot đang vận hành chia sẻ kinh nghiệm để cùng cải thiện một chính sách, thay vì cần chuyên gia làm mẫu mới cho mỗi lần cập nhật.
- FERT dùng bối cảnh thất bại để tìm những đoạn thao tác thành công tương tự làm dữ liệu huấn luyện; FATS hỗ trợ quá trình huấn luyện không đồng bộ và chịu lỗi trên cả đội robot.
Prompt AI
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Collective Experience Learning (CEL), proposed by Tsinghua University, Infinigence AI and AgiBot and described in an Infinigence AI–. Article summary: Collective Experience Learning (CEL) is a fleet-learning approach in which deployed robots share real-world execution experience to improve a common policy, rather than relying on fresh human demonstrations for every imp. Topic tags: general, academic, education, general web, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, waterm
Collective Experience Learning (CEL) là phương pháp để các robot đang vận hành cùng cải thiện một chính sách chung bằng kinh nghiệm thu thập từ cả đội. Thay vì mỗi lần muốn robot học hành vi mới lại cần người làm mẫu hoặc sửa từng lỗi, phương pháp này tận dụng những lần robot thực hiện thành công làm dữ liệu huấn luyện. Nghiên cứu có sự tham gia của Đại học Thanh Hoa, Infinigence AI và AgiBot báo cáo thử nghiệm với đội robot có quy mô tối đa 96 chiếc. 1
9
Vì sao cần chia sẻ kinh nghiệm giữa các robot?
Con người có thể làm mẫu và hướng dẫn sửa lỗi cho robot, nhưng việc lặp đi lặp lại công việc này ngày càng khó khi số robot được đưa vào vận hành tăng lên. CEL chuyển một phần gánh nặng học hỏi sang chính các robot: một lần thực hiện hữu ích của robot này có thể trở thành ví dụ để cả đội tham khảo. Mục tiêu không phải loại bỏ con người khỏi quá trình phát triển robot, mà là giảm mức độ phụ thuộc vào hướng dẫn mới từ chuyên gia mỗi khi cần cập nhật. 1
FERT biến thất bại thành tín hiệu học tập như thế nào?
Thuật toán cốt lõi của CEL có tên Failure-guided Experience Retrieval Fine-tuning (FERT), tức tinh chỉnh bằng cách truy xuất kinh nghiệm có định hướng từ thất bại. Khi một lần thực hiện không thành công, FERT dùng bối cảnh xung quanh tình huống đó để tìm những đoạn thao tác phù hợp trong kho các quỹ đạo thành công được chia sẻ. Đoạn thành công cung cấp các hành động đã ghi nhận để cập nhật chính sách; bối cảnh thất bại giúp xác định kinh nghiệm nào có thể hữu ích. 4
13
Cách tiếp cận này đáng chú ý với các nhiệm vụ thao tác kéo dài. Kết quả cuối cùng chỉ cho biết một lượt chạy thành công hay thất bại, chứ không chỉ ra bước nào cần cải thiện. FERT đưa ra cách nối tình huống gặp vấn đề với một ví dụ về hướng xử lý thành công. Tuy nhiên, riêng phương pháp này không chứng minh chính xác hành động nào đã gây ra thất bại.
Nhóm nghiên cứu cũng mô tả FATS, một hệ thống huấn luyện không đồng bộ có khả năng chịu lỗi, nhằm hỗ trợ việc học giữa các robot không phải lúc nào cũng sẵn sàng cùng lúc. Các báo cáo về hệ thống ghi nhận 30 sự cố ảnh hưởng đến 22 robot, với 1,3% thời gian vận hành của robot bị mất. Những con số này phản ánh hiệu suất hệ thống được báo cáo, nhưng tự chúng không xác nhận độc lập mọi chi tiết về cơ chế phục hồi lỗi hay tải dữ liệu. 8
Kết quả thử nghiệm được báo cáo
Đánh giá bao gồm năm nhiệm vụ thao tác: cắm hoa, gấp quần áo, sạc điện thoại, lắp ghế đôn và đóng gói điện thoại.
- Trên robot không tham gia huấn luyện: Hai robot không có mặt trong quá trình huấn luyện thực hiện 600 lượt thử, thành công 585 lượt và thất bại 15 lượt — tỷ lệ thành công tổng thể được báo cáo là 97,5%. Nhóm nghiên cứu cũng cho biết kết quả của robot ở từng nhiệm vụ đều cao hơn mức trung bình của sáu người vận hành. Đây là so sánh trong phạm vi các nhiệm vụ được thử nghiệm, không phải bằng chứng cho thấy robot nhìn chung vượt trội hơn con người.
- Đóng gói điện thoại: Tỷ lệ thành công được báo cáo tăng từ 79,2% lên 98,3%. Phần mô tả thử nghiệm cho biết có 120 lượt kiểm tra trên hai robot không tham gia huấn luyện.
7
- Quy mô đội robot: Với cùng thời gian huấn luyện thực tế, một phép so sánh được báo cáo cho thấy tỷ lệ thành công tăng từ 86,7% khi có 16 robot lên 98,3% khi có 96 robot. Kết quả này ủng hộ khả năng đội robot lớn hơn có thể đóng góp thêm kinh nghiệm trong cùng khoảng thời gian, nhưng không đảm bảo mọi đội lớn hơn đều đạt mức tăng tương tự.
Điều cần lưu ý
Ý tưởng chính của CEL khá dễ hình dung: dùng thất bại để nhận diện chỗ cần cải thiện, rồi tìm ví dụ thành công từ kinh nghiệm tích lũy của cả đội. FERT đảm nhiệm việc truy xuất và cập nhật chính sách; FATS được mô tả là lớp hệ thống hỗ trợ huấn luyện không đồng bộ và chịu lỗi. Kết quả được báo cáo là bằng chứng ban đầu đáng chú ý trên năm nhiệm vụ thực tế, trong đó có thử nghiệm với những robot không tham gia huấn luyện. 13
Dù vậy, các con số hiện vẫn là kết quả do nhóm nghiên cứu báo cáo, chưa phải kết quả được tái lập độc lập. Chúng cho thấy CEL hoạt động thế nào trong cấu hình thử nghiệm được nêu, nhưng chưa xác lập phương pháp sẽ chuyển giao hiệu quả ra sao sang loại robot, nhiệm vụ hay điều kiện triển khai khác.
Studio Global AI
Tiếp tục nghiên cứu của bạn
Trang này bao gồm câu trả lời dựa trên nguồn mà bạn có thể tiếp tục bên trong Studio Global.
Người ta cũng hỏi
Câu trả lời ngắn gọn cho "Khi robot học từ những lần làm thành công của đồng đội" là gì?
Collective Experience Learning (CEL) giúp robot đang vận hành chia sẻ kinh nghiệm để cùng cải thiện một chính sách, thay vì cần chuyên gia làm mẫu mới cho mỗi lần cập nhật.
Những điểm chính cần xác nhận đầu tiên là gì?
Collective Experience Learning (CEL) giúp robot đang vận hành chia sẻ kinh nghiệm để cùng cải thiện một chính sách, thay vì cần chuyên gia làm mẫu mới cho mỗi lần cập nhật. FERT dùng bối cảnh thất bại để tìm những đoạn thao tác thành công tương tự làm dữ liệu huấn luyện; FATS hỗ trợ quá trình huấn luyện không đồng bộ và chịu lỗi trên cả đội robot.