Omega-0: Mô hình giúp robot hình người phối hợp bước đi, thị giác và đôi tay

Omega-0 (ω-0) là một mô hình world action toàn thân dành cho robot hình người. Thay vì coi việc đi bộ và thao tác đồ vật là hai bài toán tách biệt, mô hình cố gắng điều phối chúng trong cùng một chính sách: robot có thể di chuyển phần đế, thay đổi tư thế và góc nhìn, giữ thăng bằng rồi sử dụng đôi tay để hoàn thành nhiệm vụ. 1

Điểm cốt lõi của cách tiếp cận này là dự đoán các đặc trưng thị giác trong tương lai, thay vì lập tức tạo ra một quỹ đạo dài đã được định sẵn. Nói đơn giản, Omega-0 ước tính robot sẽ nhìn thấy gì sau một hành động, rồi dùng dự đoán đó để chọn các chuyển động phù hợp. Những kết quả dưới đây đến từ công trình nghiên cứu của nhóm tác giả, vì vậy nên được hiểu là các tuyên bố được báo cáo trong bài nghiên cứu, chưa phải một benchmark đã được xác nhận độc lập. 1

Kiến trúc ba giai đoạn của Omega-0

1. Nén chuyển động toàn thân và học biểu diễn

Ở giai đoạn đầu, một Whole-Body FAST tokenizer chuyển các chuyển động toàn thân có số chiều lớn thành những action token hoặc latent nhỏ gọn hơn. Việc nén này giúp mô hình dễ biểu diễn các chuyển động phức tạp, chẳng hạn như phối hợp chân, thân người và cánh tay trong cùng một chuỗi hành động. 1

Song song với đó, các nhà nghiên cứu điều chỉnh backbone thị giác-ngôn ngữ Qwen3-VL-2B-Instruct cho môi trường robot. Quá trình huấn luyện sử dụng các token có thể học được để phân biệt:

• góc nhìn egocentric, tức góc nhìn thứ nhất từ camera gắn trên robot;
• góc nhìn exocentric, tức góc nhìn thứ ba từ một camera bên ngoài.

Nhờ vậy, mô hình có thể tận dụng thông tin quan sát toàn cảnh từ camera bên ngoài trong lúc huấn luyện, nhưng khi triển khai vẫn dựa chủ yếu vào góc nhìn của chính robot. 1

2. Dự đoán robot sẽ nhìn thấy gì trước khi hành động

Ở giai đoạn thứ hai, Omega-0 sử dụng mục tiêu huấn luyện lấy cảm hứng từ V-JEPA. Mô hình kết hợp thông tin hình ảnh, chỉ dẫn ngôn ngữ và proprioception — các phép đo phản ánh trạng thái bên trong của robot — để dự đoán những đặc trưng thị giác trong tương lai, thay vì cố tái tạo từng pixel của khung hình tiếp theo. 1

Sau đó, một diffusion transformer dùng các biểu diễn tương lai này để tạo ra chuỗi whole-body action latent tương thích với bộ điều khiển của robot. Ý tưởng là robot không chỉ chọn một chuyển động vì nó có vẻ khả thi về mặt cơ học, mà còn vì chuyển động đó được dự đoán sẽ đưa robot tới một trạng thái quan sát hữu ích.

Ví dụ, robot có thể trước tiên bước sang vị trí phù hợp, xoay thân và camera về phía đồ vật, giữ thăng bằng rồi mới vươn tay để nắm hoặc di chuyển đồ vật đó. 1

3. Gắn mô hình vào robot và tinh chỉnh trong nhà thực tế

Ở giai đoạn thứ ba, các video trình diễn của con người được chuyển sang không gian action latent của robot thông qua quá trình grounding dựa trên mô phỏng. Hệ thống sau đó được thích nghi bằng dữ liệu thực tế, trong đó robot hình người thực hiện các nhiệm vụ gia đình. 1

Khi vận hành, Omega-0 không cố định toàn bộ lộ trình của một nhiệm vụ dài ngay từ đầu. Mô hình tạo ra một action chunk ngắn, thực hiện chuỗi hành động đó, quan sát môi trường lần nữa rồi lập kế hoạch lại. Cách vận hành theo kiểu receding horizon giúp robot sửa hướng dựa trên thông tin thị giác và proprioception mới, thay vì bám theo một quỹ đạo open-loop đã được lập hoàn toàn từ trước. 1

Omega-HOME có gì đặc biệt?

Để huấn luyện và đánh giá, công trình giới thiệu Omega-HOME, bộ dữ liệu về các tương tác gia đình thực tế do robot hình người thực hiện. Bộ dữ liệu gồm 40,3 giờ dữ liệu, 4.827 tập điều khiển từ xa và 24 nhiệm vụ gia đình, được ghi ở tốc độ 30 Hz. 1

Dữ liệu được đồng bộ và bao gồm:

• chỉ dẫn bằng ngôn ngữ;
• hình ảnh RGB egocentric từ camera của robot;
• hình ảnh RGB-D exocentric từ camera ZED;
• trạng thái proprioception của robot;
• tham chiếu chuyển động toàn thân;
• action latent tương thích với bộ điều khiển. 1

Các nhiệm vụ được chia thành tám nhóm năng lực:

• tìm và lấy đồ vật;
• làm sạch bề mặt;
• tương tác với thiết bị gia dụng;
• chuyển đồ vật giữa các vật chứa;
• xử lý vải vóc;
• sắp xếp đồ vào khu vực lưu trữ;
• mobile manipulation, tức vừa di chuyển vừa thao tác;
• sử dụng công cụ để thực hiện các công việc trên sàn. 1

Điểm đáng chú ý là dữ liệu không chỉ xoay quanh việc gắp đồ vật trên một mặt bàn cố định. Robot phải di chuyển phần đế, thay đổi tư thế và thân người, giữ thăng bằng, đồng thời thao tác với đồ nội thất, vật dụng hoặc công cụ trong những chuỗi hành động dài hơn. 1

Nhóm nghiên cứu xử lý nguy cơ “nhiễm” dữ liệu benchmark ra sao?

Theo quy trình được mô tả trong công trình, 11 loại nhiệm vụ dùng để đánh giá đã được loại khỏi dữ liệu huấn luyện của Omega-HOME. Phần dữ liệu robot còn lại được kết hợp với các video trình diễn công khai của con người để tiền huấn luyện. Dữ liệu thu thập trong nhà thực tế sau đó được dùng cho quá trình grounding và post-training. 1

Cách chia dữ liệu này giúp giảm nguy cơ mô hình chỉ ghi nhớ những màn trình diễn giống hệt dữ liệu kiểm thử. Tuy nhiên, đây không phải bảo đảm tuyệt đối cho khả năng khái quát hóa. Vẫn có thể tồn tại điểm tương đồng về căn phòng, đồ vật, cấu trúc nhiệm vụ, phần cứng hoặc phương thức thu thập dữ liệu giữa tập huấn luyện và tập kiểm thử.

Một phép thử nghiêm ngặt hơn sẽ là tái tạo độc lập trong những ngôi nhà mới và trên các nền tảng robot hình người khác nhau.

Omega-0 đạt 81,8% trong 11 nhiệm vụ tại nhà

Trong 11 nhiệm vụ loco-manipulation tại nhà thực tế, nhóm tác giả báo cáo tỷ lệ thành công trung bình 81,8% cho Omega-0. Đây là một mô hình thống nhất, thay vì sử dụng chính sách riêng cho từng nhiệm vụ, các action head khác nhau hoặc những module độc lập cho việc đi bộ và thao tác. 1

Các bài kiểm tra bao gồm thao tác trên mặt bàn, làm sạch, giặt là, chuyển đồ vật, tương tác với thiết bị gia dụng và mobile manipulation. Công trình cũng báo cáo rằng Omega-0 vượt qua các baseline được so sánh là π-0.5, EgoVLA, GR00T-N1.7 và ψ-0 trong bộ kiểm thử này. 1

Tuy vậy, tài liệu hiện có không trình bày đủ rõ các tỷ lệ tổng hợp chính xác của từng baseline. Vì thế, kết luận thận trọng nhất là ghi nhận thứ hạng do bài nghiên cứu báo cáo cùng con số 81,8% của Omega-0, thay vì đưa ra một bảng so sánh số học chi tiết chưa được nguồn cung cấp đầy đủ. 1

81,8% nói lên điều gì về embodied AI?

Đóng góp chính của Omega-0 nằm ở kiến trúc. Công trình cho thấy một hướng tiếp cận trong đó việc dự đoán các latent cảm nhận tương lai có thể kết nối video trình diễn của con người, ngôn ngữ, thị giác, proprioception và điều khiển toàn thân robot. 1

Thay vì chỉ học câu hỏi “với hình ảnh này thì nên thực hiện chuyển động nào?”, mô hình cố gắng liên kết chuyển động với trạng thái mà chuyển động đó sẽ tạo ra. Điều này đặc biệt hữu ích trong những nhiệm vụ mà robot phải đồng thời quyết định nên đứng ở đâu, nhìn về hướng nào và dùng tay ra sao.

Dẫu vậy, kết quả này không có nghĩa robot hình người đã sẵn sàng hoạt động tự do trong mọi gia đình. Một số thách thức lớn vẫn chưa được giải quyết:

• Độ tin cậy trong thời gian dài: tỷ lệ thành công trên 11 nhiệm vụ chưa chứng minh robot có thể hoạt động ổn định trong nhiều giờ, tự phục hồi sau các lỗi tích lũy hoặc hoàn thành một chuỗi dài gồm nhiều mục tiêu phụ phụ thuộc lẫn nhau.
• An toàn: tương tác với con người, đồ vật dễ vỡ, cầu thang, không gian bừa bộn, thú nuôi và các chuyển động bất ngờ đòi hỏi cơ chế bảo vệ rõ ràng, xử lý độ bất định và kiểm chứng ở cấp phần cứng.
• Khả năng khái quát hóa: kết quả trên đồ vật và bối cảnh được giữ lại để kiểm thử là tín hiệu đáng khích lệ, nhưng chưa giải quyết việc chuyển sang những ngôi nhà, điều kiện ánh sáng, cách bố trí, thói quen đặt đồ hoặc hình thái robot khác nhau. 1
• Khả năng thích nghi: một ngôi nhà luôn thay đổi. Hệ thống thực tế cần phát hiện thất bại, biết khi nào nên yêu cầu con người hỗ trợ, học một cách an toàn và thích nghi mà không phải huấn luyện lại với chi phí lớn.

Kết luận chính xác nhất là Omega-0 đánh dấu một bước tiến đáng chú ý hướng tới việc phối hợp thống nhất giữa di chuyển và thao tác trên robot hình người. Con số 81,8% là một kết quả nghiên cứu mạnh trong benchmark cụ thể này, chứ chưa phải bằng chứng rằng robot đã có thể thực hiện đáng tin cậy mọi công việc gia đình mà không cần giám sát.