Câu trả lờiĐã xuất bản17 nguồn
JD mở mã nguồn JoyAI-EchoWM, đưa âm thanh đồng bộ vào thế giới AI có thể điều khiển
JD công bố mã nguồn mở JoyAI EchoWM và biến thể phát trực tuyến nhân quả bốn bước EchoWM Flash tại JDD 2026. Giao diện “ý định camera” chuyển lệnh từ bàn phím hoặc tay cầm thành quỹ đạo camera liên tục 6 bậc tự do, phục vụ cả góc nhìn thứ nhất lẫn thứ ba.
Đăng bởiBiên tập bằng GPT-5.6 TerraHình ảnh được tạo bằng GPT Image 2
Câu trả lời nghiên cứu
Bài học chính
- JD công bố mã nguồn mở JoyAI EchoWM và biến thể phát trực tuyến nhân quả bốn bước EchoWM Flash tại JDD 2026.
- Giao diện “ý định camera” chuyển lệnh từ bàn phím hoặc tay cầm thành quỹ đạo camera liên tục 6 bậc tự do, phục vụ cả góc nhìn thứ nhất lẫn thứ ba.
- Đây là một phần trong định hướng AI vật lý của JD, đi cùng kế hoạch cụm 100.000 GPU nội địa và hơn 10 triệu giờ video hoạt động của con người trong bối cảnh thực.
Prompt AI
openai.comCreate a landscape editorial hero image for this Studio Global article: What did JD.com announce at the September 10, 2026 JDDiscovery (JDD) conference about open-sourcing JoyAI-EchoWM—its interactive audiovisual. Article summary: JD announced that it is open-sourcing JoyAI‑EchoWM, an “enterable” interactive audiovisual world model, and EchoWM‑Flash, a faster four-step causal-streaming version. The release is best understood as part of JD’s physic. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Thay vì chỉ tạo một đoạn video để người xem bấm phát, JoyAI-EchoWM của JD hướng đến một thế giới AI mà người dùng có thể “bước vào” và di chuyển bên trong. Khi góc nhìn đổi hướng hoặc tiến về phía trước, hình ảnh lẫn âm thanh được tạo tiếp cùng lúc. JD đã công bố mã nguồn mở mô hình này tại JDD 2026, đồng thời giới thiệu EchoWM-Flash, phiên bản phát trực tuyến nhân quả chỉ dùng bốn bước lấy mẫu. 1
6
Không chỉ sinh video, mà tạo một cảnh có thể khám phá
EchoWM tạo video độ phân giải 720p đồng thời với âm thanh môi trường, nhạc và lời nói đồng bộ. Ý tưởng cốt lõi là âm thanh không được ghép vào sau khi video hoàn tất: nó phải thay đổi cùng bối cảnh, chuyển động camera và diễn biến trong cảnh. 1
2
Chẳng hạn, khi nhân vật hoặc camera di chuyển, hệ thống được thiết kế để tạo tiếng bước chân; một va chạm có thể đi cùng âm thanh tương ứng; lời thoại hoặc nhạc cũng có thể xuất hiện phù hợp với diễn biến hình ảnh. 1
11
Để người dùng điều khiển cảnh, mô hình dùng biểu diễn thống nhất gọi là “ý định camera”. Lệnh từ bàn phím hoặc tay cầm được chuyển thành quỹ đạo camera liên tục với 6 bậc tự do (6-DoF): ba chiều tịnh tiến và ba chiều xoay. Nhờ đó, cùng một cơ chế điều khiển có thể phục vụ việc đi lại ở góc nhìn thứ nhất, góc nhìn thứ ba hoặc kiểu camera bám theo chủ thể. 1
11
EchoWM-Flash: giảm bước lấy mẫu để phản hồi nhanh hơn
EchoWM-Flash là biến thể phát trực tuyến nhân quả bốn bước, được xây dựng để giảm số bước lấy mẫu trong khi vẫn giữ khả năng phản hồi cho tương tác. Trên bộ 158 tình huống của WBench Navigation, bài báo của nhóm nghiên cứu báo cáo EchoWM đạt điểm trung bình 81,7, còn EchoWM-Flash đạt 81,0. Điểm tương tác và tính nhất quán được báo cáo của EchoWM lần lượt là 87,2 và 89,8; Flash đạt 87,9 ở hạng mục tương tác. 1
Các con số này là kết quả benchmark do nhóm phát triển và bài báo công bố, không phải xác nhận độc lập rằng mô hình đã sẵn sàng cho mọi tình huống sản xuất thời gian thực. Kho lưu trữ WBench ghi JoyAI-Echo-1.5 (WM) ở mức 81,6 và phiên bản Flash bốn bước ở mức 81,0; điều này lý giải chênh lệch nhỏ giữa mốc 81,6 và 81,7 trong các nguồn công bố. 15
Có thể tiếp tục khám phá, nhưng chưa có “bản đồ 3D” bền vững
EchoWM hỗ trợ tương tác nhiều lượt bằng cách dựa vào một cửa sổ ngữ cảnh nghe nhìn gần nhất để tiếp tục tạo nội dung. Cách làm này giúp cảnh tiếp diễn theo quá trình người dùng điều hướng, nhưng không đồng nghĩa mô hình đang duy trì một biểu diễn 3D tường minh, lâu bền của toàn bộ thế giới.
Đây là giới hạn quan trọng đối với các hành trình dài: khi thiếu bộ nhớ 3D bền vững, tính nhất quán không gian hoặc hình ảnh có thể trôi dần theo thời gian. Kết quả JD báo cáo cho thấy ưu thế ở các chỉ số tương tác và nhất quán trong benchmark, song duy trì thế giới ổn định trên thời lượng dài vẫn là bài toán mở. 1
11
Dữ liệu huấn luyện và khả năng tiếp cận công khai
Bài nghiên cứu mô tả một “động cơ dữ liệu thế giới” cùng quy trình huấn luyện theo nhiều giai đoạn. Dữ liệu gồm nhật ký chơi game, cảnh quay người chơi, mô phỏng dựa trên Unreal Engine có gắn thông tin tư thế, và video trên internet. Mục tiêu là liên kết điều khiển chuyển động camera, diễn biến hình ảnh và quá trình sinh âm thanh đồng bộ trong một mô hình. 1
JD cũng dẫn liên kết đến kho mã công khai jd-opensource/JoyAI-Echo, khiến dự án đáng chú ý với các nhà nghiên cứu và lập trình viên đang thử nghiệm mô hình thế giới tương tác. 1
Mảnh ghép trong chiến lược AI vật lý của JD
EchoWM được giới thiệu trong một chương trình AI vật lý rộng hơn của JD, trải từ dữ liệu, hạ tầng tính toán, mô hình tới vận hành logistics. JD Cloud cho biết họ đặt mục tiêu xây dựng cụm 100.000 GPU phát triển trong nước phục vụ huấn luyện mô hình lớn, suy luận và khối lượng công việc AI hiện thân; đồng thời thu thập hơn 10 triệu giờ video về hoạt động của con người trong thế giới thực. 18
22
Ở phía vận hành, Meta Brain 3.0 của JD Logistics được định vị là hệ thống điều phối quyết định xuyên suốt kho bãi, vận tải và giao hàng. JD cho biết hệ thống này rút thời gian tính tuyến đường tối ưu cho hàng trăm triệu kiện hàng từ vài phút xuống vài giây. 18
22
Vì vậy, việc mở mã nguồn EchoWM nên được nhìn nhận chủ yếu là bước đi về mô hình mở và hạ tầng nghiên cứu cho AI tương tác, AI vật lý — không phải thông báo huy động vốn. Điểm đáng chú ý nhất về mặt kỹ thuật là nỗ lực kết hợp điều hướng camera có thể kiểm soát với việc tạo chung video và âm thanh, đồng thời thừa nhận rõ rằng tính nhất quán của thế giới ở thời lượng dài vẫn chưa được giải quyết hoàn toàn. 1
11
Studio Global AI
Tiếp tục nghiên cứu của bạn
Trang này bao gồm câu trả lời dựa trên nguồn mà bạn có thể tiếp tục bên trong Studio Global.
Người ta cũng hỏi
Câu trả lời ngắn gọn cho "JD mở mã nguồn JoyAI-EchoWM, đưa âm thanh đồng bộ vào thế giới AI có thể điều khiển" là gì?
JD công bố mã nguồn mở JoyAI EchoWM và biến thể phát trực tuyến nhân quả bốn bước EchoWM Flash tại JDD 2026.
Những điểm chính cần xác nhận đầu tiên là gì?
JD công bố mã nguồn mở JoyAI EchoWM và biến thể phát trực tuyến nhân quả bốn bước EchoWM Flash tại JDD 2026. Giao diện “ý định camera” chuyển lệnh từ bàn phím hoặc tay cầm thành quỹ đạo camera liên tục 6 bậc tự do, phục vụ cả góc nhìn thứ nhất lẫn thứ ba.
Tôi nên làm gì tiếp theo trong thực tế?
Đây là một phần trong định hướng AI vật lý của JD, đi cùng kế hoạch cụm 100.000 GPU nội địa và hơn 10 triệu giờ video hoạt động của con người trong bối cảnh thực.