ОтветыОпубликовано17 источники
JD открыла исходный код EchoWM — ИИ-модели «мира, в который можно войти»
JD открыла исходный код JoyAI EchoWM и её четырёхшаговой потоковой версии EchoWM Flash на JDD 2026. Модели создают видео 720p вместе с синхронизированными звуками среды, музыкой и речью, пока пользователь перемещается по сгенерированной сцене.
ОпубликовалОтредактировано с помощью GPT-5.6 TerraИзображения созданы с помощью GPT Image 2
Ответ на исследование
Ключевые выводы
- JD открыла исходный код JoyAI EchoWM и её четырёхшаговой потоковой версии EchoWM Flash на JDD 2026.
- Модели создают видео 720p вместе с синхронизированными звуками среды, музыкой и речью, пока пользователь перемещается по сгенерированной сцене.
- В релизе сочетаются управляемая камерой генерация и планы JD по развитию физического ИИ: кластер на 100 000 GPU и сбор более 10 млн часов видеоданных из реального мира.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: What did JD.com announce at the September 10, 2026 JDDiscovery (JDD) conference about open-sourcing JoyAI-EchoWM—its interactive audiovisual. Article summary: JD announced that it is open-sourcing JoyAI‑EchoWM, an “enterable” interactive audiovisual world model, and EchoWM‑Flash, a faster four-step causal-streaming version. The release is best understood as part of JD’s physic. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Не ролик, а сцена для исследования
JD открыла исходный код JoyAI-EchoWM — интерактивной аудиовизуальной мировой модели, — а также EchoWM-Flash, её облегчённой четырёхшаговой потоковой версии. Идея отличается от обычной генерации готового видеоклипа: пользователь может менять направление и перемещаться внутри созданной сцены, а картинка и звук должны развиваться синхронно. 1
6
EchoWM генерирует видео в разрешении 720p вместе со звуками окружения, музыкой и речью. По замыслу разработчиков, это должен быть «входимый» цифровой мир: звук не накладывается на готовое видео отдельно, а меняется вместе со сценой и движением камеры. 1
2
Как работает управление
В основе системы лежит единое представление camera intent — «намерения камеры». Команды с клавиатуры или контроллера переводятся в непрерывную траекторию с шестью степенями свободы (6DoF): можно не только идти от первого лица, но и использовать камеру от третьего лица или режим следования за объектом. 1
11
Траектория камеры задаёт условия для генерации изображения, а события в сцене должны сопровождаться соответствующим аудио: шагами, ударами, репликами или музыкой. То есть модель пытается генерировать картинку и звук как единое событие, а не склеивать два независимых результата. 1
11
EchoWM-Flash: меньше шагов, быстрее отклик
EchoWM-Flash использует четырёхшаговую причинную потоковую генерацию. Её задача — сократить число шагов выборки и при этом сохранить отзывчивость при взаимодействии пользователя со сценой.
В опубликованных авторами результатах на наборе из 158 сценариев WBench Navigation средний балл EchoWM составил 81,7, а EchoWM-Flash — 81,0. Для основной модели заявлены 87,2 балла по взаимодействию и 89,8 по согласованности; у Flash показатель взаимодействия — 87,9. 1
Это результаты, представленные разработчиками в статье и бенчмарке, а не независимая проверка готовности моделей к любому промышленному сценарию реального времени. В репозитории WBench для JoyAI-Echo-1.5 (WM) указан результат 81,6, а для четырёхшаговой Flash-версии — 81,0; этим объясняется встречающаяся разница между 81,6 и 81,7. 15
Главное ограничение — память о пространстве
Модель поддерживает многошаговое исследование сцены, опираясь на короткое скользящее окно предыдущего аудиовизуального контекста. Это помогает продолжать уже начатую навигацию, однако не равнозначно хранению постоянной явной 3D-модели мира.
Поэтому при долгом перемещении возможны накопление пространственных ошибок и визуальный дрейф. Высокие результаты по интерактивности и согласованности не отменяют этого фундаментального ограничения контекстного подхода. 1
11
Данные, обучение и открытый код
В сопутствующей исследовательской работе описаны движок подготовки мировых данных и поэтапное обучение. Используются журналы игрового процесса, записи игры людей, симуляции на Unreal Engine с привязкой к позам и видео из интернета. Цель — научить одну систему связывать управляемое движение камеры, визуальную динамику и синхронную генерацию звука. 1
Статья JD содержит ссылку на публичный репозиторий кода jd-opensource/JoyAI-Echo, поэтому проект доступен исследователям и разработчикам, работающим с интерактивными мировыми моделями. 1
Часть стратегии «физического ИИ» JD
Релиз EchoWM представлен как элемент более широкой программы JD в области физического ИИ — от данных и вычислительной инфраструктуры до логистических операций. JD Cloud планирует создать отечественный кластер на 100 000 GPU для обучения больших моделей, инференса и задач embodied AI, а также собрать свыше 10 млн часов видеозаписей реальной человеческой деятельности. 18
22
Практическим элементом этой стратегии JD называет Meta Brain 3.0 в JD Logistics. По данным компании, система координирует решения в складской логистике, перевозках и доставке, сокращая расчёт оптимальных маршрутов для сотен миллионов посылок с минут до секунд. 18
22
Таким образом, открытие EchoWM — не финансовая новость, а шаг по созданию открытой исследовательской и модельной инфраструктуры для интерактивного и физического ИИ. Ключевое техническое обещание здесь — управляемая навигация камеры в сочетании с совместно сгенерированными видео и звуком; сохранение стабильной модели мира на длинной дистанции остаётся нерешённой задачей. 1
11
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «JD открыла исходный код EchoWM — ИИ-модели «мира, в который можно войти»»?
JD открыла исходный код JoyAI EchoWM и её четырёхшаговой потоковой версии EchoWM Flash на JDD 2026.
Какие ключевые моменты необходимо проверить в первую очередь?
JD открыла исходный код JoyAI EchoWM и её четырёхшаговой потоковой версии EchoWM Flash на JDD 2026. Модели создают видео 720p вместе с синхронизированными звуками среды, музыкой и речью, пока пользователь перемещается по сгенерированной сцене.
Что мне делать дальше на практике?
В релизе сочетаются управляемая камерой генерация и планы JD по развитию физического ИИ: кластер на 100 000 GPU и сбор более 10 млн часов видеоданных из реального мира.