AnswersPublished17 sources
JD פתחה את JoyAI-EchoWM: מודל עולם שבו הווידאו והקול מגיבים לתנועה
JD הכריזה בכנס JDD 2026 על פתיחת הקוד של JoyAI EchoWM ושל EchoWM Flash, גרסת סטרימינג סיבתית בארבעה צעדים. ממשק "כוונת מצלמה" אחיד ממיר פקודות ממקלדת או מבקר למסלולי מצלמה רציפים בשישה ממדי חופש, עבור ניווט בגוף ראשון וגם זוויות גוף שלישי.
פורסם על ידינערך באמצעות GPT-5.6 Terraהתמונות נוצרו באמצעות GPT Image 2
Research answer
Key takeaways
- JD הכריזה בכנס JDD 2026 על פתיחת הקוד של JoyAI EchoWM ושל EchoWM Flash, גרסת סטרימינג סיבתית בארבעה צעדים.
- ממשק "כוונת מצלמה" אחיד ממיר פקודות ממקלדת או מבקר למסלולי מצלמה רציפים בשישה ממדי חופש, עבור ניווט בגוף ראשון וגם זוויות גוף שלישי.
- המהלך הוא חלק מתוכנית ה־Physical AI של JD, הכוללת יעד לאשכול מקומי של 100 אלף מעבדי GPU ואיסוף של יותר מ־10 מיליון שעות וידאו מפעילות אנושית בעולם האמיתי.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did JD.com announce at the September 10, 2026 JDDiscovery (JDD) conference about open-sourcing JoyAI-EchoWM—its interactive audiovisual. Article summary: JD announced that it is open-sourcing JoyAI‑EchoWM, an “enterable” interactive audiovisual world model, and EchoWM‑Flash, a faster four-step causal-streaming version. The release is best understood as part of JD’s physic. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
לא עוד סרטון קבוע: עולם שאפשר להיכנס אליו
JD הכריזה בכנס JDDiscovery (JDD) 2026 על פתיחת הקוד של JoyAI-EchoWM, מודל עולם אינטראקטיבי לאודיו ולווידאו, ושל EchoWM-Flash — גרסה קלה יותר הפועלת בסטרימינג סיבתי בארבעה צעדים. במקום להפיק קטע וידאו סגור מראש, המודלים מיועדים לאפשר למשתמש לנוע בתוך סצנה שנוצרה בידי בינה מלאכותית, כאשר התמונה והקול משתנים יחד עם הניווט. 1
6
EchoWM מפיק וידאו ברזולוציית 720p לצד צלילי סביבה, מוזיקה ודיבור מסונכרנים. הרעיון הוא ליצור עולם שאפשר "להיכנס" אליו: כשמשתמש משנה כיוון או מתקדם בסצנה, המודל מעדכן גם את הווידאו וגם את האודיו — ולא פשוט מצרף פסקול לאחר יצירת התמונה. 1
2
שליטה במצלמה, עם קול שתואם למה שקורה
בלב המערכת נמצא ייצוג אחיד של "כוונת מצלמה". הוא ממיר פקודות ממקלדת או מבקר למסלולי מצלמה רציפים בעלי שישה ממדי חופש (6DoF): תנועה וסיבוב לאורך שלושה צירים. כך אפשר לנווט מנקודת מבט בגוף ראשון, או להשתמש בזוויות מצלמה בגוף שלישי ובמצב מעקב אחר דמות. 1
11
מסלול המצלמה מנחה את יצירת התמונה, ואירועים בסצנה אמורים להוליד צליל מתאים — למשל צעדים, פגיעות, דיאלוג או מוזיקה. השאיפה היא שהקול והתמונה ייווצרו כיחידה אחת ויגיבו יחד לפעולות המשתמש. 1
11
EchoWM-Flash: פחות צעדים, תגובה מהירה יותר
EchoWM-Flash היא גרסת הסטרימינג הסיבתית בארבעה צעדים, שנועדה לצמצם את מספר צעדי הדגימה ועדיין לשמור על יצירה אינטראקטיבית ותגובתית. בבדיקת WBench Navigation, הכוללת 158 מקרי ניווט, EchoWM קיבלה ציון ממוצע של 81.7, ו־EchoWM-Flash קיבלה 81.0. ל־EchoWM דווחו ציוני אינטראקציה ועקביות של 87.2 ו־89.8 בהתאמה; לגרסת Flash דווח ציון אינטראקציה של 87.9. 1
חשוב לקרוא את המספרים הללו כתוצאות בנצ'מרק שדווחו בידי מפתחי המודל ובמאמר המחקר, ולא כהוכחה בלתי תלויה לכך שהמודלים מתאימים לכל שימוש הפקה בזמן אמת. מאגר WBench הנפרד מציג את JoyAI-Echo-1.5 (WM) עם 81.6 ואת גרסת Flash בארבעה צעדים עם 81.0 — ומכאן הפער הקטן בין הדיווחים על 81.6 ו־81.7. 15
המגבלה המרכזית: אין זיכרון תלת־ממדי מתמשך
EchoWM תומך בחקירה רב־שלבית באמצעות התניה על חלון קצר של הקשר אודיו־ויזואלי מהשלבים האחרונים. המנגנון מאפשר להמשיך רצף ניווט, אך אינו שקול לשמירה של ייצוג תלת־ממדי מפורש וקבוע של העולם.
הפער הזה משמעותי: ללא זיכרון תלת־ממדי מתמשך, חקירה ארוכה עלולה לצבור סטיות מרחביות או חזותיות. התוצאות ש־JD דיווחה עליהן מצביעות על חוזקות באינטראקציה ובעקביות בבנצ'מרק, אך רציפות המבוססת על הקשר קצר נותרת מגבלה מעשית בניווט ממושך. 1
11
איך המודל אומן — והיכן הוא זמין
במחקר הנלווה מתואר מנוע נתוני־עולם ותהליך אימון מדורג, המבוססים על יומני משחק, צילומי משחק של בני אדם, סימולציות מבוססות Unreal Engine עם נתוני תנוחה, וסרטוני אינטרנט. המטרה היא לחבר בין תנועת מצלמה שניתן לשלוט בה, דינמיקה חזותית ויצירת קול מסונכרנת באותו מודל. 1
המאמר של JD מפנה למאגר הקוד הציבורי jd-opensource/JoyAI-Echo, ולכן ההשקה רלוונטית לחוקרים ולמפתחים הבוחנים מערכות של מודלי עולם אינטראקטיביים. 1
חלק ממהלך רחב יותר של Physical AI
EchoWM הוצג כרכיב אחד במאמץ הרחב של JD בתחום ה־Physical AI — בינה מלאכותית שמיועדת להבין ולפעול בהקשרים פיזיים — על פני נתונים, מחשוב, מודלים ותפעול לוגיסטי. JD Cloud מסרה כי היא מתכננת להקים אשכול שפותח מקומית בהיקף של 100 אלף מעבדי GPU לאימון מודלים גדולים, הסקה ועומסי עבודה של בינה מלאכותית גופנית (embodied AI), וכן לאסוף יותר מ־10 מיליון שעות וידאו המתעדות פעילות אנושית בעולם האמיתי. 18
22
המקבילה התפעולית היא Meta Brain 3.0 של JD Logistics. לפי JD, המערכת מתאמת קבלת החלטות במחסנים, בהובלה ובמסירה, ומקצרת את זמן חישוב המסלולים המיטביים עבור מאות מיליוני חבילות מדקות לשניות. 18
22
במבט רחב, פתיחת EchoWM היא מהלך של מודל פתוח ותשתית מחקר לפיתוח מערכות אינטראקטיביות ו־Physical AI — לא הודעת גיוס הון. ההבטחה הטכנולוגית הבולטת פשוטה: לחבר ניווט מצלמה נשלט עם וידאו וקול שנוצרים יחד, תוך הכרה בכך שעקביות של עולם לאורך זמן עדיין נותרה בעיה פתוחה. 1
11
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "JD פתחה את JoyAI-EchoWM: מודל עולם שבו הווידאו והקול מגיבים לתנועה"?
JD הכריזה בכנס JDD 2026 על פתיחת הקוד של JoyAI EchoWM ושל EchoWM Flash, גרסת סטרימינג סיבתית בארבעה צעדים.
What are the key points to validate first?
JD הכריזה בכנס JDD 2026 על פתיחת הקוד של JoyAI EchoWM ושל EchoWM Flash, גרסת סטרימינג סיבתית בארבעה צעדים. ממשק "כוונת מצלמה" אחיד ממיר פקודות ממקלדת או מבקר למסלולי מצלמה רציפים בשישה ממדי חופש, עבור ניווט בגוף ראשון וגם זוויות גוף שלישי.
What should I do next in practice?
המהלך הוא חלק מתוכנית ה־Physical AI של JD, הכוללת יעד לאשכול מקומי של 100 אלף מעבדי GPU ואיסוף של יותר מ־10 מיליון שעות וידאו מפעילות אנושית בעולם האמיתי.