AnswersPublished21 sources
Thinker-WM: як UBTECH об’єднала відео, геометрію та керування роботом
Thinker WM — мультимодальна модель світу, яка спільно обробляє та генерує RGB відео, метричну глибину й дії робота. У статті на arXiv описано окремі енкодери для кожної модальності, спільний латентний простір і Unified Dynamics Transformer; окремі декодери формують відповідні результати.
ОпублікувавВідредаговано за допомогою GPT-6 LunaЗображення створено за допомогою GPT Image 2
Research answer
Key takeaways
- Thinker WM — мультимодальна модель світу, яка спільно обробляє та генерує RGB відео, метричну глибину й дії робота.
- У статті на arXiv описано окремі енкодери для кожної модальності, спільний латентний простір і Unified Dynamics Transformer; окремі декодери формують відповідні результати.
- За заявою UBTECH, модель посіла перше місце на WorldOlympiad, EWMBench і WorldArena 1.0 Track 1.
- У тесті RoboTwin додавання глибини, за повідомленням про абляцію, підвищило успішність одного маніпуляційного завдання на 15 відсоткових пунктів.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is UBTECH’s Thinker WM, as detailed on October 17, 2026, and how does its arXiv documented architecture unify RGB video, metric depth a. Article summary: Thinker WM is UBTECH’s unified multimodal world model: it jointly models and generates RGB video, metric depth and robot actions, rather than treating visual prediction, geometry and control as independent systems.. Topic tags: general web, ai safety, ai, productivity, code. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts wit
Thinker-WM — модель «світу» для роботів, розроблена UBTECH: вона має не лише створювати прогноз майбутнього відео, а й пов’язувати його з геометрією сцени та діями робота. Технічна стаття, оприлюднена на arXiv, описує систему, що спільно моделює RGB-відео, метричну глибину та роботизовані дії. 1
Це важливо для втіленого ШІ — систем, які сприймають фізичне середовище й діють у ньому. Якщо модель навчається бачити, як рух змінює сцену, і водночас враховує її геометрію, то відео, оцінка відстаней і керувальні дії не мусять бути ізольованими етапами.
Як влаштована модель
Кожна модальність — відео, глибина чи дія — надходить через власний енкодер. Далі дані переводяться у спільний латентний простір, де їх разом обробляє Unified Dynamics Transformer. Окремі декодери перетворюють спільне представлення назад на відео, карти глибини або дії, які може виконати робот. 1
2
3
17
Отже, спільною є не форма всіх даних, а їхнє внутрішнє представлення: вигляд сцени, її геометрія та рух опрацьовуються разом, тоді як вихідні формати залишаються різними. 17
Такий підхід протиставляється схемам, у яких прогноз відео, геометричну оцінку та керування з’єднують окремими інтерфейсами або додатковими модулями. Ідея Thinker-WM — навчати взаємозв’язки між ними всередині спільної моделі. Однак доступні описи самі по собі не доводять, що така архітектура завжди дешевша, швидша чи надійніша в реальному розгортанні. 14
Які результати заявила UBTECH
16 жовтня 2026 року UBTECH повідомила про перші місця Thinker-WM на трьох тестах; про заяву писали наступного дня. Наведені нижче результати — саме заяви компанії, а не незалежне підтвердження поточного стану рейтингів. 7
- WorldOlympiad: загальна оцінка — 0,740. За повідомленням, модель отримала 0,531 за 3D-узгодженість і 0,765 за точність взаємодії; ці два показники також були найкращими серед учасників. Тест спирається на дані взаємодії з реальними роботами — понад десять типів роботизованих платформ і кілька конфігурацій камер — та оцінює узагальнення між різними корпусами й ракурсами.
7
12
- EWMBench: загальний результат — 4,66, за заявою UBTECH — перше місце. У матеріалах компанії Thinker-WM також описано як модель, що випередила Qwen-RobotWorld і Sora 2; числових результатів цих моделей у доступних уривках немає. Повідомлялося про сильні показники зіставлення траєкторій і узгодженості динаміки, зокрема за метриками nDTW та Dyn, але конкретних підсумкових балів для них не наведено.
6
13
- WorldArena 1.0 Track-1: повідомлялося про загальне лідерство за 12 вимірами оцінювання. Цей Track-1 описують як тест у симуляційному середовищі. Повного переліку показників і балів за кожним із них у наявних матеріалах немає.
Навіщо моделі глибина
В абляційному тесті RoboTwin додавання глибини підвищило успішність виконання одного завдання з маніпуляції на 15 відсоткових пунктів. Це абсолютна різниця в пунктах, а не відносне зростання на 15%. У доступному уривку не наведено початкового та підсумкового рівнів успішності, тож оцінити їх окремо неможливо. 16
Результат узгоджується із задумом архітектури: глибина дає моделі інформацію про просторові відстані, яку звичайне RGB-зображення безпосередньо не кодує. Водночас один абляційний результат не доводить, що цей ефект буде таким самим для інших завдань чи роботів.
Навчальні дані та режими роботи: що відомо
Картка моделі вказує приблизно 20 000 годин відео від першої особи та 10 000 годин роботизованих даних — разом близько 30 000 годин. Окремо згадується приблизно 4 000 годин даних із вирівняним наглядом за глибиною. Наявного опису недостатньо, щоб надійно відновити повний поділ роботизованих даних на реальні й симуляційні або розкласти відео за доменами на кшталт дому, роздрібної торгівлі та фабрик. 4
У матеріалах також ідеться про шість можливостей, які підтримує одна модель зі спільними вагами. Однак доступні уривки не перелічують усі точні комбінації вхідних даних і результатів. Стаття на arXiv називає спільну генерацію відео й дій та інші функції, але наявного опису недостатньо, щоб підтвердити повний список режимів, зокрема чітке розмежування перетворення відео на дію та оберненої динаміки. 12
17
Так само в доступних матеріалах не підтверджені деталі про формат дій у вигляді поз робочого органа, позначки для різних типів роботів і процедури Data Factory — від вибірки даних та багаторівневої перевірки якості до узгодження відео з глибиною.
Чого не доводить тест із руховим пробником
У деяких описах порушується питання про невеликий пробник, навчений на заморожених візуальних ознаках, який мав би відновлювати переміщення робочого органа. Однак доступні уривки не містять достатніх подробиць про навчання, результати чи базові моделі для порівняння.
Якщо за нерухомими візуальними ознаками вдається відновити переміщення, це може свідчити, що вони містять інформацію про рух. Саме по собі це не доводить ані причинного розуміння фізики, ані надійного керування роботом.
Підсумок: найкраще підтверджена частина Thinker-WM — архітектурна ідея спільно моделювати відео, глибину та дії, а також оголошені UBTECH результати трьох тестів. Детальний опис усіх режимів, навчального конвеєра й експерименту з пробником у доступних матеріалах лишається неповним.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Thinker-WM: як UBTECH об’єднала відео, геометрію та керування роботом"?
Thinker WM — мультимодальна модель світу, яка спільно обробляє та генерує RGB відео, метричну глибину й дії робота.
What are the key points to validate first?
Thinker WM — мультимодальна модель світу, яка спільно обробляє та генерує RGB відео, метричну глибину й дії робота. У статті на arXiv описано окремі енкодери для кожної модальності, спільний латентний простір і Unified Dynamics Transformer; окремі декодери формують відповідні результати.
What should I do next in practice?
За заявою UBTECH, модель посіла перше місце на WorldOlympiad, EWMBench і WorldArena 1.0 Track 1.
Sources
arxiv.orgThinker-WM: A Unified World Model with Shared Multimodal Representations for Embodied Intelligence
note.comRobot & AI Technology Daily Report October 17, 2026
autonews.gasgoo.comUBTECH Thinker-WM Ranks First in Three Major Embodied World Model Benchmarks