ОтветыОпубликовано16 источники
Как фреймворк HOST меняет обучение роботов
По данным авторов, HOST осваивал манипуляционные навыки по одному 29 секундному видео и достигал средней успешности 62% с первой попытки; у дообучаемого базового метода показатель составил 38% после примерно 50 демонс... Система не копирует движения человека и не обновляет веса модели: она прогнозирует результат зад...
ОпубликовалОтредактировано с помощью GPT-5.6 LunaИзображения созданы с помощью GPT Image 1.5
Ответ на исследование
Ключевые выводы
- По данным авторов, HOST осваивал манипуляционные навыки по одному 29 секундному видео и достигал средней успешности 62% с первой попытки; у дообучаемого базового метода показатель составил 38% после примерно 50 демонс...
- Система не копирует движения человека и не обновляет веса модели: она прогнозирует результат задачи с точки зрения самого робота, а затем генерирует действия для его достижения.
- Подход может приблизить embodied AI к моделям, которые заранее обучаются широкому набору навыков, а на этапе выполнения быстро адаптируются к новой задаче без повторного телеуправления и обучения под каждую операцию.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: How does X Square Robot’s open-sourced HOST framework change embodied-AI training by enabling a humanoid robot to watch a 29-second human de. Article summary: HOST’s important shift is from task-specific retraining to inference-time skill acquisition: rather than gathering a new teleoperation dataset and updating model weights, the robot conditions on one human video, translat. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Главная идея HOST — сокращение от Human-to-robot One-Shot Skill AcquisiTion, то есть «одношаговое освоение навыка от человека роботом» — не в том, что робот внезапно научился выполнять любые домашние дела. Важнее другое: новую физическую задачу предлагают обрабатывать скорее как запрос к уже обученной системе, чем как отдельный многодневный проект по сбору данных и дообучению.
Роботу показывают одно видео с демонстрацией человека. Затем система интерпретирует цель с учётом собственной камеры, кинематики и исполнительных механизмов и пытается выполнить задачу, не меняя параметры базовой модели. 18
34
В описанном авторами эксперименте обработка 29-секундной демонстрации дала среднюю успешность 62%. Для сравнения, вариант на базе Pi-0.5, которому предоставили около 50 демонстраций робота и примерно четыре часа дообучения, показал 38%. Это результаты конкретной исследовательской установки, а не показатель надёжности робота в реальной эксплуатации. 18
34
От повторного обучения к адаптации во время выполнения
В традиционных сценариях обучения подражанию для каждой новой задачи собирают дополнительные демонстрации, после чего модель оптимизируют или дообучают. Такой процесс требует времени оператора телеуправления, занимает робота и может приводить к ухудшению ранее освоенных навыков.
HOST переносит адаптацию на этап выполнения задачи. Предварительно обученная модель остаётся неизменной, а видео демонстрации становится контекстом, который подаётся системе в момент вывода. По логике это ближе к обучению в контексте, чем к формированию постоянного нового поведения с помощью градиентных обновлений. Более ранние исследования робототехники также рассматривали возможность адаптировать поведение по истории наблюдений и действий без изменения весов модели. 20
Практический смысл такого подхода прост: путь от «покажи роботу, что делать» до «пусть он попробует» может стать значительно короче. Но робот не осваивает все физические закономерности с нуля за 29 секунд. Точнее описывать HOST как широко предобученную основу навыков, которая использует одно видео для выбора, привязки к конкретному телу и выполнения новой задачи.
Почему робот не копирует человека буквально
У человека и робота разные точки обзора, форма кистей, суставы, радиус досягаемости и скорость движений. Поэтому прямой перенос пикселей или траекторий суставов был бы хрупким решением.
Вместо этого HOST использует каскад прогнозов, привязанных к восприятию самого робота. Сначала фреймворк оценивает прогресс в продемонстрированной задаче, затем прогнозирует, как дальнейшее развитие событий должно выглядеть с точки зрения робота, и наконец выводит из этих прогнозируемых наблюдений конкретные действия. 18
В заявленной архитектуре разные компоненты отвечают за разные этапы перевода демонстрации:
- Зрение интерпретирует задачу и предполагаемый результат в перцептивной системе координат робота.
- Генерация действий превращает прогнозируемый результат в исполнимое поведение.
- Динамическое выравнивание по времени (dynamic time warping, DTW) помогает сопоставить этапы, если человек и робот выполняют их с разной скоростью.
Это принципиальное различие. Роботу не нужно воспроизводить механику человеческого тела с точностью до каждого движения. Его задача — понять значимую последовательность изменений состояния и найти собственный способ привести объект к нужному результату.
Симуляция и когнитивная наука задают более широкую схему
Концепция HOST перекликается с целевым пониманием подражания: наблюдатель определяет, чего должно достичь действие, а затем выбирает моторный план, подходящий именно его телу. Это не то же самое, что покадрово воспроизводить траекторию демонстратора.
Симуляция и масштабное предварительное обучение могут заранее дать модели широкий набор физических и поведенческих вариантов. Короткое видео из реального мира при этом сообщает задачу, которая неизвестна роботу в конкретный момент. Такое разделение ролей подсказывает возможную схему развития embodied AI: офлайн формировать универсальные физические и поведенческие предпосылки, а затем быстро специализировать систему с помощью контекста во время выполнения.
Этот вектор соответствует более широкому переходу к открытым робототехническим наборам данных и фундаментальным моделям, обученным на разных типах роботов. В проекте Open X-Embodiment, например, общий опыт собирался для множества роботизированных платформ, что позволило исследовать перенос навыков между ними. 25
Зачем X Square Robot открывает HOST
Публикация кода делает подход доступным для проверки и воспроизведения другими исследователями и разработчиками. Открытая реализация позволяет выяснить, насколько хорошо перенос «видео → действие» работает при смене камер, манипуляторов, окружения, задач и самих роботизированных платформ, а не только в одной закрытой демонстрации.
Компания также публикует код и инструменты для экосистемы embodied-моделей WALL: в репозиториях есть компоненты для обучения, вывода, подготовки данных и оценки в реальных и симулированных средах. 26
27 Для X Square Robot открытый исходный код может одновременно ускорять внешние эксперименты и знакомить разработчиков с моделями и аппаратными решениями компании.
Сам факт публикации кода, разумеется, не подтверждает benchmark HOST автоматически. Но он делает проверяемой центральную гипотезу проекта: предварительно обученные возможности робота можно адаптировать с помощью компактной демонстрации, вместо того чтобы заново дообучать систему для каждой манипуляционной задачи.
Что показывает результат 62% — и чего он не показывает
Показатель 62% выглядит заметным исследовательским результатом, особенно на фоне заявленного сокращения числа демонстраций и времени обучения. Но это не означает, что робот уже способен надёжно работать без контроля человека. В описанном тесте неудачей заканчивалась почти каждая вторая с лишним попытка — около двух из пяти.
Результат также не доказывает устойчивость системы в любых условиях, с которыми столкнулся бы домашний робот. Необходимы дополнительные испытания при изменении освещения, беспорядке в сцене, другой внешности предметов, сложных контактных взаимодействиях, ошибках и восстановлении после них, требованиях безопасности, длинных последовательностях действий и на роботах с иным устройством. Важна и независимая проверка: работа является исследовательским препринтом, а сравнения относятся к конкретному benchmark. 18
34
Поэтому корректный вывод заметно уже, но полезнее громкого обещания, будто гуманоиды уже научились выполнять домашние дела по одному видео. HOST указывает на возможное новое направление для embodied AI: широко обучать модель заранее, быстро осваивать отдельные навыки по человеческой демонстрации на этапе выполнения и избегать обновления весов для каждой новой задачи. Если результат подтвердится за пределами авторского benchmark, адаптация навыков во время вывода может стать серьёзной альтернативой затратному циклу телеуправления, сбора датасетов и постоянного дообучения.
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Как фреймворк HOST меняет обучение роботов»?
По данным авторов, HOST осваивал манипуляционные навыки по одному 29 секундному видео и достигал средней успешности 62% с первой попытки; у дообучаемого базового метода показатель составил 38% после примерно 50 демонс...
Какие ключевые моменты необходимо проверить в первую очередь?
По данным авторов, HOST осваивал манипуляционные навыки по одному 29 секундному видео и достигал средней успешности 62% с первой попытки; у дообучаемого базового метода показатель составил 38% после примерно 50 демонс... Система не копирует движения человека и не обновляет веса модели: она прогнозирует результат задачи с точки зрения самого робота, а затем генерирует действия для его достижения.
Что мне делать дальше на практике?
Подход может приблизить embodied AI к моделям, которые заранее обучаются широкому набору навыков, а на этапе выполнения быстро адаптируются к новой задаче без повторного телеуправления и обучения под каждую операцию.
Источники
arxiv.orgHOST: Robots Acquire Manipulation Skills in Seconds from ...
letsdatascience.comHOST Paper Reports Robot Skill Learning from One Video in 29 Seconds
robotics-transformer-x.github.ioOpen X-Embodiment: Robotic Learning Datasets and RT-X Models
github.comREADME.md - X-Square-Robot/wall-x