Архитектура World-Action Model: Предсказание видео вместо имитации действий

Архитектура DYNA-2 основана на генерации видео, а не на адаптерах Vision-Language-Action (VLA), которые доминировали в робототехнике . Во время предобучения модель выполняет двойную задачу: она предсказывает как следующий видеокадр, так и следующее действие из корпуса человеческих видео . Такой подход позволяет модели построить внутреннюю модель физики контактов и пространственного мышления — изучая причинно-следственные связи между действиями и их физическими последствиями, — которая переносится на разные типы роботов, даже не видя их во время предобучения .

Корпус для предобучения: Компания создала четыре вложенных подмножества эгоцентричных человеческих видео — 1 000, 10 000, 100 000 и 1 000 000 часов — при этом данные о действиях роботов не использовались во время предобучения . После предобучения модель донастраивается на относительно небольшом объеме реальных роботизированных данных (часы или даже минуты) для переноса усвоенной физической интуиции на конкретное оборудование .

Первый закон масштабирования при переносе навыков от человека к роботу

Dyna Robotics сообщила о том, что называет первым законом масштабирования при переносе между разными физическими воплощениями (cross-embodiment transfer) в манипуляциях . Этот вывод важен, поскольку он демонстрирует, что масштабирование данных человеческих видео приводит к предсказуемым, монотонным улучшениям производительности робота — повторяя законы масштабирования, которые преобразили большие языковые модели.

• Закон масштабирования на человеческих данных: На всех четырех порядках величины (1 тыс. → 10 тыс. → 100 тыс. → 1 млн часов) все метрики качества предсказания видео улучшались монотонно и хорошо описывались степенным законом с отсутствием наблюдаемого плато .

• Закон переносится на невиданные роботизированные данные: Те же контрольные точки были проверены в режиме zero-shot на 39 различных роботизированных задачах на двух стационарных двуруких платформах. Производительность монотонно улучшалась по мере увеличения пула предобучения на человеческих видео, еще до какой-либо донастройки под конкретного робота . Один из анализов показал, что фиксация данных с размеченными действиями на уровне 50 000 часов и добавление только видеочасов снизило среднеквадратичную ошибку (MSE) действий робота в режиме zero-shot с 0,340 до 0,120 .

• Масштабирование производительности после донастройки: После донастройки средняя нормализованная оценка по 14 роботизированным задачам выросла с 20% → 28% → 45% → 53% от достижимого максимума по мере увеличения масштаба предобучения с 1 тыс. до 1 млн часов .

Улучшение показателей успешности выполнения задач

Наиболее заметные улучшения производительности DYNA-2 проявились в трех ключевых областях:

• Высокоточное производство: DYNA-2 повысил成功率 выполнения задач примерно с 20% до 80–90% исключительно за счет увеличения масштаба предобучения, без каких-либо изменений в данных для донастройки . Это четырех- или четырех с половинойкратное улучшение, полученное исключительно за счет просмотра большего количества человеческих видео.

• Внедрение у клиентов в режиме zero-shot: На реальных объектах клиентов DYNA-2 достиг 87% прохождения контроля качества по сравнению с 46% у его предшественника DYNA-1 на основе VLA — улучшение на 41 пункт при одинаковых бюджетах на донастройку . В прямых физических испытаниях с идентичными условиями обучения DYNA-2 выполнял задачи , чем DYNA-1, и выигрывал .

• Откручивание крышки бутылки (13 минут данных): Имея всего 13 минут данных демонстрации, специфичных для робота, DYNA-2 был адаптирован для управления парой пятипалых манипуляторов, чтобы открутить крышку бутылки . Технический отчет компании уточняет, что цифра составляла примерно роботизированных данных, при этом масштаб предобучения повысил成功率 с 10% при меньших бюджетах до 40–50% при полном бюджете в 1 млн часов .

Последствия для будущего робототехники

Результаты DYNA-2 бросают вызов преобладающему предположению о том, что роботам требуются большие объемы данных, специфичных для конкретной задачи. Демонстрируя закон масштабирования, который переносится с человеческих видео на роботизированное оборудование, Dyna Robotics открывает практический путь к 10 миллионам часов обучающих данных, что потенциально позволит роботам осваивать новые физические задачи всего за несколько часов локальной донастройки . В настоящее время модель работает как управляемая вендором система; Dyna Robotics не объявила о публичном выпуске контрольных точек, API или лицензии для DYNA-2 . Следующим шагом для подтверждения этих результатов станет независимое воспроизведение исследовательским сообществом робототехников .

Архитектура World-Action Model: Предсказание видео вместо имитации действий

Архитектура DYNA-2 основана на генерации видео, а не на адаптерах Vision-Language-Action (VLA), которые доминировали в робототехнике . Во время предобучения модель выполняет двойную задачу: она предсказывает как следующий видеокадр, так и следующее действие из корпуса человеческих видео . Такой подход позволяет модели построить внутреннюю модель физики контактов и пространственного мышления — изучая причинно-следственные связи между действиями и их физическими последствиями, — которая переносится на разные типы роботов, даже не видя их во время предобучения .

Корпус для предобучения: Компания создала четыре вложенных подмножества эгоцентричных человеческих видео — 1 000, 10 000, 100 000 и 1 000 000 часов — при этом данные о действиях роботов не использовались во время предобучения . После предобучения модель донастраивается на относительно небольшом объеме реальных роботизированных данных (часы или даже минуты) для переноса усвоенной физической интуиции на конкретное оборудование .

Первый закон масштабирования при переносе навыков от человека к роботу

Dyna Robotics сообщила о том, что называет первым законом масштабирования при переносе между разными физическими воплощениями (cross-embodiment transfer) в манипуляциях . Этот вывод важен, поскольку он демонстрирует, что масштабирование данных человеческих видео приводит к предсказуемым, монотонным улучшениям производительности робота — повторяя законы масштабирования, которые преобразили большие языковые модели.

• Закон масштабирования на человеческих данных: На всех четырех порядках величины (1 тыс. → 10 тыс. → 100 тыс. → 1 млн часов) все метрики качества предсказания видео улучшались монотонно и хорошо описывались степенным законом с отсутствием наблюдаемого плато .

• Закон переносится на невиданные роботизированные данные: Те же контрольные точки были проверены в режиме zero-shot на 39 различных роботизированных задачах на двух стационарных двуруких платформах. Производительность монотонно улучшалась по мере увеличения пула предобучения на человеческих видео, еще до какой-либо донастройки под конкретного робота . Один из анализов показал, что фиксация данных с размеченными действиями на уровне 50 000 часов и добавление только видеочасов снизило среднеквадратичную ошибку (MSE) действий робота в режиме zero-shot с 0,340 до 0,120 .

• Масштабирование производительности после донастройки: После донастройки средняя нормализованная оценка по 14 роботизированным задачам выросла с 20% → 28% → 45% → 53% от достижимого максимума по мере увеличения масштаба предобучения с 1 тыс. до 1 млн часов .

Улучшение показателей успешности выполнения задач

Наиболее заметные улучшения производительности DYNA-2 проявились в трех ключевых областях:

• Высокоточное производство: DYNA-2 повысил成功率 выполнения задач примерно с 20% до 80–90% исключительно за счет увеличения масштаба предобучения, без каких-либо изменений в данных для донастройки . Это четырех- или четырех с половинойкратное улучшение, полученное исключительно за счет просмотра большего количества человеческих видео.

• Внедрение у клиентов в режиме zero-shot: На реальных объектах клиентов DYNA-2 достиг 87% прохождения контроля качества по сравнению с 46% у его предшественника DYNA-1 на основе VLA — улучшение на 41 пункт при одинаковых бюджетах на донастройку . В прямых физических испытаниях с идентичными условиями обучения DYNA-2 выполнял задачи , чем DYNA-1, и выигрывал .

• Откручивание крышки бутылки (13 минут данных): Имея всего 13 минут данных демонстрации, специфичных для робота, DYNA-2 был адаптирован для управления парой пятипалых манипуляторов, чтобы открутить крышку бутылки . Технический отчет компании уточняет, что цифра составляла примерно роботизированных данных, при этом масштаб предобучения повысил成功率 с 10% при меньших бюджетах до 40–50% при полном бюджете в 1 млн часов .

Последствия для будущего робототехники

Результаты DYNA-2 бросают вызов преобладающему предположению о том, что роботам требуются большие объемы данных, специфичных для конкретной задачи. Демонстрируя закон масштабирования, который переносится с человеческих видео на роботизированное оборудование, Dyna Robotics открывает практический путь к 10 миллионам часов обучающих данных, что потенциально позволит роботам осваивать новые физические задачи всего за несколько часов локальной донастройки . В настоящее время модель работает как управляемая вендором система; Dyna Robotics не объявила о публичном выпуске контрольных точек, API или лицензии для DYNA-2 . Следующим шагом для подтверждения этих результатов станет независимое воспроизведение исследовательским сообществом робототехников .