Как обучали DYNA-2

Размер и источник набора данных

Обучающий набор данных состоял из более 1 000 000 часов эгоцентрического (от первого лица) человеческого видео — это примерно 170 лет непрерывного бодрствования . Видео запечатлели повседневные задачи по манипуляции: приготовление еды, складывание, сборку и уборку . На этапе предварительного обучения не использовались данные с реальных роботов; данные с роботов вводились только на небольшом этапе последующего обучения или точной настройки, как правило, не более 10 часов на задачу .

Цели обучения

В ходе предварительного обучения DYNA-2 использовал цель предсказания видео — обучение предсказывать будущие видеокадры на основе прошлых наблюдений, — в сочетании с алгоритмом совместного обучения с видео, который одновременно изучает визуальные представления и предсказания действий . Этот подход контрастирует с архитектурой VLA модели DYNA-1, которая напрямую сопоставляет восприятие с действиями робота без промежуточного предсказания видео .

Компания продемонстрировала масштабирование в четыре порядка, от 1 000 до 1 000 000 часов предварительного обучения .

Улучшения производительности по сравнению с DYNA-1

Компания провела прямые сравнительные испытания DYNA-2 и DYNA-1 в одинаковых условиях обучения и в реальных развёртываниях.

Прямое сравнение по 7 задачам

• DYNA-2 выполнял задачи в 1,55 раза чаще, чем модель на базе VLA — DYNA-1 .
• В парных сравнениях DYNA-2 побеждал в 65% испытаний против 29% у DYNA-1 .

Агрегированные результаты по 14–15 задачам на 3 типах роботов

Средняя нормализованная производительность монотонно росла с увеличением масштаба предварительного обучения: 20% → 28% → 45% → 53% от достижимого максимума при масштабировании данных от 1 000 → 10 000 → 100 000 → 1 000 000 часов . При масштабе в 1 млн часов DYNA-2 показал наилучшую реальную производительность по 9 из 14 задач . Ключевые улучшения по отдельным задачам:

• Поворот ключа в замке: с 0% успеха (до 100 000 часов) до 90% успеха при 1 млн часов .
• Откручивание крышки бутылки: с 10% успеха до 40–50% при 1 млн часов, используя всего ~10 минут данных последующего обучения робота .
• Целевой поиск напитка (следование языковым командам): улучшение с 58% до 83% .

Реальное производство и развёртывание у клиентов

• Высокоточные производственные задачи: уровень успеха вырос с ~20% до 80–90% исключительно за счёт увеличения масштаба предварительного обучения, без изменений в данных последующего обучения .
• Zero-shot развёртывание на клиентском объекте: DYNA-2 продемонстрировал 87% прохождения контроля качества по сравнению с 46% у DYNA-1 — улучшение на 41 процентный пункт .
• Алгоритм совместного обучения с видео повысил показатели следования инструкциям на 133% в задачах, требующих различных движений в ответ на команды пользователя .

Закон масштабирования, обнаруженный Dyna Robotics

Dyna Robotics сообщает о том, что называет «первым настоящим законом масштабирования в робототехнике, основанным исключительно на человеческих данных» . Ключевые характеристики:

• Закон масштабирования переноса с человека на робота: по мере увеличения объёма предварительного обучения на эгоцентрических человеческих видео в четырёх порядках (1 000 → 1 000 000 часов) производительность робота на незнакомом оборудовании улучшалась предсказуемо, монотонно и лог-линейно — закономерность, которую компания идентифицирует как закон масштабирования .
• Кросс-воплощённый перенос: масштабирование сохранялось для двух различных типов роботов (стационарная двуручная платформа и полугуманоидный прототип), которые модель никогда не видела во время предварительного обучения .
• Zero-shot предсказание действий: масштабирование человеческих видео также улучшило способность модели предсказывать действия на отложенных данных с роботов, которые никогда не показывались во время обучения .

Компания прямо заявляет, что это демонстрация «в своём роде первая», показывающая, что масштабирование данных наблюдений за человеком, а не данных действий робота, может служить надёжной осью для улучшения физического интеллекта роботов .

Почему это важно

Если заявления подтвердятся при независимой верификации, Dyna Robotics продемонстрировала практический путь к масштабированию интеллекта роботов без узкого места в виде сбора дорогостоящих данных о действиях робота. Человеческие видео существуют в практически неограниченном масштабе. Компания заявляет, что уже работает над набором данных в 10 миллионов часов обучения, что позволит роботам осваивать новые физические задачи всего за несколько часов локальной тонкой настройки .

Как обучали DYNA-2

Размер и источник набора данных

Обучающий набор данных состоял из более 1 000 000 часов эгоцентрического (от первого лица) человеческого видео — это примерно 170 лет непрерывного бодрствования . Видео запечатлели повседневные задачи по манипуляции: приготовление еды, складывание, сборку и уборку . На этапе предварительного обучения не использовались данные с реальных роботов; данные с роботов вводились только на небольшом этапе последующего обучения или точной настройки, как правило, не более 10 часов на задачу .

Цели обучения

В ходе предварительного обучения DYNA-2 использовал цель предсказания видео — обучение предсказывать будущие видеокадры на основе прошлых наблюдений, — в сочетании с алгоритмом совместного обучения с видео, который одновременно изучает визуальные представления и предсказания действий . Этот подход контрастирует с архитектурой VLA модели DYNA-1, которая напрямую сопоставляет восприятие с действиями робота без промежуточного предсказания видео .

Компания продемонстрировала масштабирование в четыре порядка, от 1 000 до 1 000 000 часов предварительного обучения .

Улучшения производительности по сравнению с DYNA-1

Компания провела прямые сравнительные испытания DYNA-2 и DYNA-1 в одинаковых условиях обучения и в реальных развёртываниях.

Прямое сравнение по 7 задачам

• DYNA-2 выполнял задачи в 1,55 раза чаще, чем модель на базе VLA — DYNA-1 .
• В парных сравнениях DYNA-2 побеждал в 65% испытаний против 29% у DYNA-1 .

Агрегированные результаты по 14–15 задачам на 3 типах роботов

Средняя нормализованная производительность монотонно росла с увеличением масштаба предварительного обучения: 20% → 28% → 45% → 53% от достижимого максимума при масштабировании данных от 1 000 → 10 000 → 100 000 → 1 000 000 часов . При масштабе в 1 млн часов DYNA-2 показал наилучшую реальную производительность по 9 из 14 задач . Ключевые улучшения по отдельным задачам:

• Поворот ключа в замке: с 0% успеха (до 100 000 часов) до 90% успеха при 1 млн часов .
• Откручивание крышки бутылки: с 10% успеха до 40–50% при 1 млн часов, используя всего ~10 минут данных последующего обучения робота .
• Целевой поиск напитка (следование языковым командам): улучшение с 58% до 83% .

Реальное производство и развёртывание у клиентов

• Высокоточные производственные задачи: уровень успеха вырос с ~20% до 80–90% исключительно за счёт увеличения масштаба предварительного обучения, без изменений в данных последующего обучения .
• Zero-shot развёртывание на клиентском объекте: DYNA-2 продемонстрировал 87% прохождения контроля качества по сравнению с 46% у DYNA-1 — улучшение на 41 процентный пункт .
• Алгоритм совместного обучения с видео повысил показатели следования инструкциям на 133% в задачах, требующих различных движений в ответ на команды пользователя .

Закон масштабирования, обнаруженный Dyna Robotics

Dyna Robotics сообщает о том, что называет «первым настоящим законом масштабирования в робототехнике, основанным исключительно на человеческих данных» . Ключевые характеристики:

• Закон масштабирования переноса с человека на робота: по мере увеличения объёма предварительного обучения на эгоцентрических человеческих видео в четырёх порядках (1 000 → 1 000 000 часов) производительность робота на незнакомом оборудовании улучшалась предсказуемо, монотонно и лог-линейно — закономерность, которую компания идентифицирует как закон масштабирования .
• Кросс-воплощённый перенос: масштабирование сохранялось для двух различных типов роботов (стационарная двуручная платформа и полугуманоидный прототип), которые модель никогда не видела во время предварительного обучения .
• Zero-shot предсказание действий: масштабирование человеческих видео также улучшило способность модели предсказывать действия на отложенных данных с роботов, которые никогда не показывались во время обучения .

Компания прямо заявляет, что это демонстрация «в своём роде первая», показывающая, что масштабирование данных наблюдений за человеком, а не данных действий робота, может служить надёжной осью для улучшения физического интеллекта роботов .

Почему это важно

Если заявления подтвердятся при независимой верификации, Dyna Robotics продемонстрировала практический путь к масштабированию интеллекта роботов без узкого места в виде сбора дорогостоящих данных о действиях робота. Человеческие видео существуют в практически неограниченном масштабе. Компания заявляет, что уже работает над набором данных в 10 миллионов часов обучения, что позволит роботам осваивать новые физические задачи всего за несколько часов локальной тонкой настройки .