HOST і GEN-1.5: як роботи вчаться нових навичок з одного короткого відео

Робототехніка поступово відходить від підходу, за якого кожне нове завдання вимагає окремого збору даних, сотень демонстрацій і тривалого донавчання. HOST та GEN-1.5 пропонують іншу модель: попередньо навчений робот отримує коротке відео як контекст і намагається виконати побачену дію одразу, під час роботи.

Це не означає, що роботи навчилися без попереднього досвіду. Найскладніша й найдорожча частина — масштабне базове навчання — відбувається заздалегідь. Натомість для нового користувача конкретне завдання може задаватися одним коротким показом, без повного перенавчання системи.

HOST: відео як карта прогресу завдання

HOST — фреймворк Human-to-robot One-Shot Skill Acquisition, розроблений дослідниками Beijing Institute of Technology, X Square Robot і Tsinghua University. У препринті систему описують як спосіб опановувати нові маніпуляційні навички на етапі виконання, не змінюючи параметри політики робота.

На відміну від простого копіювання рухів людини, HOST намагається зіставити поточний стан робота з етапом виконання завдання у відео. Система враховує людську демонстрацію, мовну інструкцію, зображення з камер, нещодавні спостереження робота та його пропріоцептивні дані — інформацію про положення й рух власних суглобів. Далі вона прогнозує, яким має бути результат із перспективи самого робота, і виводить потрібні дії.

Підготовка HOST відбувалася у два етапи: попереднє навчання на 193 462 роботизованих траєкторіях для 229 завдань і подальша адаптація на 5 847 парах «відео людини — траєкторія робота». Після цього під час перевірки нове завдання можна було задати без оновлення параметрів моделі.

Результати HOST

• У середньому робот витрачав близько 29 секунд на опанування навички з одного відео.
• Система перевірялася на 50 нових маніпуляційних завданнях, які охоплювали різні предмети, інструменти та типи рухів; для кожного завдання провели по 20 спроб.
• Середня успішність становила 62%.
• За повідомленням авторів, результат був на 45% кращим за найсильніший zero-shot-базовий метод — підхід, який намагається виконати завдання без прикладів саме для нього. HOST також перевершив варіант із supervised fine-tuning на 50 роботизованих демонстраціях для кожного завдання.
• Автори оцінюють прискорення отримання навички приблизно у 507 разів порівняно з таким донавчанням.

У додаткових тестах HOST зберігав більшу частину базового результату за зміни освітлення, предметів, сцени та під час втручання людини. Зниження показника становило відповідно 1%, 4%, 6% і 9%.

Водночас 62% — це не рівень, за якого роботу можна беззастережно доручати будь-яке нове завдання. Результат показує працездатність ідеї на визначеному наборі тестів, а не універсальну надійність у реальному світі.

GEN-1.5: «фізична підказка» для великої моделі

GEN-1.5 від Generalist AI побудована навколо великої мультимодальної моделі для фізичної взаємодії. Вона приймає відео, мовні команди, сенсорні та пропріоцептивні дані, зберігає до 30 секунд мультимодального контексту й генерує траєкторії дій із частотою 100 Гц.

Коротка демонстрація тривалістю 3–12 секунд подається моделі як так званий physical prompt — фізична підказка. Після цього робот намагається виконати завдання без градієнтних оновлень і fine-tuning.

Generalist AI заявляє, що GEN-1.5 навчалася понад вісім місяців на реальних даних фізичної взаємодії, без симуляційних даних на етапі попереднього навчання. Саме це масштабне попереднє навчання, за задумом компанії, дає моделі базове розуміння маніпуляцій ще до того, як вона побачить нову демонстрацію.

У публічних прикладах фігурують відкривання банки, розстібання чохла, змітання предмета в миску, наливання болтів, потрапляння маркера в контейнер, використання інструментів і комбінування дій.

Компанія повідомляє про 59% середньої успішності на 10 різноманітних маніпуляційних завданнях після однієї демонстрації. Однак ці результати походять переважно з матеріалів Generalist AI та її публічних оголошень, тому їх складно безпосередньо порівнювати з академічною оцінкою HOST.

GEN-1.5 також має запасний режим. Якщо однієї демонстрації недостатньо, модель може адаптуватися за 1–10 градієнтних кроків, використовуючи 1–5 хвилин даних — орієнтовно 10–50 демонстрацій. Отже, твердження «без навчання» стосується саме режиму one-shot prompting, а не всіх можливих сценаріїв роботи системи.

Порівняння підходів

Параметр	HOST	GEN-1.5
Основний принцип	Візуальна імітація з вирівнюванням за етапом виконання та прогнозуванням результату з перспективи робота.	Мультимодальна embodied-модель, яка сприймає демонстрацію як контекстну «фізичну підказку».
Час однієї демонстрації	У середньому 29 секунд.	3–12 секунд.
Оновлення параметрів для one-shot-режиму	Не потрібне.	Не потрібне, за твердженням компанії.
Основа навчання	193 462 роботизовані траєкторії для 229 завдань, потім 5 847 пар відео й траєкторій.	Понад вісім місяців навчання на даних реальної фізичної взаємодії; компанія заявляє, що симуляційні дані не використовувалися для попереднього навчання.
Тестове покриття	50 нових завдань, по 20 спроб на кожне.	10 завдань у повідомленій оцінці та набір публічних демонстрацій; зіставний стандартизований протокол не оприлюднено.
Середня успішність	62%.	59% у повідомленій компанією оцінці після однієї демонстрації.
Додаткова адаптація	Основний результат отримано без task-specific оновлення параметрів.	За складніших завдань — 1–10 градієнтних кроків на 1–5 хвилинах даних.
Заявлений виграш у швидкості	Приблизно у 507 разів проти fine-tuning на 50 роботизованих демонстраціях для кожного завдання.	Перехід від традиційного тривалого навчання до демонстрації на 3–12 секунд; незалежного бенчмарку такого порівняння немає.

Чому це важливо для роботів

Людина зазвичай не програмує кожен рух окремо, коли навчає когось простій дії. Вона показує результат і послідовність, а учень використовує попередній досвід, щоб відтворити їх у новій ситуації. HOST і GEN-1.5 наближають роботів до такого інтерфейсу: замість написання коду, проєктування винагороди чи збору великого набору роботизованих демонстрацій користувач може просто показати, що потрібно зробити.

Ключова зміна полягає в перенесенні витрат. Масштабне навчання не зникає — воно відбувається раніше й використовується багатьма наступними завданнями. Для конкретної нової навички робот уже не обов’язково проходить повний цикл оптимізації. Саме тому «навчання за секунди» точніше називати отриманням нової навички під час виконання на основі попередньо навчених здібностей.

Такий підхід також може допомогти уникати катастрофічного забування: якщо параметри не змінюються, додавання нового завдання не має стирати раніше набуті навички. Для HOST це є частиною заявленої переваги над традиційним донавчанням.

Що поки не доведено

HOST має сильнішу академічну основу, але залишається результатом контрольованого лабораторного дослідження. 50 завдань і 20 спроб на кожне — змістовна перевірка, однак цього недостатньо для висновків про домашні середовища, промислові процеси, довгі послідовності дій або безпекові сценарії. Середня успішність 62% також означає, що система ще часто помиляється.

GEN-1.5 складніше оцінити незалежно. Дані про архітектуру, тривалість навчання, демонстраційний режим, результати та додаткову адаптацію переважно опубліковані самою Generalist AI або поширені через її оголошення.

Для GEN-1.5 наразі немає настільки ж чітко описаного публічного протоколу з кількістю завдань, кількістю повторів, базовими моделями, агрегованим результатом і незалежним відтворенням. Тому її демонстрації свідчать про перспективний потенціал, але ще не встановлюють перевірену межу можливостей.

У підсумку HOST показує, що набуття навички з одного людського відео без оновлення параметрів може працювати на визначеному наборі нових маніпуляцій. GEN-1.5, своєю чергою, вказує, що масштабне попереднє навчання може породити подібну здатність як контекстну функцію універсальнішої embodied-моделі. Напрям справді важливий, але роботи поки не готові замінити повноцінну перевірку завдань, інженерію безпеки та адаптацію до непередбачуваного середовища.