Прорыв NVIDIA: как роботы, обученные в симуляции, покоряют реальный мир на ICRA 2026

Восемь научных прорывов: комплексное наступление на реальный мир

Представленные статьи в совокупности закрывают ключевые проблемы, стоящие сегодня перед разработчиками роботов: от координации нескольких манипуляторов до визуально-языкового планирования действий.

ScheduleStream: трехкратное ускорение многорукого планирования

Традиционное ПО для планирования обрабатывает действия каждого манипулятора последовательно, создавая "бутылочные горлышки" в производственных ячейках. ScheduleStream задействует вычисления на графических процессорах (GPU), позволяя нескольким манипуляторам просчитывать движения и действовать параллельно. Запущенный на бортовой платформе NVIDIA Jetson, он продемонстрировал трехкратный прирост скорости в сценариях с множеством манипуляторов. Исходный код фреймворка выложен в открытый доступ на GitHub .

COMPASS: кросс-воплощенная навигация с 80% успеха в реальности

Создать алгоритм навигации, одинаково эффективный для колесных мобильных роботов и человекоподобных андроидов, — задача исключительной сложности. Фреймворк COMPASS сначала обучает базовую политику навигации через имитационное обучение, а затем использует остаточное обучение с подкреплением в среде NVIDIA Isaac Lab для создания специализированных политик под разную "анатомию" роботов. По сравнению с классическим имитационным обучением COMPASS показал улучшение среднего показателя успешности в 4,5 раза. Политика была также бесшовно перенесена в реальный мир, достигнув примерно 80% успеха в 20 полевых испытаниях с участием автономных мобильных роботов и гуманоидов .

Grasp-MPC: адаптивный захват с коррекцией на лету

Фиксированные планы захвата проваливаются, когда объект смещается или первоначальная оценка чуть-чуть ошибочна. Grasp-MPC непрерывно корректирует движение по мере приближения схвата к объекту. Исследователи сгенерировали 2 миллиона симулированных траекторий для 8000 объектов из набора данных GraspGen и библиотеки cuRobo. На реальных роботах алгоритм достиг примерно 75% успешных захватов против 41% у базового метода .

Манипуляция деформируемыми кластерами: расчистка без обучения

Манипуляции с запутанными, гибкими материалами — например, ветками на линиях электропередач — требуют большего, чем просто ловкий захват. Исследователи обучили политики использовать всю "руку" для сметания мусора в сторону, задействовав тысячи синтетических деревьев в симуляционных фреймворках Isaac. Результат: политики были развернуты на реальных ветках по принципу zero-shot, без какого-либо дообучения .

PEEK: сфокусированное зрение, рост точности в 41 раз

Отвлекающие факторы в кадре могут сбить с толку даже хорошо обученную политику манипуляции. PEEK использует визуально-языковую модель, чтобы прочесть текстовую инструкцию и "высветить" в поле зрения робота только релевантные объекты, игнорируя всё лишнее. При добавлении к политике, обученной только в симуляции, PEEK обеспечил 41-кратное улучшение точности в реальном мире. Для больших визуально-языковых-действенных (VLA) моделей прирост составил от 2 до 3,5 раза. Важно, что PEEK интегрируется с любой камерной политикой без модификации .

«Делай, что говоришь» (SEAL): устраняя разрыв между мыслью и действием

Фреймворк SEAL, созданный в коллаборации с Университетом Карнеги-Меллона, Университетом Юты и Университетом Сиднея, исправляет до обидного частую ошибку: модель правильно рассуждает и выбирает план, но исполняет нечто иное. SEAL генерирует несколько кандидатных последовательностей действий, симулирует их последствия и выбирает ту, которая лучше всего соответствует заложенной цели. Это дает прирост точности до 15% по сравнению с аналогами и устойчивость к перефразированным инструкциям, беспорядку и смене ракурса камеры .

Refinery: сборка по цепочке с 91% успеха в симуляции

При многоэтапной сборке результат каждого шага определяет следующий. Refinery обучает политики понимать эти зависимости, прорабатывая сотни симулированных сценариев. Алгоритм достигает 91% успеха в симуляции и почти 11% среднего улучшения над базовыми методами. Обученные политики могут выстраиваться в длинные сложные цепочки для последовательной сборки .

Обучение с подкреплением на основе зрения для ловких задач гуманоида

Отдельный подход к sim-to-real обучению с подкреплением на базе зрения позволил обучить робота-гуманоида выполнению трех сложных задач: захват с дотягиванием, подъем коробки и бимануальная передача предмета. Подход продемонстрировал высокую успешность на незнакомых объектах и устойчивое адаптивное поведение .

Технологический фундамент: платформы NVIDIA

Описанные достижения опираются на несколько взаимосвязанных платформ NVIDIA, создающих практическую среду для сквозной разработки:

• NVIDIA Isaac GR00T: Исследовательская инициатива и платформа для разработки универсальных фундаментальных моделей роботов. Включает открытые модели (серия GR00T N) для рассуждений и управления гуманоидами, симуляционные фреймворки на базе Omniverse и Cosmos, а также бортовой компьютер Jetson AGX Thor .
• Модели мира NVIDIA Cosmos: Платформа современных генеративных фундаментальных моделей мира для масштабного создания кастомных симуляций, генерации синтетических данных и оценки политик полностью в виртуальной среде .
• Физический движок Newton 1.0: Опенсорсный, ускоренный на GPU физический движок, разработанный совместно с Google DeepMind и Disney Research. Уже доступен в Isaac Lab для создания более способных и адаптивных роботов .
• NVIDIA cuMotion: Библиотека с ускорением на CUDA для масштабного решения задач планирования движений методом одновременной оптимизации множества траекторий и выбора наилучшей .
• Платформа граничного ИИ NVIDIA Jetson: Аппаратная основа для запуска полного стека на борту робота, включая демонстрацию трехкратного ускорения ScheduleStream. Модель Jetson AGX Thor выполняет роль центрального компьютера .

Партнеры, применяющие эффективность sim-to-real на практике

Потенциал технологии уже подтверждается ведущими игроками индустрии.

Toyota Research Institute сокращает потребность в реальных данных

Исследовательский институт Toyota (TRI) адаптировал модели мира NVIDIA Cosmos для динамического синтеза видов и телеоперации, значительно сократив объем реальных данных, необходимых для обучения политик манипуляции, основанных на зрении .

Mimic Robotics: десятикратный рост эффективности образца

Компания Mimic разработала видео-действенную модель на платформах NVIDIA, которая демонстрирует в 10 раз лучшую эффективность использования образцов и в 2 раза более быструю сходимость на задачах реальной манипуляции, резко снижая необходимость в дорогостоящих демонстрациях .

Doosan Robotics внедряет контекстно-зависимую палетизацию

Doosan использует NVIDIA Cosmos Reason, чтобы роботы-палетизаторы могли анализировать содержимое коробок, выявлять повреждения и корректировать усилие в зависимости от веса и хрупкости. Это обеспечивает принятие решений с пониманием контекста без изнурительного сбора реальных данных .

Общая картина: от сценариев к воплощенной автономии

NVIDIA охарактеризовала этот пакет работ как часть фундаментального сдвига в индустрии:

«Робототехника вступает в новую фазу: переход от контролируемых демонстраций и скриптовой автоматизации к универсальной, надежной воплощенной автономии в реальном мире» .

Перенос навыков из симуляции в реальность перестал быть академической диковинкой. Восемь статей ICRA показывают, как этот подход закрывает проблемы на всех уровнях: параллельная координация манипуляторов, обобщение политик на разные воплощения, захват новых объектов в нагромождении, zero-shot манипуляция деформируемыми предметами, точная последовательная сборка и визуально-языковые модели, которые сначала думают, а потом действуют . Посыл ясен: обучение на базе симуляции, а не ставка на огромные массивы реальных демонстраций, — это масштабируемый путь к роботам, которые уверенно функционируют в неструктурированной, динамичной среде.