Как 51World собирает данные для обучения гуманоидных роботов

Для embodied AI — воплощённого искусственного интеллекта, который должен воспринимать физический мир и действовать в нём, — по-прежнему не хватает качественных реальных данных. Роботу нужно научиться не только «видеть» сцену, но и понимать, как человек двигается, тянется к предмету, берёт его и выполняет точную манипуляцию. Пекинская 51World предложила аппаратно-программную систему, призванную сделать такие демонстрации более структурированными и пригодными для обучения.

Что представила 51World

Основное устройство системы — AperEgo, носимый комплект для сбора данных. В него входят гарнитура с несколькими камерами, устройства на запястьях и сенсоры для пальцев. Одновременно компания представила AperOS — программную платформу для обработки и управления полученными мультимодальными данными.

Оба продукта входят в более широкую концепцию 51World по развитию embodied AI. На презентации 18 августа компания также представила AperData — инфраструктуру для данных, и AperOne — платформу прикладных решений.

Как AperEgo записывает действия человека

Пользователь надевает оборудование и выполняет обычную задачу. Гарнитура записывает панорамное изображение от первого лица — то есть обстановку с точки зрения самого человека. Сенсоры синхронизируют визуальные, двигательные и аудиоданные, а устройства на запястьях и пальцах добавляют подробную информацию о движениях рук.

Такой подход должен связать восприятие окружающей среды с физическим действием. В записи сохраняется не только то, что находится перед человеком, но и последовательность движений, с помощью которых он взаимодействует с предметом. Это особенно важно для обучения роботов точным операциям: захвату, перемещению и манипуляциям с объектами.

Что делает AperOS

AperOS принимает мультимодальные данные от AperEgo и проверяет записи на корректность до их загрузки и последующей обработки. По словам 51World, фильтрация позволяет сократить объём необходимого хранилища и вычислительных ресурсов, одновременно оставляя более полезный набор данных для разработки моделей.

Рабочий процесс выглядит так:

1. Запись: AperEgo фиксирует изображение от первого лица, движения и звук во время выполнения задачи.
2. Сбор данных о руках: устройства на запястьях и пальцах записывают движения при попытке дотянуться до предмета, взять его или переместить.
3. Синхронизация: разные потоки сенсорных данных выравниваются, чтобы описывать одно и то же действие одновременно.
4. Фильтрация: AperOS удаляет записи, которые компания считает некорректными, ещё до загрузки и дальнейшей обработки.
5. Подготовка к обучению: оставшийся набор данных может использоваться для разработки моделей embodied AI и совершенствования процессов обучения роботов.

Какие результаты обещает компания

Генеральный директор 51World Ли И утверждает, что интеграция аппаратной и программной частей способна повысить точность данных до 99%. По его словам, это должно сделать обучение роботов более точным и эффективным — от сбора и использования данных до тренировки моделей и их способности обобщать полученные навыки на новые ситуации.

При этом показатель 99% следует воспринимать именно как заявление 51World, а не как результат независимого тестирования. В доступных публикациях нет описания внешнего протокола испытаний, сравнительного набора данных или сторонней проверки этой цифры. Даже более чистые демонстрации сами по себе не гарантируют нужного поведения робота: итог зависит также от модели, аппаратной части, конкретной задачи, среды эксплуатации и методики оценки.

Почему инфраструктура данных важна для гуманоидов

Гуманоидному роботу приходится одновременно воспринимать меняющуюся обстановку и координировать движения тела. Качественные демонстрации человеческих действий потенциально помогают научить машину надёжнее работать с предметами, пространством и задачами, требующими тонкой моторики. Поэтому 51World сосредоточилась не на создании собственного гуманоидного робота, а на инфраструктуре данных, которая стоит за embodied AI.

Разработка появилась в момент, когда китайский рынок гуманоидной робототехники пытается перейти от прототипов к коммерческому применению. По оценке TrendForce, рынок гуманоидных роботов в Китае достигнет 15 млрд юаней (2,2 млрд долларов) в 2026 году, а в 2027-м сохранит темпы роста не менее 60%. Ожидается, что производство будет масштабироваться, а роботы будут использоваться в автомобильной промышленности, электронике, аэрокосмической отрасли, логистике и энергетике.

Этот прогноз не доказывает, что AperEgo или AperOS станут причиной такого роста. Но он показывает, почему системы сбора, фильтрации и организации данных физического мира приобретают стратегическое значение. Чем больше роботов переходит от демонстраций к практической эксплуатации, тем нужнее разработчикам воспроизводимые и пригодные для обучения примеры, которые можно получать в большом масштабе.