Мозговые волны, мышцы и телеоперация: как Encord создает дефицитные данные для роботов

Датчики мышечной активности (ЭМГ)

Параллельно Encord тестирует датчики, которые крепятся на предплечье и регистрируют электрические сигналы в мышцах. Обычное видео с руками часто не показывает точное положение пальцев (они могут быть скрыты), поэтому компания надеется восстанавливать 3D-позу кисти по сигналам ЭМГ, давая моделям более полное понимание ловких манипуляций .

Данные телеоперации

В своем научно-исследовательском центре в Сан-Леандро компания использует роботизированные манипуляторы типа 'ведущий-ведомый'. Человек-оператор напрямую управляет одним манипулятором, а второй в точности повторяет его движения. Это позволяет собирать высокоточные данные для таких задач, как наливание кофе, складывание фишек для покера, подключение и отключение ethernet-кабелей и манипуляции с бытовыми предметами . По словам представителей Encord, каждая компания, занимающаяся человекоподобными роботами, запрашивала именно такие наборы данных для конкретных задач .

Видео от первого лица (эгоцентрическое)

'Пилоты' носят камеры на голове, которые записывают то, что они видят. Эти данные дополняются информацией, полученной с нескольких заводов по всему миру. Это обеспечивает масштабируемый источник реальных наблюдательных данных .

Полевой и лабораторный сбор

Encord нанимает специальных полевых операторов и использует перенастраиваемые лабораторные среды для сбора данных, специфичных для конкретного воплощения робота. Сюда входят данные лидаров, облака точек и синхронизированные мультимодальные потоки с разных сенсоров . Протоколы сбора данных строятся 'в обратном направлении' — от конвейера обучения заказчика, чтобы каждый эпизод был классифицирован, синхронизирован и приведен к целевой модели . Компания также собирает данные о сбоях: когда модель дает сбой в реальных условиях, этот сценарий захватывается с помощью удаленной телеоперации и используется в политиках сбора данных .

Ключевые технические вызовы

Доказательство ценности нейронных данных

Подход Zander Labs заключается в грубом выводе психических состояний из мозговой активности — например, измерении того, сколько когнитивных усилий прилагает 'пилот', — а не в декодировании конкретных мыслей . Эксперимент должен подтвердить, что этот сигнал действительно улучшает производительность роботизированной модели по сравнению с обычными данными с видео и телеоперации. Если улучшение окажется незначительным, затраты на включение ЭЭГ в каждый сеанс сбора данных могут быть неоправданными.

Мультимодальная синхронизация и аннотация

Для физического ИИ требуется точная временная синхронизация и совместная аннотация данных с таких сенсоров, как видео, датчики глубины, лидары, аудио, инерциальные измерительные блоки (IMU), а теперь и ЭЭГ/ЭМГ. Encord уже поддерживает нативные форматы (MCAP, ROSBAG) и слияние данных с разных сенсоров, однако управление сложностью синхронизации 2D-, 3D- и биосигнальных потоков остается сложной инженерной задачей .

Разнообразие данных и захват сценариев отказов

Моделям необходимо разнообразие окружений, освещения, операторов и, что важно, сценариев отказов. Encord использует цикл обратной связи по развертыванию, но данные об отказах широко считаются недооцененными, хотя и критически важными для надежного физического ИИ . Без достаточного количества граничных случаев модели, обученные даже на самых богатых данных, будут плохо обобщать.

Ключевые экономические вызовы

Экстремальная стоимость создания физических данных

В отличие от LLM, которые тренируются на тексте из интернета, физический ИИ требует проприетарных, реальных данных, получаемых с помощью дорогостоящего оборудования, людей-операторов и контролируемых сред. Модель Encord представляет собой осознанный сдвиг в сторону более дорогого, специализированного производства данных — она масштабируется не так дешево, как парсинг веб-страниц .

Высокие капитальные требования

Encord привлекла в общей сложности 110 миллионов долларов, включая 60 миллионов долларов в раунде Series C в феврале 2026 года под руководством Wellington Management . Компания вынуждена тратить значительные средства на помещения (свою R&D-лабораторию в заливе Сан-Франциско), роботизированное оборудование, обученный персонал ('пилотов') и инфраструктуру для аннотации данных — и все это до того, как большинство заказчиков начнут массово развертывать роботов в производстве.

Разрыв между симуляцией и реальностью (Sim-to-Real gap)

Симуляция может дешево генерировать большие синтетические наборы данных, но она систематически не способна отразить реальную физику, граничные случаи и тонкую моторику. Encord и другие делают ставку на то, что только реальные данные с демонстрацией действий человека — со всеми их затратами и 'шумом' — позволят преодолеть разрыв между симуляцией и реальностью, необходимый для создания универсальных роботов .

Риск временно́го несовпадения с рынком

Encord прогнозирует, что в ближайшие четыре года в мире появится более 400 миллионов интеллектуальных роботов, что поднимет индустрию физического ИИ до уровня более 30 миллиардов долларов в год . Если внедрение роботов пойдет медленнее, спрос на дорогие кастомные данные для обучения может не материализоваться достаточно быстро, чтобы окупить текущие инфраструктурные расходы.

Суть

Encord прокладывает путь, используя экспериментальный захват биосигналов (мозговые волны и мышечные датчики) в сочетании с телеоперацией, эгоцентрическим видео и лабораторным сбором физических данных для решения проблемы нехватки реальных данных в индустрии. Подход пока не доказал свою масштабируемость: эксперимент с мозговыми волнами находится в стадии активной оценки, а ключевой экономический компромисс заключается в том, что физические данные производить намного дороже, чем текстовые данные в масштабах интернета. Успех будет зависеть от того, действительно ли эти более богатые модальности данных значительно улучшат производительность роботизированных моделей и будет ли рынок физического ИИ расти достаточно быстро, чтобы оправдать столь значительные первоначальные инвестиции.