Стартап Encord тестує нейроінтерфейси та м'язові датчики, щоб навчити роботів виконувати фізичні завдання

Датчики м'язових сигналів (ЕМГ)

Водночас Encord тестує датчики, які кріпляться на передпліччя та виявляють електричні сигнали в м'язах. Стандартне відео рук часто приховує точне положення пальців, тому компанія сподівається реконструювати 3D-позу руки з цих ЕМГ-сигналів, надаючи моделям багатше розуміння маніпуляцій .

Дані телеоперації

У своєму дослідницькому центрі в Сан-Леандро Encord використовує пари роботизованих маніпуляторів типу «лідер-послідовник». Людина-оператор безпосередньо керує одним маніпулятором, тоді як другий точно повторює рухи, створюючи високоякісні дані для таких завдань, як наливання кави, складання фішок для покеру, під'єднання та від'єднання Ethernet-кабелів та маніпуляції з побутовими предметами . За даними Encord, кожна компанія, що займається антропоморфними роботами, запитувала такі набори даних .

Відео від першої особи (егоцентричне)

Пілоти носять нашоломні камери, які записують те, що вони бачать. Ці дані доповнюються даними, зібраними на кількох фабриках по всьому світу, що забезпечує масштабоване джерело реальних спостережень .

Польовий та лабораторний збір даних

Encord використовує спеціалізованих польових операторів та керує лабораторіями з конфігурованим середовищем для збору специфічних даних про взаємодію, включаючи LiDAR, хмари точок та синхронізовані мультимодальні потоки сенсорів . Протоколи збору розробляються «задом наперед» — від конвеєра навчання клієнта, щоб кожен епізод був класифікований, синхронізований та узгоджений з цільовою моделлю . Компанія також фіксує режими збоїв через цикл зворотного зв'язку після розгортання: коли модель виходить з ладу в польових умовах, цей збій фіксується за допомогою віддаленої телеоперації та повертається в політику збору даних .

Ключові технічні виклики

Доведення цінності нейронних даних

Підхід Zander Labs полягає у визначенні психічних станів на основі мозкової активності на загальному рівні — наприклад, вимірюючи, скільки когнітивних зусиль докладає пілот, а не декодуючи конкретні думки . Випробування має підтвердити, чи цей сигнал насправді покращує продуктивність роботизованої моделі порівняно зі стандартним відео та даними телеоперації. Якщо покращення буде незначним, витрати на додавання ЕЕГ до кожного сеансу збору даних можуть бути невиправданими.

Мультимодальна синхронізація та анотування

Фізичний ШІ вимагає, щоб дані з таких сенсорів, як відео, глибина, LiDAR, аудіо, IMU, а тепер і ЕЕГ/ЕМГ, були точно вирівняні за часом та анотовані разом. Encord створила підтримку для нативних форматів (MCAP, ROSBAG) та злиття сенсорів, але керування складністю синхронізації 2D-, 3D- та біосигнальних потоків залишається складним інженерним завданням .

Різноманітність даних та фіксація збоїв

Моделям потрібен вплив різноманітних середовищ, освітлення, операторів та випадків збоїв. Encord використовує цикл зворотного зв'язку після розгортання, але дані про невдачі вважаються недооціненими, хоча й важливими для надійного фізичного ШІ . Без достатньої кількості граничних випадків моделі, навчені навіть на найбагатших даних, погано узагальнюватимуть.

Ключові економічні виклики

Надзвичайна вартість створення фізичних даних

На відміну від LLM, які навчаються на тексті, зібраному з інтернету, фізичний ШІ потребує власних реальних даних, згенерованих за допомогою дорогого обладнання, людей-операторів та контрольованих середовищ. Модель Encord є навмисним переходом до більш дорогого та спеціалізованого виробництва даних, яке масштабується не так дешево, як веб-скрапінг .

Високі вимоги до капіталу

Encord залучила $110 млн загалом, включаючи $60 млн у рамках Серії C у лютому 2026 року під керівництвом Wellington Management . Компанія змушена витрачати значні кошти на приміщення (дослідницька лабораторія в затоці Сан-Франциско), роботизоване обладнання, навчений персонал («пілотів») та інфраструктуру анотування даних — і все це до того, як більшість клієнтів розгорнуть виробничі роботи в масштабі.

Розрив між симуляцією та реальністю

Симуляція може дешево генерувати великі синтетичні набори даних, але систематично не здатна відтворити реальну фізику, граничні випадки та тонку моторику. Encord та інші роблять ставку на те, що лише реальні дані людських демонстрацій — з усіма їхніми витратами та недосконалістю — зможуть подолати цей розрив, необхідний для створення універсальної робототехніки .

Ризик ринкового часу

Encord прогнозує, що понад 400 мільйонів інтелектуальних роботів з'являться в найближчі чотири роки, що підштовхне індустрію фізичного ШІ до понад $30 млрд на рік . Якщо впровадження відбуватиметься повільніше, ніж очікувалося, попит на дорогі індивідуальні тренувальні дані може не матеріалізуватися достатньо швидко, щоб виправдати поточні витрати на інфраструктуру.

Підсумок

Encord прокладає шлях у використанні експериментального збору біосигналів (мозкових хвиль та м'язових сенсорів) разом із телеоперацією, відео від першої особи та лабораторним збором фізичних даних, щоб подолати дефіцит реальних тренувальних даних в індустрії. Підхід все ще не доведений у масштабі: випробування мозкових хвиль триває, а ключовий економічний компроміс полягає в тому, що фізичні дані набагато дорожчі у виробництві, ніж текстові дані веб-масштабу. Успіх залежатиме від того, чи значно покращать ці багатші модальності даних продуктивність роботизованих моделей, і чи зросте ринок фізичного ШІ достатньо швидко, щоб виправдати початкові інвестиції.