Jak Encord wykorzystuje czujniki fal mózgowych, EMG i teleoperację do tworzenia danych treningowych dla fizycznej AI

Vineeth Velmurugan, szef działu uczenia maszynowego robotów w Encord, określa to jako „najnowocześniejszą” próbę rozwiązania problemu wąskiego gardła danych w robotyce . Należy jednak podkreślić, że test jest w fazie aktywnej oceny: Encord planuje zbudować wstępny zestaw danych, przepuścić go przez modele robotyczne klientów, ocenić, czy poprawi to ich wydajność, i dopiero wtedy zdecydować o ewentualnym skalowaniu przedsięwzięcia .

Czujniki mięśniowe (EMG)

Równolegle Encord testuje czujniki mocowane na przedramieniu, które wykrywają sygnały elektryczne w mięśniach. Standardowe nagrania wideo dłoni często nie pokazują precyzyjnych pozycji palców, więc firma ma nadzieję odtworzyć trójwymiarową pozycję dłoni na podstawie sygnałów EMG, dając modelom bogatsze zrozumienie precyzyjnych manipulacji .

Dane z teleoperacji

W swoim centrum badawczo-rozwojowym w San Leandro Encord obsługuje pary ramion robotycznych typu „lider-naśladowca”. Ludzki operator bezpośrednio steruje jednym ramieniem, podczas gdy drugie odwzorowuje jego ruchy. Pozwala to na generowanie bardzo wiernych danych do zadań takich jak nalewanie kawy, układanie żetonów do pokera, podłączanie i odłączanie kabli Ethernet czy manipulacja przedmiotami gospodarstwa domowego . Według Encord, każda firma zajmująca się robotyką humanoidalną poprosiła o tego typu dane dotyczące konkretnych zadań .

Egocentryczne wideo (z perspektywy pierwszej osoby)

Piloci noszą kamery zamontowane na głowie, które rejestrują to, co oni widzą. Dane te są uzupełniane informacjami pochodzącymi z kilku fabryk na całym świecie. Stanowi to skalowalne źródło obserwacji ze świata rzeczywistego .

Zbiór w terenie i w laboratorium

Encord zatrudnia dedykowanych operatorów terenowych i zarządza elastycznymi środowiskami laboratoryjnymi, aby zbierać dane specyficzne dla danej formy (np. ramienia robota), w tym z czujników LiDAR, chmur punktów oraz zsynchronizowanych multimodalnych strumieni sensorycznych . Protokoły zbierania danych są projektowane od tyłu, zaczynając od potoku treningowego klienta, tak aby każda sekwencja była sklasyfikowana, zsynchronizowana i dostosowana do docelowego modelu . Firma wychwytuje również tryby awarii poprzez pętlę informacji zwrotnej z wdrożeń: gdy model zawiedzie w terenie, awaria jest rejestrowana za pomocą zdalnej teleoperacji i przekazywana z powrotem do procesu zbierania danych .

Kluczowe wyzwania techniczne

Udowodnienie wartości danych neuronalnych

Podejście Zander Labs polega na wnioskowaniu o stanach psychicznych na podstawie aktywności mózgu na dość ogólnym poziomie – na przykład mierząc, ile wysiłku poznawczego używa operator – a nie na dekodowaniu konkretnych myśli . Test musi wykazać, czy ten sygnał rzeczywiście poprawia działanie modeli robotycznych w porównaniu do standardowych danych wideo i teleoperacji. Jeśli poprawa będzie marginalna, koszt dodania EEG do każdej sesji zbierania danych może być nieuzasadniony.

Synchronizacja i adnotacja multimodalna

Fizyczna AI wymaga, aby dane z czujników takich jak wideo, głębia, LiDAR, audio, IMU, a teraz także EEG/EMG, były precyzyjnie zsynchronizowane w czasie i odpowiednio opisane. Encord zbudował wsparcie dla natywnych formatów (MCAP, ROSBAG) i fuzji sensorów, ale zarządzanie złożonością synchronizacji strumieni 2D, 3D i biosygnałów pozostaje trudnym problemem inżynieryjnym .

Różnorodność danych i rejestrowanie trybów awarii

Modele potrzebują dostępu do różnych środowisk, oświetlenia, operatorów i przypadków awarii. Encord wdraża pętlę informacji zwrotnej z wdrożeń, ale dane o awariach są powszechnie uważane za niedoceniane, choć niezbędne dla solidnej fizycznej AI . Bez wystarczającej liczby przypadków brzegowych, nawet modele trenowane na najbogatszych danych będą słabo generalizować.

Kluczowe wyzwania ekonomiczne

Ekstremalny koszt tworzenia danych fizycznych

W przeciwieństwie do dużych modeli językowych, które szkolą się na tekstach zebranych z internetu, fizyczna AI wymaga zastrzeżonych danych ze świata rzeczywistego, generowanych przez drogi sprzęt, ludzkich operatorów i kontrolowane środowiska. Model Encord jest świadomym krokiem w stronę droższej, bardziej wyspecjalizowanej produkcji danych – skalowanie jej jest znacznie mniej opłacalne niż zbieranie treści z sieci .

Wysokie wymagania kapitałowe

Encord zebrał łącznie 110 milionów dolarów, w tym 60 milionów w serii C w lutym 2026 roku, prowadzonej przez Wellington Management . Firma musi wydać ogromne sumy na infrastrukturę (laboratorium R&D w Zatoce San Francisco), sprzęt robotyczny, wyszkolony personel („pilotów”) i infrastrukturę do adnotacji danych – wszystko to na długo zanim większość klientów zacznie produkcyjne wdrażanie robotów na dużą skalę.

Luka symulacyjna

Symulacje mogą generować duże syntetyczne zestawy danych niskim kosztem, ale systematycznie nie oddają one rzeczywistej fizyki, przypadków brzegowych i precyzyjnych manipulacji. Encord i inni stawiają na to, że tylko prawdziwe dane z demonstracji ludzkich – ze swoim kosztem i niedoskonałościami – pozwolą wypełnić lukę między symulacją a rzeczywistością, która jest kluczowa dla robotyki ogólnego przeznaczenia .

Ryzyko związane z tempem wzrostu rynku

Encord prognozuje, że w ciągu najbliższych czterech lat pojawi się ponad 400 milionów inteligentnych robotów, co napędzi branżę fizycznej AI do wartości przekraczającej 30 miliardów dolarów rocznie . Jeśli tempo adopcji będzie wolniejsze niż oczekiwano, popyt na drogie, niestandardowe dane treningowe może nie zmaterializować się wystarczająco szybko, aby utrzymać obecne wydatki na infrastrukturę.

Podsumowanie

Encord jest pionierem w wykorzystaniu eksperymentalnych biosygnałów (fal mózgowych i czujników mięśniowych) wraz z teleoperacją, egocentrycznym wideo i zbieraniem danych fizycznych w laboratorium, aby rozwiązać problem braku danych treningowych ze świata rzeczywistego w branży. To podejście wciąż nie jest sprawdzone na dużą skalę: test z falami mózgowymi jest w fazie aktywnej oceny, a głównym kompromisem ekonomicznym jest to, że dane fizyczne są znacznie droższe w produkcji niż dane tekstowe z internetu. Sukces zależy od tego, czy te bogatsze modalności danych w znaczący sposób poprawią wydajność modeli robotycznych i czy rynek fizycznej AI będzie rósł wystarczająco szybko, aby uzasadnić początkowe inwestycje.