Jak chce Encord pomocí mozkových vln, svalových signálů a teleoperace vyřešit krizi trénovacích dat pro roboty

Vedoucí robotického učení Encardu Vineeth Velmurugan to popisuje jako „nejmodernější“ přístup k řešení úzkého hrdla v robotických datech . Tento experiment je však zatím ve fázi aktivního vyhodnocování: Encord plánuje vytvořit počáteční datovou sadu, spustit ji skrze zákaznické robotické modely, posoudit, zda se výkon zlepšil, a teprve poté se rozhodnout, zda projekt rozšířit .

EMG senzory (svalové signály)

Souběžně Encord testuje senzory připevněné k předloktí, které detekují elektrické signály ve svalech. Standardní video rukou často zakrývá jemné pozice prstů, a tak firma doufá, že z těchto EMG signálů dokáže rekonstruovat 3D polohu ruky, což modelům poskytne bohatší porozumění obratné manipulaci .

Teleoperační data

Ve svém výzkumném a vývojovém zařízení v San Leandru provozuje Encord robotická ramena typu leader-follower. Lidský operátor přímo ovládá jedno rameno, zatímco druhé jeho pohyby napodobuje, čímž vznikají vysoce věrná data pro úkoly, jako je nalévání kávy, skládání žetonů do pokeru, zapojování a odpojování ethernetových kabelů nebo manipulace s předměty v domácnosti . Podle Encardu si tyto datové sady specifické pro daný úkol vyžádala každá firma zabývající se humanoidní robotikou .

Egocentrické (první osoba) video

Piloti nosí kamery na hlavě, které snímají to, co vidí; data jsou doplněna o záběry z několika továren po celém světě. To poskytuje škálovatelný zdroj pozorovacích dat z reálného světa .

Terénní a laboratorní sběr

Encord nasazuje vyhrazené terénní operátory a provozuje přestavitelné laboratorní prostředí pro sběr dat specifických pro dané provedení — včetně LiDARu, mračen bodů a synchronizovaných multimodálních senzorických proudů . Protokoly sběru jsou navrhovány zpětně od tréninkové pipeline zákazníka, takže každá epizoda je klasifikována, synchronizována a sladěna s cílovým modelem . Společnost také zachycuje chybové stavy pomocí zpětnovazební smyčky z nasazení: když model v terénu selže, selhání je zachyceno prostřednictvím vzdálené teleoperace a vráceno zpět do politik sběru dat .

Klíčové technické výzvy

Prokázání hodnoty neurálních dat

Přístup Zander Labs odvozuje mentální stavy z mozkové aktivity na hrubé úrovni — měří například, kolik kognitivního úsilí pilot vynakládá — spíše než aby dekódoval konkrétní myšlenky . Experiment musí ověřit, zda tento signál skutečně zlepšuje výkon robotického modelu ve srovnání se standardními video a teleoperačními daty. Pokud bude zlepšení marginální, náklady na přidání EEG do každé sběrné relace nemusí být ospravedlnitelné.

Multimodální synchronizace a anotace

Fyzická AI vyžaduje, aby senzory jako video, hloubka, LiDAR, audio, IMU a nyní i EEG/EMG byly přesně časově zarovnány a společně anotovány. Encord vybudoval podporu pro nativní formáty (MCAP, ROSBAG) a fúzi senzorů, ale zvládání složitosti synchronizace 2D, 3D a biosignálních proudů zůstává obtížným inženýrským problémem .

Datová diverzita a zachycování chybových stavů

Modely potřebují expozici různorodým prostředím, osvětlením, operátorům a chybovým případům. Encord integruje zpětnovazební smyčku z nasazení, ale chybová data jsou všeobecně považována za nedoceněná, přestože jsou pro robustní fyzickou AI nezbytná . Bez dostatečného množství okrajových případů budou modely trénované i na těch nejbohatších datech generalizovat špatně.

Klíčové ekonomické výzvy

Extrémní náklady na tvorbu fyzických dat

Na rozdíl od LLM, které se trénují na textech stažených z internetu, vyžaduje fyzická AI proprietární, reálná data generovaná drahým hardwarem, lidskými operátory a kontrolovaným prostředím. Model Encord představuje vědomý posun k dražší, specializované výrobě dat — škáluje se mnohem hůře než stahování z webu .

Vysoké kapitálové požadavky

Encord získal celkem 110 milionů dolarů, včetně 60milionové série C v únoru 2026 vedené Wellington Management . Firma musí masivně utrácet za zařízení (své výzkumné laboratoře v Bay Area), robotický hardware, vyškolený personál („piloti“) a infrastrukturu pro anotaci dat — a to vše dříve, než většina zákazníků nasadí výrobní roboty ve velkém měřítku.

Problém simulací

Simulace dokáže levně vygenerovat velké syntetické datové sady, ale systematicky selhává v zachycení reálné fyziky, okrajových případů a jemnozrnné manipulace. Encord a další vsází na to, že pouze reálná lidská demonstrační data — se svými náklady a nepořádkem — dokážou překlenout propast mezi simulací a realitou potřebnou pro univerzální robotiku .

Riziko načasování trhu

Encord očekává, že v příštích čtyřech letech bude online přes 400 milionů inteligentních robotů, což posune odvětví fyzické AI přes 30 miliard dolarů ročně . Pokud bude adopce pomalejší, než se očekává, poptávka po drahých zakázkových trénovacích datech nemusí materializovat dostatečně rychle na to, aby udržela současné investice do infrastruktury.

Shrnutí

Encord je průkopníkem experimentálního zachycování biosignálů (mozkové vlny a svalové senzory) spolu s teleoperací, egocentrickým videem a laboratorním sběrem fyzických dat, aby řešil nedostatek reálných trénovacích dat v oboru. Tento přístup je zatím neprokázaný ve velkém měřítku: experiment s mozkovými vlnami je v aktivním vyhodnocování a základním ekonomickým kompromisem je, že fyzická data jsou mnohem dražší na výrobu než textová data z webu. Úspěch závisí na tom, zda tyto bohatší datové modality smysluplně zlepší výkon robotických modelů a zda trh s fyzickou AI poroste dostatečně rychle, aby ospravedlnil počáteční investice.