Wie Encord mit Hirnströmen, Muskelströmen und Teleoperation die Trainingsdatenlücke der Physical AI schließen will

Physical AI – Systeme, mit denen Roboter greifen, gehen, fahren und manipulieren – steht vor einem Engpass, den kein noch so ausgefeiltes Modellarchitekturdesign beheben kann: einem akuten Mangel an realen Trainingsdaten. Anders als große Sprachmodelle, die mit Billionen von aus dem Internet gescrapten Wörtern trainiert werden können, benötigen Roboter hochauflösende, physische Daten aus der realen Welt. Diese Daten sind teuer in der Produktion, schwierig zu annotieren und knapp.

Encord, ein Unternehmen, das ursprünglich Daten-Tooling für KI-Teams entwickelte, versucht nun, diesen Engpass zu beheben, indem es selbst zum Daten-Hersteller wird. In einem Lagerhaus in San Leandro, Kalifornien, kombiniert das Unternehmen experimentelle Biosignal-Erfassung – Hirnströme und Muskelströme – mit groß angelegter Teleoperation, Ego-Video und Laborsammlung, um die Art von multimodalen Datensätzen zu produzieren, die Robotikunternehmen nicht ohne weiteres selbst erstellen können. So funktioniert es, und wo die Herausforderungen liegen.

Wie Encord Trainingsdaten sammelt

Hirnstromsensoren (EEG)

Encord-Operateure, die als „Piloten“ bezeichnet werden, tragen Headsets des deutschen Neurotech-Startups Zander Labs, die die Gehirnaktivität messen, während sie physische Aufgaben ausführen . Während ein Pilot vorsichtig einen Jenga-Turm auseinandimmt, erfasst das Headset Signale, die mentale Zustände wie Absicht, Fehlererkennung und Überraschung anzeigen. Das Ziel ist es, einen mit Hirnströmen annotierten Datensatz zu erstellen, der Robotermodellen helfen könnte, zu verstehen, wann sie einen höheren kognitiven Aufwand betreiben oder Fehlermodi erkennen müssen .

Encords Leiter des Roboterlernens, Vineeth Velmurugan, bezeichnet dies als die „absolute Spitze“ bei der Lösung des Robotik-Datenengpasses . Der Versuch befindet sich jedoch derzeit in der aktiven Evaluierung: Encord plant, einen ersten Datensatz zu erstellen, ihn durch kundeneigene Robotermodelle laufen zu lassen, zu prüfen, ob die Leistung verbessert wird, und erst dann über eine Skalierung zu entscheiden .

EMG-Sensoren (Muskelsignale)

Parallel testet Encord Sensoren, die am Unterarm befestigt werden und elektrische Signale in den Muskeln erfassen. Da Standard-Videoaufnahmen von Händen oft feine Fingerpositionen verdecken, hofft das Unternehmen, aus diesen EMG-Signalen 3D-Handposen rekonstruieren zu können, um den Modellen ein reichhaltigeres Verständnis von Geschicklichkeitsmanipulation zu geben .

Teleoperationsdaten

In seiner Forschungs- und Entwicklungseinrichtung in San Leandro betreibt Encord Leader-Follower-Roboterarme. Ein menschlicher Bediener steuert einen Arm direkt, während ein zweiter Arm die Bewegung nachahmt. So entstehen hochauflösende Daten für Aufgaben wie Kaffee einschenken, Pokerchips stapeln, Ethernet-Kabel ein- und ausstecken und die Manipulation von Haushaltsgegenständen . Laut Encord hat jedes humanoide Robotikunternehmen diese aufgabenspezifischen Datensätze angefordert .

Egozentrisches (First-Person-)Video

Die Piloten tragen an Helmen montierte Kameras, die das aufzeichnen, was sie sehen, ergänzt durch Daten aus mehreren Fabriken weltweit. Dies liefert eine skalierbare Quelle für reale Beobachtungsdaten .

Sammlung vor Ort und im Labor

Encord setzt spezielle Operateure vor Ort ein und betreibt rekonfigurierbare Laborumgebungen, um embodimentspezifische Daten zu sammeln, darunter LiDAR, Punktwolken und synchronisierte multimodale Sensorströme . Die Sammelprotokolle sind rückwärts aus der Trainingspipeline des Kunden entwickelt, sodass jede Episode klassifiziert, synchronisiert und auf das Zielmodell abgestimmt ist . Das Unternehmen erfasst auch Fehlermodi durch eine Deployment-Feedback-Schleife: Wenn ein Modell im Feld versagt, wird der Fehler per Fernbedienung erfasst und in die Datensammlungsrichtlinien zurückgespeist .

Wichtigste technische Herausforderungen

Nachweis des Werts neuronaler Daten

Zander Labs‘ Ansatz leitet mentale Zustände aus der Gehirnaktivität auf einer groben Ebene ab – zum Beispiel durch Messung des kognitiven Aufwands eines Piloten – und nicht durch Dekodierung spezifischer Gedanken . Der Versuch muss validieren, ob dieses Signal die Leistung des Robotermodells im Vergleich zu Standard-Video- und Teleoperationsdaten tatsächlich verbessert. Ist die Verbesserung nur marginal, sind die Kosten für die Hinzunahme von EEG zu jeder Datensammlungssitzung möglicherweise nicht gerechtfertigt.

Multimodale Synchronisation und Annotation

Physical AI erfordert, dass Sensoren wie Video, Tiefe, LiDAR, Audio, IMU und jetzt auch EEG/EMG präzise zeitlich abgeglichen und gemeinsam annotiert werden. Encord hat Unterstützung für native Formate (MCAP, ROSBAG) und Sensorfusion aufgebaut, aber die Bewältigung der Komplexität der Synchronisierung von 2D-, 3D- und Biosignalströmen bleibt ein schwieriges technisches Problem .

Datenvielfalt und Erfassung von Fehlermodi

Modelle benötigen Exposition gegenüber verschiedenen Umgebungen, Beleuchtungen, Operateuren und Fehlerfällen. Encord integriert eine Deployment-Feedback-Schleife, aber Fehlerdaten gelten allgemein als unterbewertet, sind aber für eine robuste Physical AI unerlässlich . Ohne genügend Randfälle werden selbst mit den reichhaltigsten Daten trainierte Modelle schlecht generalisieren.

Wichtigste wirtschaftliche Herausforderungen

Extreme Kosten der physischen Datenerstellung

Im Gegensatz zu LLMs, die mit aus dem Internet gescraptem Text trainiert werden, benötigt Physical AI proprietäre, reale Daten, die durch teure Hardware, menschliche Bediener und kontrollierte Umgebungen generiert werden. Encords Modell stellt eine bewusste Verschiebung hin zu einer teureren, spezialisierten Datenherstellung dar – es skaliert weniger kostengünstig als Web Scraping .

Hoher Kapitalbedarf

Encord hat insgesamt 110 Millionen US-Dollar eingesammelt, darunter eine Serie-C-Finanzierung in Höhe von 60 Millionen US-Dollar im Februar 2026 unter der Leitung von Wellington Management . Das Unternehmen muss hohe Ausgaben für Einrichtungen (sein F&E-Labor in der Bay Area), Roboterhardware, geschultes Personal („Piloten“) und Datenannotationsinfrastruktur tätigen – und das alles, bevor die meisten Kunden Produktionsroboter in großem Maßstab einsetzen.

Simulationslücke

Simulation kann kostengünstig große synthetische Datensätze generieren, aber sie erfasst systematisch keine reale Physik, Randfälle und feinkörnige Manipulationen. Encord und andere wetten darauf, dass nur reale menschliche Demonstrationsdaten – mit ihren Kosten und ihrer Unordnung – die Sim-to-Real-Lücke schließen können, die für die Allzweck-Robotik benötigt wird .

Marktzeitrisiko

Encord prognostiziert, dass in den nächsten vier Jahren über 400 Millionen intelligente Roboter online gehen und die Physical-AI-Branche auf über 30 Milliarden US-Dollar jährlich anwachsen wird . Sollte die Einführung langsamer als erwartet erfolgen, könnte die Nachfrage nach teuren, maßgeschneiderten Trainingsdaten nicht schnell genug anziehen, um die aktuellen Infrastrukturausgaben zu rechtfertigen.

Fazit

Encord ist mit experimenteller Biosignal-Erfassung (Hirnströme und Muskelsensoren) neben Teleoperation, Ego-Video und laborbasierter physischer Datensammlung führend, um den branchenweiten Mangel an realen Trainingsdaten zu beheben. Der Ansatz ist in großem Maßstab noch nicht bewiesen: Der Hirnstromversuch befindet sich in der aktiven Evaluierung, und der zentrale wirtschaftliche Kompromiss besteht darin, dass physische Daten weitaus teurer in der Produktion sind als Web-Scale-Textdaten. Der Erfolg hängt davon ab, ob diese reichhaltigeren Datenmodalitäten die Leistung von Robotermodellen signifikant verbessern und ob der Physical-AI-Markt schnell genug wächst, um die Vorabinvestitionen zu rechtfertigen.