Roboter lernen im Simulator: NVIDIA-Forschung zeigt Durchbruch bei der Übertragung in die reale Welt

Die acht Papiere: Ein umfassender Vorstoß in die Praxis

Die acht Papiere adressieren gemeinsam die Kernherausforderungen, vor denen Robotikentwickler heute stehen – von der Mehrarm-Koordination bis hin zu Vision-Language-Action-Argumentationsketten.

ScheduleStream: Dreimal schnellere Mehrarm-Planung

Herkömmliche Software zur Roboter-Einsatzplanung verarbeitet Arme sequenziell und schafft so Engpässe in Mehrarm-Zellen. ScheduleStream verlagert die Berechnungen auf GPUs (Grafikprozessoren), sodass mehrere Arme ihre Bewegungen parallel planen und ausführen können. Auf der Edge-KI-Plattform NVIDIA Jetson lieferte dies eine dreifache Beschleunigung in Mehrarm-Planungsszenarien. Das Framework ist auf GitHub als Open Source verfügbar .

COMPASS: Körperübergreifende Navigation mit 80 % Erfolg im Realbetrieb

Roboter zu bauen, die mit unterschiedlichen Körpern navigieren – etwa Radfahrzeuge oder Humanoide – ist notorisch schwierig. Das COMPASS-Framework trainiert zunächst mit Imitationslernen eine Basis-Navigationsstrategie und nutzt dann Residual Reinforcement Learning in NVIDIA Isaac Lab, um spezialisierte Strategien für verschiedene Bauformen zu erzeugen – und das alles in der Simulation. Im Vergleich zu reinem Imitationslernen erreichte COMPASS eine 4,5-fache Verbesserung der Erfolgsquote. Es ließ sich zudem nahtlos in die Realität übertragen und erzielte rund 80 % Erfolg bei 20 realen Navigationstests mit autonomen mobilen Robotern und Humanoiden .

Grasp-MPC: Adaptives Greifen mit spontanen Korrekturen

Starre Greifpläne scheitern, wenn Objekte verrutschen oder die anfängliche Einschätzung minimal daneben liegt. Grasp-MPC korrigiert die Bewegung des Roboters kontinuierlich, während er sich einem Objekt nähert. Die Forscher erzeugten zwei Millionen simulierte Trajektorien mit 8.000 Objekten, indem sie den GraspGen-Datensatz und cuRobo nutzten, eine CUDA-beschleunigte Bibliothek zur Bewegungsgenerierung. Auf realen Robotern erreichte Grasp-MPC damit eine Gesamterfolgsquote von rund 75 % beim Greifen, verglichen mit 41 % bei einer herkömmlichen Methode .

Manipulation verformbarer Cluster: Null-Schuss-Aufräumen

Das Hantieren mit verheddertem, flexiblem Material – etwa Ästen über Stromleitungen – erfordert mehr als einen Präzisionsgreifer. Forscher von NVIDIA trainierten Strategien, die den gesamten Arm nutzen, um solche Cluster beiseite zu schieben, und verwendeten dafür Tausende synthetischer Bäume in den Simulations-Frameworks von Isaac. Das Ergebnis: Die Strategien wurden ohne zusätzliches Training eins zu eins auf echte Äste übertragen .

PEEK: Fokussierte Wahrnehmung für 41-fachen Genauigkeitssprung

Ablenkende Elemente im Kamerabild können selbst gut trainierte Manipulationsstrategien zunichtemachen. PEEK nutzt ein Vision-Language-Model, um eine Aufgabenanweisung zu lesen und die Roboterwahrnehmung auf die relevanten Objekte zu fokussieren, während alles andere ausgeblendet wird. Für eine rein simulativ trainierte Strategie brachte PEEK eine 41-fache Verbesserung der realen Genauigkeit. Bei großen Vision-Language-Action-Modellen (VLA) lagen die Steigerungen zwischen dem Zwei- und 3,5-Fachen. PEEK lässt sich ohne Anpassung mit jeder kamerabasierten Strategie kombinieren .

Do What You Say (SEAL): Die Lücke zwischen Denken und Handeln schließen

Das SEAL-Framework – eine Zusammenarbeit mit der Carnegie Mellon University, der University of Utah und der University of Sydney – adressiert ein tückisch alltägliches Problem: Das Modell denkt korrekt, wählt den richtigen Plan, führt aber etwas anderes aus. SEAL generiert mehrere mögliche Handlungssequenzen, simuliert, wohin jede führt, und wählt die aus, die am besten zur formulierten Absicht passt. Es liefert bis zu 15 % Genauigkeitssteigerung gegenüber früheren Arbeiten und ist robust gegenüber umformulierten Anweisungen, unaufgeräumten Umgebungen und veränderten Kamerawinkeln .

Refinery: Montageschritte verketten mit 91 % Erfolg in der Simulation

Bei mehrteiligen Montagen beeinflusst das Ergebnis jedes Schrittes den nächsten. Refinery trainiert Strategien, die diese Abhängigkeiten verstehen, und lernt dabei aus Hunderten simulierter Szenarien. Es erreicht 91 % Erfolg in der Simulation und eine durchschnittliche Verbesserung von knapp 11 % gegenüber herkömmlichen Methoden. Die Strategien lassen sich für lange, komplexe Montagesequenzen nahtlos aneinanderreihen .

Bildbasiertes Sim-to-Real RL für geschickte humanoide Aufgaben

Ein separates bildbasiertes Sim-to-Real-Konzept zum bestärkenden Lernen (Reinforcement Learning, RL) trainierte einen humanoiden Roboter für Aufgaben wie Greifen-und-Erreichen, Kistenheben und beidhändige Übergaben. Der Ansatz zeigte hohe Erfolgsquoten bei unbekannten Objekten mit robustem, anpassungsfähigem Verhalten – ein deutliches Zeichen, dass bildbasierte, geschickte Manipulation mittels Sim-to-Real RL praktikabel und skalierbar ist .

Die zugrundeliegenden Plattformen: GR00T, Cosmos, Newton, cuMotion und Jetson

Die acht Papiere stützen sich auf mehrere übergreifende Plattformen von NVIDIA, die aus Simulation eine praxistaugliche, durchgängige Entwicklungsumgebung machen:

• NVIDIA Isaac GR00T: Eine Forschungsinitiative und Entwicklungsplattform für universelle Roboter-Basismodelle. Sie bietet offene Modelle (die GR00T-N-Serie) für humanoide Entscheidungsfindung und Steuerung, Simulations-Frameworks auf Basis von Omniverse und Cosmos sowie den Edge-Computer Jetson AGX Thor .
• NVIDIA Cosmos Weltmodelle: Eine Plattform mit modernsten generativen Welt-Basismodellen, um maßgeschneiderte Weltmodelle in großem Maßstab zu erstellen. Sie unterstützt die synthetische Datengenerierung und die Evaluation von Strategien komplett in der Simulation .
• Newton 1.0 Physik-Engine: Eine quelloffene, GPU-beschleunigte Physik-Engine, die gemeinsam mit Google DeepMind und Disney Research entwickelt wurde und jetzt in NVIDIA Isaac Lab verfügbar ist. Sie hilft, leistungsfähigere und anpassungsfähigere Roboter zu entwickeln .
• NVIDIA cuMotion: Eine CUDA-beschleunigte Bibliothek, die Bewegungsplanungsprobleme im großen Stil löst, indem sie mehrere Trajektorienoptimierungen gleichzeitig ausführt, um die beste Lösung zu liefern .
• NVIDIA Jetson Edge-KI-Plattform: Die Hardware-Plattform, die direkt auf den Robotern läuft. Sie diente unter anderem als Basis für die dreifache Beschleunigung durch ScheduleStream und beherbergt im Jetson AGX Thor den vollständigen Roboter-Stack .

Partner, die Sim-to-Real-Effizienz in der Praxis nutzen

Toyota Research Institute reduziert Bedarf an realen Trainingsdaten

Das Toyota Research Institute (TRI) hat NVIDIA Cosmos Welt-Basismodelle für dynamische Ansichtssynthese und Roboter-Teleoperation maßgeschneidert und so den Bedarf an realen Trainingsdaten für bildbasierte Manipulationsstrategien deutlich verringert .

Mimic Robotics: Zehnfach bessere Dateneffizienz

Mimic Robotics entwickelte mit den Plattformen von NVIDIA ein Video-Action-Modell, das eine zehnfach bessere Dateneffizienz und eine zweifach schnellere Konvergenz bei realen Manipulationsaufgaben erreicht. Das reduziert die Anzahl teurer realer Demonstrationen drastisch .

Doosan Robotics ermöglicht kontextbewusstes Palettieren

Doosan nutzt NVIDIA Cosmos Reason, damit Palettierroboter den Inhalt von Kartons analysieren, Schäden erkennen und ihre Handhabung an Gewicht und Zerbrechlichkeit anpassen können – und das ohne erschöpfende reale Trainingsdaten .

Das große Ganze: Von einstudierten Vorführungen zur autonomen Körperlichkeit

NVIDIA selbst ordnet diese Arbeiten als Teil eines grundlegenden Wandels in der Robotikindustrie ein:

„Die Robotik tritt in eine neue Phase ein: Sie bewegt sich von kontrollierten Vorführungen und starrer Automatisierung hin zu einer verallgemeinerbaren, zuverlässigen autonomen Körperlichkeit in der realen Welt.“

Der Sim-to-Real-Transfer ist längst keine akademische Spielerei mehr. Die acht ICRA-Papiere zeigen, dass er die gesamte Bandbreite abdeckt: parallele Mehrarm-Koordination, körperübergreifende Strategieverallgemeinerung, Greifen neuer Objekte in unaufgeräumten Umgebungen, Null-Schuss-Manipulation verformbarer Gegenstände, präzise sequenzielle Montage und Vision-Language-Action-Modelle, die erst denken und dann handeln . Die zentrale Botschaft ist klar: Simulationsbasiertes Training – und nicht die Abhängigkeit von riesigen Mengen realer menschlicher Vorführungen – ist der skalierbare Weg zu Robotern, die in unstrukturierten, dynamischen Umgebungen robust funktionieren.