AntwortenVeröffentlicht19 Quellen
GE-Act 2.0: Was 30.000 Stunden Manipulationsdaten tatsächlich bringen
AgiBot berichtet, dass eine Skalierung der Trainingsdaten von 300 auf 30.000 Stunden die Zero Shot Erfolgsquote auf dem G1 OP von 17,1 auf 44,1 Prozent und auf dem G2 90D von 13,4 auf 31,1 Prozent erhöhte. GE Act 2.0 wird von zufällig initialisierten Komponenten direkt mit Manipulationsdaten trainiert, statt ein vor...
Veröffentlicht vonBearbeitet mit GPT-5.6 TerraBilder erstellt mit GPT Image 2
Forschungsantwort
Wichtige Erkenntnisse
- AgiBot berichtet, dass eine Skalierung der Trainingsdaten von 300 auf 30.000 Stunden die Zero Shot Erfolgsquote auf dem G1 OP von 17,1 auf 44,1 Prozent und auf dem G2 90D von 13,4 auf 31,1 Prozent erhöhte.
- GE Act 2.0 wird von zufällig initialisierten Komponenten direkt mit Manipulationsdaten trainiert, statt ein vortrainiertes Web Video Modell anzupassen.
- Besonders relevant ist der berichtete „Light up“ Effekt: Mit mehr Daten funktionierten auch zuvor erfolglose Feinmanipulationen wie Handtuchfalten oder das Ineinanderstapeln von Bechern.
KI-Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is AgiBot’s GE-Act 2.0 native world-action model, and how do its random-initialization training approach, 100-fold embodied-data scalin. Article summary: GE-Act 2.0 is AgiBot’s “native” world–action model: its visual representation, future-state generation, and action-prediction components are trained from random initialization on manipulation data, rather than adapting a. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
GE-Act 2.0 ist AgiBots Versuch, ein roboterorientiertes Welt-Aktions-Modell von Grund auf zu trainieren. Anders als Systeme, die ein allgemeines, mit Webvideos vortrainiertes Modell weiterverwenden, starten die trainierbaren Komponenten für Sehen, Zukunftsvorhersage und Aktion bei zufälligen Anfangswerten und werden mit Daten realer Manipulationen vortrainiert. Die zentrale Aussage lautet nicht nur, dass der Roboter mit mehr Daten zuverlässiger wird: Laut AgiBot beginnen zuvor nicht lösbare Feinaufgaben zu funktionieren, wenn der Trainingsumfang von 300 auf 30.000 Stunden wächst. 17
Das ist ein beachtliches Forschungsergebnis – sollte aber präzise gelesen werden. Die Evidenz stammt aus AgiBots eigener Evaluation auf zwei Robotertypen und 100 elementaren Aufgaben. Sie zeigt nicht, dass GE-Act 2.0 beliebige Wohnungen, Fabriken oder Robotermodelle selbstständig beherrschen kann.
Die Grundidee: einen nützlichen Zielzustand vorwegnehmen und darauf hinarbeiten
Ein Welt-Aktions-Modell verbindet Wahrnehmung, Vorhersage und Steuerung. Bei einer Sprachvorgabe wie „Lege den Gegenstand an diesen Ort“ muss das System die Szene erfassen, einen passenden erfolgreichen Folgezustand antizipieren und Motorbefehle erzeugen, die dorthin führen.
GE-Act 2.0 teilt diese Aufgabe laut AgiBot in drei Komponenten:
- Kontrollorientierter Autoencoder (CoAE): Verdichtet visuelle Eingaben, soll dabei aber Informationen bewahren, die für Anweisung und Roboteraktion entscheidend sind.
- Einstufiger visueller Planer (SVP): Erzeugt in einem differenzierbaren Durchlauf einen fertig gedachten, nützlichen zukünftigen Bildzustand, statt lange Videosequenzen schrittweise auszurollen.
- Modell der inversen Dynamik (IDM): Leitet aus aktuellem Zustand und geplantem Folgezustand ausführbare Roboteraktionen ab.
17
Die Trainingsmethode nennt AgiBot Knowledge-Aligned Selective Optimization (KASO). Sie soll die visuelle Planung und das Aktionslernen koordinieren, obwohl beide Teile zunächst auf ergänzenden Daten vortrainiert werden können. 17
Für einen Aktionsblock nennt das Team eine Inferenzzeit von 104 Millisekunden auf einer einzelnen RTX 5090. Das ist für Manipulation relevant: Ein Roboter muss seine Umgebung fortlaufend beobachten und reagieren; ein optisch plausibler Plan genügt nicht, wenn der nächste Steuerbefehl zu spät kommt. 5
Was „von Grund auf trainiert“ hier bedeutet
Viele Robotiksysteme profitieren von Modellen, die zuvor auf großen Bild- oder Webvideo-Datensätzen trainiert wurden. GE-Act 2.0 initialisiert seine trainierbaren generativen und aktionsbezogenen Bestandteile dagegen zufällig und trainiert sie direkt mit Manipulationsdaten. 17
Damit wird der Skalierungstest klarer eingegrenzt: Untersucht wird, ob zusätzliche verkörperte Daten – also Daten, die mit physischen Interaktionen und Aktionen verbunden sind – die Manipulationsleistung systematisch verbessern. Nicht gemessen wird der Nutzen eines bereits vorhandenen Webvideo-Grundmodells.
Die beschriebene Datenmischung kann Robotertrajektorien aus Teleoperation, Ego-Videos von Menschen, unbeschriftete Rollout-Daten und auch Fehlschläge umfassen. Das ist wichtig, weil hochwertige Roboterdemonstrationen teuer sind. Ein Ansatz, der aus unvollständigen oder nur teilweise gelabelten Interaktionen lernen kann, könnte die Datensammlung praktikabler machen. 6
20
Der Skalierungstest über den Faktor 100
AgiBot trainierte Modellvarianten mit 300, 1.200, 5.000 und 30.000 Stunden Manipulationsdaten. Der Vergleich umfasst damit eine Verhundertfachung der Datenmenge. 4
17
Die zentrale Auswertung war als Zero-Shot-Test auf realen Robotern angelegt:
- 100 elementare Manipulationsaufgaben
- 20 Fertigkeitsgruppen
- unbekannte Szenen, Hintergründe, Lichtbedingungen und Objektinstanzen
- zwei Roboterausführungen: der humanoide G1-OP und der mobile Manipulator G2-90D
- kein auf die Testaufgaben zugeschnittenes Fine-Tuning, keine Demonstrationen und kein Modellaustausch während der Auswertung.
4
Unter diesem Protokoll stieg die aggregierte Erfolgsquote laut Bericht mit der Datenmenge:
| Roboterausführung | Erfolg bei 300 Stunden | Erfolg bei 30.000 Stunden |
|---|---|---|
| G1-OP | 17,1 % | 44,1 % |
| G2-90D | 13,4 % | 31,1 % |
Dabei handelt es sich um die von der GE-Act-2.0-Studie berichteten Werte. 3
17
Die direkteste Schlussfolgerung lautet: Für dieses Modell und diese Aufgabenverteilung ging mehr verkörperte Trainingsdaten mit deutlich höherem Zero-Shot-Erfolg einher. Die berichteten Kurven zwischen 5.000 und 30.000 Stunden zeigen kein offensichtliches Plateau; die Autoren werten das als Hinweis darauf, dass weitere Skalierung noch helfen könnte. 5
Warum der „Light-up“-Effekt interessant ist
Eine höhere durchschnittliche Erfolgsquote könnte schlicht bedeuten, dass ein Roboter Aufgaben, die er grundsätzlich schon konnte, verlässlicher ausführt. AgiBot argumentiert, dass im größeren Modell-Daten-Regime etwas Weitergehendes sichtbar wurde: Immer mehr Aufgaben erreichten überhaupt erst eine Erfolgsquote über null.
Beim G1-OP stieg die berichtete Zahl der elementaren Aufgaben mit mindestens einer erfolgreichen Ausführung von 39 auf 76 von 100, als die Trainingsdaten von 300 auf 30.000 Stunden anwuchsen. 4
Als Beispiele nennt AgiBot:
- Handtücher falten
- Becher ineinanderstapeln
- Stiftkappen abziehen und wieder aufsetzen
- Blumen arrangieren.
8
Darauf bezieht sich die Bezeichnung „Light-up“. In den berichteten Versuchen ging die Datenskalierung nicht nur mit besserer Ausführung etablierter Fähigkeiten einher. Feinere Aufgaben wurden unter Zero-Shot-Bedingungen erst in der größeren Trainingsvariante machbar, nachdem sie bei kleineren Datenmengen erfolglos geblieben waren.
„Light-up“ ist allerdings kein Beweis für plötzlich entstandene allgemeine Intelligenz. Der Begriff beschreibt die beobachtete Aufgabenabdeckung in einem begrenzten Benchmark. Ob sich dasselbe Muster bei vielfältigeren Objekten, länger dauernden Arbeitsabläufen, sicherheitskritischen Anwendungen oder neuen Robotertypen wiederholt, bleibt offen.
Was das Ergebnis des G2-90D über Transfer verrät
Der G2-90D liefert in der Studie den Hinweis auf Transfer zwischen unterschiedlichen Roboterkörpern. AgiBot berichtet, dass dieser fahrende mobile Manipulator weniger als 2 Prozent der gemeinsam trainierten Daten ausmachte, seine aggregierte Erfolgsquote zwischen der kleinen und der großen Datenbedingung aber um 17,7 Prozentpunkte stieg. 3
17
Das legt nahe, dass sich zumindest Teile der gelernten visuellen und aktionsrelevanten Struktur über verschiedene Roboterausführungen hinweg teilen lassen. Für eine Zukunft, in der Steuerungsmodelle nicht für jede Maschine vollständig neu entwickelt werden müssen, ist das ein nützliches Signal.
Es belegt jedoch keine hardwareunabhängige Roboterintelligenz. Die Evidenz beschränkt sich auf zwei getestete Ausführungen und die Aufgabenverteilung der Studie. Der G2-90D war zudem in den gemeinsamen Trainingsdaten vertreten; ein Transfer ohne Daten auf einen beliebigen neuen Roboter wurde nicht gezeigt.
Wie GE-Act und GE-Sim zusammenhängen
GE-Act gehört zu AgiBots breiterer Plattform Genie Envisioner (GE). Diese wird als gemeinsamer videogenerativer Rahmen für Robotik-Policy-Lernen, Evaluation und Simulation beschrieben. 18
In diesem Rahmen ist GE-Act die aktionsorientierte Komponente. GE-Sim ist dagegen eine Welt-Simulationskomponente, die aktionskonditionierte Rollouts für Entwicklung und Bewertung erzeugen soll. 18
19
Die Unterscheidung ist wichtig: Das zentrale Ergebnis zu GE-Act 2.0 beruht auf Zero-Shot-Tests an physischen Robotern. GE-Sim kann relevante Infrastruktur innerhalb der größeren Plattform sein, bildet aber nicht die Grundlage für die Kernbehauptung, dass das Modell die berichteten realen Manipulationsaufgaben ohne aufgabenspezifisches Fine-Tuning oder Testdemonstrationen ausführte.
Fine-Tuning-Benchmarks sind ein separates Ergebnis
AgiBot berichtet zusätzlich Ergebnisse nach Fine-Tuning auf simulationsorientierten Benchmarks. In den bereitgestellten Angaben erreicht GE-Act 2.0 im RoboTwin-Test mit unbekannten Umgebungen 60,52 Prozent Erfolg und beim Befolgen von Anweisungen in GenieSim einen Wert von 0,770; Letzterer lag laut Bericht über den verglichenen Ergebnissen von π0.5 und GR00T N1.7. 20
Diese Werte können für Anpassungsfähigkeit und Benchmark-Leistung aufschlussreich sein, beantworten aber eine andere Frage als der Zero-Shot-Versuch auf physischen Robotern. Fine-Tuning-Ergebnisse sollten daher nicht als Beleg dafür gelesen werden, dass dieselbe Fähigkeit ohne aufgabenspezifische Anpassung erreicht wurde.
Das praktische Fazit
GE-Act 2.0 ist bemerkenswert, weil es eine einfache, aber wichtige Frage der verkörperten KI prüft: Kann ein direkt mit Manipulationsdaten trainiertes Welt-Aktions-Modell mit wachsender Datenmenge vorhersehbar besser werden?
Im von AgiBot berichteten Experiment lautet die Antwort: ja. Die Ausweitung von 300 auf 30.000 Trainingsstunden ging auf G1-OP und G2-90D mit deutlichen Zugewinnen beim Zero-Shot-Erfolg, einer breiteren Aufgabenabdeckung und dem Auftreten feiner Fähigkeiten wie Handtuchfalten und Bechernestung in der größeren Datenbedingung einher. 3
4
17
Die angemessene Schlussfolgerung ist enger als das Versprechen eines Allzweckroboters: GE-Act 2.0 liefert Evidenz dafür, dass die Skalierung verkörperter Manipulationsdaten in einer kontrollierten Evaluation auf realen Robotern neue, messbare Fähigkeiten hervorbringen kann. Unabhängige Replikationen, Tests auf breiterer Hardware sowie belastbarere Prüfungen von Langzeitverhalten und Sicherheit sind weiterhin nötig, bevor daraus eine allgemeine Lösung für Roboterautonomie wird.
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Die Leute fragen auch
Wie lautet die kurze Antwort auf „GE-Act 2.0: Was 30.000 Stunden Manipulationsdaten tatsächlich bringen“?
AgiBot berichtet, dass eine Skalierung der Trainingsdaten von 300 auf 30.000 Stunden die Zero Shot Erfolgsquote auf dem G1 OP von 17,1 auf 44,1 Prozent und auf dem G2 90D von 13,4 auf 31,1 Prozent erhöhte.
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
AgiBot berichtet, dass eine Skalierung der Trainingsdaten von 300 auf 30.000 Stunden die Zero Shot Erfolgsquote auf dem G1 OP von 17,1 auf 44,1 Prozent und auf dem G2 90D von 13,4 auf 31,1 Prozent erhöhte. GE Act 2.0 wird von zufällig initialisierten Komponenten direkt mit Manipulationsdaten trainiert, statt ein vortrainiertes Web Video Modell anzupassen.
Was soll ich als nächstes in der Praxis tun?
Besonders relevant ist der berichtete „Light up“ Effekt: Mit mehr Daten funktionierten auch zuvor erfolglose Feinmanipulationen wie Handtuchfalten oder das Ineinanderstapeln von Bechern.