Zeva: Kausales Gedächtnis für Roboter ohne Gewichts-Updates

Zeva ist ein Verfahren zur Anpassung von Robotern während des Einsatzes. Die Gewichte der Cosmos3-basierten Policy bleiben eingefroren. Statt nach einem Fehlschlag Daten zu sammeln, zu annotieren und das Modell neu zu trainieren, speichert der Roboter, welche physische Wirkung seine Aktion hatte, und ruft diese Erfahrung bei der nächsten Entscheidung als Kontext ab. 15

Der entscheidende Unterschied: Zeva lernt praktisch gesehen hinzu, aber nicht dauerhaft in den Modellparametern. Es handelt sich um speicherbasierte Anpassung im Kontext – nicht um klassisches Fine-Tuning.

Die drei Bausteine

1. Causal Transition Encoder: Aktion und Wirkung verknüpfen

Nach jeder Aktion verarbeitet der Causal Transition Encoder (CTE) den visuellen Zustand, die ausgeführte Aktion und die beobachtete Zustandsänderung. Daraus entsteht eine latente Repräsentation der Interaktion. Sie wird in einen Token für die Aufgabenphase und ein Signal für die durch die Aktion ausgelöste Dynamik aufgeteilt. Ziel ist, nicht beiläufige Bildmerkmale wie Hintergrund oder Beleuchtung zu speichern, sondern etwa: Der Greifer hat sich geschlossen – das Reagenzglas wurde dabei nicht sicher angehoben. 14

2. Zwei Gedächtnisse für zwei Zeitskalen

Zeva trennt frische Beobachtungen von über mehrere Versuche verdichteter Erfahrung:

• Brief Interaction Trace (BIT): Dieses Kurzzeitgedächtnis hält fest, was im laufenden Versuch gerade passiert ist. Es soll helfen, einen unmittelbar vorausgehenden Fehler zu korrigieren oder sich an lokale physische Besonderheiten anzupassen. 1
• Persistent Interaction Memory (PIM): Dieses persistentere Gedächtnis sammelt und konsolidiert relevante Hinweise über wiederholte Versuche innerhalb derselben Episode hinweg. So können frühere Fehlversuche ebenso wie erfolgreiche Abläufe spätere Wiederholungen beeinflussen. 1

3. Kontext-Injektion in die eingefrorene Policy

Vor einer weiteren Aktion sucht Zeva aus beiden Speichern nach kausalen Erfahrungen, die zur aktuellen Aufgabenphase passen. Diese werden zu einem „Causal Prompt“ aufbereitet und in den Pfad zur Aktionsgenerierung der eingefrorenen Foundation-Policy eingespeist. Die Policy kann ihr Verhalten damit verändern, ohne dass Gradienten berechnet oder Parameter aktualisiert werden. 15

Für den Betrieb könnte das bedeuten: Nach einer ungewohnten Objektanordnung oder einem unerwarteten physikalischen Verhalten wären weder neue Labels noch ein Trainingslauf, eine neue Modellversion oder eine längere Unterbrechung nötig. 16

Welche Resultate wurden berichtet?

In der Simulations-Teilmenge RoboCasa365-Atomic5 mit fünf Aufgaben meldet Zeva eine durchschnittliche Erfolgsrate von 76,8 %. Fast-WAM kam dort auf 72,4 %, Cosmos3-Nano auf 64,8 %. 1

Für reale Level-1-Aufgaben in ChemLab-Evo mit einem ARX-Roboter wurden über wiederholte Versuche folgende Steigerungen berichtet:

• Reagenzglas aufnehmen: von 65 % auf 100 %
• Becherglas platzieren: von 25 % auf 70 %
• Wasser eingießen: von 30 % auf 80 % 1

In der abschließenden Level-1-Tabelle erreicht Zeva für diese drei Aufgaben 100 %, 70 % und 80 % – im Schnitt 83,3 %. Zum Vergleich: Cosmos3-Nano liegt bei 80 %, 70 % und 60 %, Fast-WAM bei 85 %, 70 % und 75 %. 1

Eine oft zitierte Kurve zeigt zudem einen Anstieg der kumulierten Erfolgsrate von rund 26 % im ersten auf 73 % im vierten Evolutionsversuch. Das primäre bereitgestellte Material ordnet diese Darstellung allerdings RoboCasa365 zu, nicht ChemLab-Evo. Die Zuordnung der 26-zu-73-%-Kurve zu ChemLab-Evo ist auf Basis der Primärquelle daher nicht belastbar. 1

Was bringt eine einzige menschliche Demonstration?

Eine physisch geführte menschliche Ausführung kann als einmaliger Warm-up in denselben Interaktionsspeicher aufgenommen werden. Die Policy bleibt dabei eingefroren und verwendet später den kausalen Kontext dieser Demonstration, um die Abfolge nachzuvollziehen und auszuführen. 6

Das gelieferte Material bestätigt dieses One-shot-Warm-up qualitativ. Verifizierte Vorher-nachher-Zahlen speziell für das Platzieren eines Becherglases oder das Eingießen liefert es jedoch nicht. Belastbar ist daher nur: Eine menschliche Demonstration kann diese Aufgaben anstoßen oder unterstützen – nicht, um welchen exakten Wert sie die Erfolgsrate erhöht. 6

Warum Chemieaufgaben?

ChemLab-Evo ist ein anspruchsvolles Testfeld für Manipulation: kleine Behälter, präzise Greif- und Platzierbewegungen, Kippen und Eingießen sowie mehrstufige Laborabläufe. Fehler lassen sich häufig an ihren physischen Folgen erkennen. Der Benchmark umfasst sieben Aufgaben – von Grundoperationen wie Reagenzglas aufnehmen, Becherglas platzieren und Wasser eingießen bis zu kürzeren Sequenzen und längeren Prozeduren wie Titration, Salzlösungsherstellung, Wiegen und Extraktion. 1

Damit lässt sich prüfen, ob ein Roboter wirklich Beziehungen zwischen Handlung und Wirkung überträgt – statt nur eine visuelle Demonstration nachzuahmen.

Warum schwächere Basismodelle stärker profitieren könnten

Eine plausible Erklärung ist der größere Spielraum nach oben: Eine schwächere vortrainierte Policy macht in einer veränderten physischen Umgebung mehr systematische Fehler. Korrektive Interaktionserfahrung kann dann mehr dieser Fehler ausräumen. Ein bereits starkes Basismodell scheitert seltener; entsprechend bleibt weniger Potenzial für Verbesserungen durch den Speicher.

Das ist jedoch keine nachgewiesene allgemeine Gesetzmäßigkeit. Die vorliegenden Ergebnisse zeigen vergleichende Aufgabenresultate und Verbesserungen im Einsatz, aber kein universelles Skalierungsgesetz für alle Policies. 1

Grenzen und offene Fragen

• Mehr Rechenaufwand und Kontextbedarf: Abruf aus dem Speicher und die Kontext-Injektion kosten zusätzliche Rechenzeit. Ob sehr lange Interaktionshistorien dauerhaft helfen oder durch Latenz, Abrufqualität und Kontextgrenzen zum Problem werden, ist nicht belegt. 1
• Qualität des Gedächtnisses: Eine fehlerhafte Kausalrepräsentation, eine unpassende Phasen-Zuordnung oder ein irreführender Fehlversuch kann schädliche Hinweise liefern. Die Trennung von BIT und PIM mindert dieses Risiko, beseitigt es aber nicht. 1
• Begrenzte physische Breite: Die realen Aufgaben betreffen überwiegend starre Laborobjekte und Flüssigkeitstransfer. Für stark verformbare Materialien wie Stoff, Kabel, Lebensmittel oder weiche Verpackungen sowie kontaktintensive Aufgaben mit Kraft- oder Tastsinn ist die Übertragbarkeit offen. 1
• Kontrollierte Einsatzumgebung: Zwischen den Versuchen wird die Umgebung zurückgesetzt, während PIM innerhalb einer Episode erhalten bleibt. Das zeigt nicht, wie sich das Verfahren über lange Zeit in einer ständig wechselnden Anlage mit Verschleiß, Personen, Unordnung oder veränderter Kamerakalibrierung verhält. 1
• Hardware- und Plattformtransfer: Die reale Evaluation nutzt einen bestimmten ARX-Manipulator in einem Arbeitsraum von 80 × 60 cm. Ob Encoder und Prompting ohne Weiteres auf andere Arme, Greifer, mobile oder bimanuale Roboter, Sensoren, Taktraten und Sicherheitsvorgaben übertragbar sind, bleibt ungeklärt. 1
• Aufgabenklassen: Getestet wurde auf einer ausgewählten Mischung aus Küchen- und Chemieaufgaben. Ein Transfer zwischen funktional ähnlichen Wirkungen – Greifen, Anheben, Kippen – ist vielversprechend; eine breite Generalisierung auf weit entfernte Aufgabenklassen und sprachliche Anweisungen muss aber noch gezeigt werden. 1

Die bisherigen Zahlen sind Paper- und Projektangaben, keine unabhängige Replikation. Zevas Kernidee – Anpassung durch abrufbare Ursache-Wirkungs-Erfahrung bei eingefrorenen Gewichten – ist klar beschrieben. Wie robust sie über lange Zeiträume, auf mehr Hardware und in unkontrollierten Umgebungen funktioniert, ist noch eine offene Forschungsfrage. 1