Zeva lader robotter lære af fejl uden at ændre modelvægte

Zeva er et rammeværk til robotmanipulation, der skal gøre en robot bedre under drift uden at opdatere dens modelvægte. I stedet for den gængse arbejdsgang med at indsamle data, mærke dem og finjustere modellen, gemmer systemet viden om sammenhængen mellem robotens handlinger og de observerede fysiske effekter. Den viden hentes frem som kontekst, når robotten skal vælge sin næste handling. 15

Det centrale forbehold er vigtigt: Zeva lærer i praktisk forstand af erfaring, men det er hukommelsesbaseret tilpasning i kontekst – ikke varig læring i selve modelparametrene.

Tre byggesten: fra handling til forbedret næste forsøg

1. Causal Transition Encoder: Hvad skete der, fordi robotten handlede?

Efter en handling kombinerer Zevas Causal Transition Encoder (CTE) visuelle observationer, handlingsdata og den observerede ændring i omgivelserne i en latent repræsentation af den kausale interaktion. Den opdeles blandt andet i et token for opgavens fase og et interaktionssignal. Målet er at fokusere på handlingsudløst fysisk dynamik frem for tilfældige visuelle sammenhænge som baggrund eller belysning. 14

Det er forskellen på blot at registrere, at en griber flyttede sig, og at repræsentere, om bevægelsen faktisk løftede et reagensglas, flyttede et bægerglas forkert eller begyndte en hældning.

2. To slags hukommelse

Zeva deler erfaringerne op efter tidshorisont:

• Brief Interaction Trace (BIT) er et kort spor af de seneste interaktioner i det aktuelle forsøg. Det kan bruges til at korrigere en fejl, der lige er sket, eller reagere på lokale variationer i opgaven. 1
• Persistent Interaction Memory (PIM) fastholder og konsoliderer relevant erfaring på tværs af gentagne forsøg i samme episode. Dermed kan både mislykkede og vellykkede interaktioner påvirke senere forsøg. 1

Opdelingen skal undgå, at øjeblikkelige signaler og mere genbrugelige erfaringer blandes ukritisk sammen.

3. Indsprøjtning af kontekst i den frosne politik

Når robotten skal udføre næste trin, henter Zeva beviser fra hukommelsen, som matcher den aktuelle opgavefase. De omdannes til en kausal prompt og føres ind i handlingsgenereringen i den frosne basismodel. Politikken kan dermed ændre adfærd gennem den kontekst, den får præsenteret, uden gradientopdateringer eller ændringer af parametrene. 15

I princippet kan det spare den operationelle proces med nye labels, en træningskørsel, en ny modelversion og eventuel nedetid, når robotten møder en ukendt objektplacering eller fysisk egenskab. 16

De rapporterede resultater

På simulationsundersættet RoboCasa365-Atomic5, som rummer fem opgaver, rapporterer Zeva en gennemsnitlig succesrate på 76,8 %. Til sammenligning angives 72,4 % for Fast-WAM og 64,8 % for Cosmos3-Nano. 1

På fysiske ChemLab-Evo Level-1-opgaver med en ARX-robot rapporteres følgende udvikling over gentagne forsøg:

• Opsamling af reagensglas: fra 65 % til 100 %.
• Placering af bægerglas: fra 25 % til 70 %.
• Hældning af vand: fra 30 % til 80 %. 1

Den endelige Level-1-tabel angiver Zeva til 100 % / 70 % / 80 % på de tre opgaver, med et gennemsnit på 83,3 %. Cosmos3-Nano angives til 80 % / 70 % / 60 %, mens Fast-WAM angives til 85 % / 70 % / 75 %. 1

Et tal, der er blevet fremhævet i omtalen, er en kumulativ successtigning fra omtrent 26 % ved første udviklingsforsøg til 73 % ved det fjerde. Den primære dokumentation, der er stillet til rådighed, mærker dog kurven som RoboCasa365 – ikke ChemLab-Evo. Det er derfor ikke solidt belagt at tilskrive netop 26-til-73 %-kurven til ChemLab-Evo. 1

Hvad bidrager én menneskelig demonstration med?

En enkelt fysisk guidet demonstration fra et menneske kan indlæses i den samme interaktionshukommelse som en slags opvarmning. Politikmodellen forbliver frossen, men kan siden bruge den kausale interaktionskontekst til at genskabe forløbet. 6

Det tilgængelige materiale bekræfter mekanismen kvalitativt, men giver ikke verificerede før-og-efter-tal specifikt for placering af bægerglas eller vandhældning. Den nøgterne konklusion er derfor, at en enkelt demonstration efter sigende kan forbedre eller varme op til opgaverne – ikke hvor stor den præcise gevinst er. 6

Hvorfor kan svagere basismodeller få størst løft?

En nærliggende forklaring er, at en svagere fortrænet politik har mere plads til forbedring. Hvis den oftere fejler systematisk, når de fysiske forhold ændrer sig, kan de ekstra erfaringer om årsag og virkning rette flere fejl. En stærkere model klarer allerede flere situationer og har derfor færre fejl, som hukommelsesprompten kan eliminere.

Det er dog en fortolkning, ikke en universel lov. Det fremlagte arbejde dokumenterer sammenlignende resultater og forbedring under drift, men ikke, at svagere modeller altid vil få relativt større udbytte. 1

Hvorfor teste i et kemilaboratorium?

ChemLab-Evo er valgt, fordi laboratoriearbejde samler flere typer fysisk variation med betydning for resultatet: små beholdere, præcise placeringer, gribegeometri, hældning, væskeoverførsel og opgaver i flere trin. Benchmarken omfatter syv opgaver med ARX-manipulatoren – fra grundhandlinger som at tage et reagensglas, placere et bægerglas og hælde væske til procedurer som titrering, fremstilling af saltopløsning, vejning og ekstraktion. 1

Det gør miljøet egnet til at undersøge, om robotten kan overføre huskede relationer mellem handling og effekt, frem for alene at efterligne det visuelle indtryk af en tidligere demonstration.

Begrænsninger og åbne spørgsmål

• Mere kontekst koster beregning. Hukommelsesopslag og indsprøjtning af kausal kontekst øger beregnings- og inferensomkostningen. Længere historikker kan hjælpe, men kan også ramme grænser for latenstid, kontekstkapacitet og kvaliteten af opslag. Der er ikke påvist stabil skalering til meget lange driftsforløb. 1
• Hukommelse kan være misvisende. En forkert kausal kodning, et dårligt fasematch eller en misvisende fejlet kørsel kan hente skadelig erfaring frem. Adskillelsen mellem BIT og PIM mindsker risikoen, men garanterer ikke sikker konsolidering af hukommelsen. 1
• De fysiske demonstrationer har et begrænset spænd. De rapporterede forsøg handler især om stive laboratorieobjekter og væskeoverførsel. Generalisering til stof, kabler, fødevarer, blød emballage og andre meget deformerbare materialer er ikke dokumenteret. Det samme gælder kontaktintensive opgaver, der kræver kraft- eller taktil feedback. 1
• Testmiljøet er kontrolleret. Omgivelserne nulstilles mellem forsøg, og PIM bevares inden for en episode. Det svarer ikke til uafbrudt drift i en facilitet med ændret kamerakalibrering, slid, mennesker, rod og behov for langsigtet styring af robotens hukommelse. 1
• Overførsel til andet hardware er uafklaret. Den fysiske evaluering anvender en ARX-manipulator i et arbejdsområde på 80 × 60 cm. Det er stadig åbent, om encoder og promptmekanisme flytter rent til andre robotarme, gribere, mobile platforme, toarmede systemer, sensorsæt, styrefrekvenser og sikkerhedskrav. 1
• Bred opgaveoverførsel mangler bevis. Metoden er afprøvet på et udvalgt sæt køkken- og kemiopgaver. Det er lovende, at funktionelt lignende effekter – eksempelvis gribning, løft og hældning – kan kobles, men generalisering på tværs af helt andre opgavetyper og sproglige instruktioner er fortsat et empirisk spørgsmål. 1

Zeva er dermed mest interessant som et forsøg på at flytte en del af robotters tilpasning fra træningspipeline til selve driftstidspunktet. Men de nuværende resultater er rapporteret af projektet og forskningsartiklen selv; der foreligger ikke her en uafhængig replikation på tværs af længere tidshorisonter, flere robotplatforme og ukontrollerede driftsmiljøer. 1