GE-Act 2.0: Hvad AgiBots studie med 30.000 robot-timer faktisk viser

GE-Act 2.0 er AgiBots forsøg på at bygge en verdens-handlingsmodel til robotter fra grunden. I stedet for at tilpasse en generel videomodel, som først er trænet på data fra nettet, initialiseres modellens trænede visuelle, fremtidsforudsigende og handlingsskabende komponenter tilfældigt og fortrænes på data fra fysisk manipulation. Det centrale resultat er ikke kun, at robotten bliver mere stabil med flere data: AgiBot rapporterer, at finmotoriske opgaver, som tidligere slet ikke lykkedes, begynder at virke, når træningen vokser fra 300 til 30.000 timer. 17

Det er et interessant forskningsresultat, men det kræver en nøgtern læsning. Evidensen kommer fra AgiBots egen evalueringsprotokol med to robottyper og 100 atomare opgaver. Den viser ikke, at GE-Act 2.0 selvstændigt kan håndtere vilkårlige hjem, fabrikker eller robotplatforme.

Først: forestil dig et nyttigt fremtidigt resultat – og handl hen imod det

En verdens-handlingsmodel forbinder perception, forudsigelse og styring. Hvis en robot får en sproglig besked om at placere en genstand et bestemt sted, skal den aflæse situationen, forudsige hvordan en vellykket nær fremtid ser ud og sende motoriske kommandoer, der kan føre dertil.

GE-Act 2.0 er ifølge AgiBot opdelt i tre komponenter:

• Kontrolorienteret autoencoder (CoAE): Komprimerer visuelle input, men bevarer den information, som er vigtig for instruktionen og robottens handlinger.
• Ettrins visuel planlægger (SVP): Genererer en brugbar, færdig fremtidig visuel tilstand i ét differentierbart trin i stedet for en lang kæde af videofremskrivninger.
• Invers dynamikmodel (IDM): Udleder udførbare robothandlinger ud fra den aktuelle tilstand og den planlagte fremtidige tilstand. 17

AgiBot kalder træningsmetoden Knowledge-Aligned Selective Optimization (KASO). Artiklen beskriver den som en metode til at samordne visuel planlægning og handlingslæring, samtidig med at delene kan fortrænes på komplementære datasæt. 17

Teamet oplyser desuden en svartid på 104 millisekunder for en handlingsblok på ét RTX 5090-grafikkort. Det er relevant, fordi en manipulationsrobot løbende skal observere og reagere; en visuelt overbevisende plan er ikke nok, hvis næste styrekommando kommer for sent. 5

Hvad betyder det egentlig, at modellen er trænet fra bunden?

Mange systemer til robotlæring nyder godt af en model, der allerede er trænet på store mængder billeder eller webvideo. GE-Act 2.0 initialiserer derimod sine trænede generative komponenter og handlingskomponenter fra bunden og træner dem på manipulationsdata. 17

Det gør skaleringsforsøget mere afgrænset: Forskerne undersøger, om mere kropsliggjort data – altså data knyttet til fysiske interaktioner og handlinger – systematisk forbedrer robotmanipulation. De måler dermed ikke værdien af en allerede eksisterende grundmodel fra webvideo.

Den beskrevne træningsopskrift kan bruge flere slags data, herunder teleopererede robotforløb, førstepersonsvideo fra mennesker, umærkede rollout-data og data fra mislykkede forsøg. Det er væsentligt, fordi robotdemonstrationer er dyre at indsamle. Hvis en metode kan lære af uperfekte eller delvist mærkede interaktionsdata, kan dataindsamlingen blive mere praktisk. 620

Forsøget: 100 gange mere træningsdata

AgiBot trænede modelvarianter med 300, 1.200, 5.000 og 30.000 timers manipulationsdata. Den største sammenligning dækker dermed en 100-dobling af datamængden. 417

Den primære evaluering var udformet som en nulskudstest på fysiske robotter:

• 100 atomare manipulationsopgaver
• 20 færdighedsfamilier
• ukendte scener, baggrunde, lysforhold og genstandsinstanser
• to robottyper: den humanoide G1-OP og den mobile manipulator G2-90D
• ingen opgavespecifik finjustering, demonstrationer eller udskiftning af model til evalueringsopgaverne. 417

Under denne protokol steg den rapporterede samlede succesrate med datamængden:

Robottype	Succes ved 300 timer	Succes ved 30.000 timer
G1-OP	17,1 %	44,1 %
G2-90D	13,4 %	31,1 %

Det er resultater, som GE-Act 2.0-studiet selv rapporterer. 317

Den mest direkte konklusion er, at flere kropsliggjorte data for denne model og denne opgavefordeling hang sammen med klart bedre nulskudssucces. Kurverne mellem 5.000 og 30.000 timer viste ifølge rapporteringen ikke noget tydeligt mætningspunkt, hvilket forfatterne tolker som et tegn på, at yderligere skalering fortsat kan hjælpe. 5

Hvorfor effekten med færdigheder, der "tændes", er interessant

En højere gennemsnitlig succesrate kan blot betyde, at robotten bliver mere pålidelig til opgaver, den allerede kunne løse. AgiBot argumenterer for, at det større model- og dataregime viste noget stærkere: Antallet af opgaver med overhovedet nogen succes voksede.

For G1-OP steg det rapporterede antal atomare opgaver med vellykket gennemførelse fra 39 til 76 ud af 100, da træningsmængden voksede fra 300 til 30.000 timer. 4

Eksemplerne omfatter:

• at folde håndklæder
• at stable kopper ind i hinanden
• at tage pennehætter af og sætte dem på igen
• at arrangere blomster. 48

Det er grundlaget for artiklens formulering om, at færdighederne gradvist "tændes". I de rapporterede forsøg hang dataskalering ikke kun sammen med bedre udførelse af etablerede færdigheder, men også med at finmotoriske færdigheder blev mulige i nulskudssituationer efter at have fejlet ved mindre skala.

Men dette bør ikke læses som bevis for et pludseligt gennembrud til generel intelligens. Det beskriver observeret opgavedækning i en afgrænset benchmark. Det er stadig åbent, om samme mønster gælder for mere varierede genstande, længere opgaveforløb, sikkerhedskritiske miljøer eller nye robotdesign.

Hvad G2-90D-resultatet siger om overførsel mellem robotkroppe

G2-90D er studiets evidens for overførsel på tværs af robottyper. AgiBot rapporterer, at denne hjulbaserede mobile manipulator udgjorde under 2 % af dataene i fællestræningen, men alligevel forbedrede sin samlede succes med 17,7 procentpoint mellem den lille og den store datakondition. 317

Det peger på, at noget af den lærte visuelle og handlingsrelevante struktur kan deles mellem forskellige robotkroppe. Det er et nyttigt signal for en fremtid, hvor man ikke skal opbygge en robotpolitik helt fra bunden for hver enkelt maskine.

Det dokumenterer dog ikke hardwareuafhængig robotintelligens. Evidensen er begrænset til to evaluerede robottyper og studiets opgavefordeling. G2-90D indgik også i fællestræningen, så resultaterne viser ikke overførsel uden data til en vilkårlig ny robot.

Forholdet mellem GE-Act og GE-Sim

GE-Act indgår i AgiBots bredere Genie Envisioner-platform (GE), som beskrives som en fælles videogenerativ ramme for robotpolitiklæring, evaluering og simulering. 18

I den ramme er GE-Act den handlingsorienterede del, mens GE-Sim er en verden-simuleringskomponent, der er tiltænkt generering af handlingsbetingede forløb til evaluering og udvikling. 1819

Skellet er vigtigt: Hovedresultatet for GE-Act 2.0 bygger på nulskudstests på fysiske robotter. GE-Sim kan være relateret infrastruktur i den større platform, men det er ikke grundlaget for den centrale påstand om, at modellen udførte de rapporterede opgaver i den virkelige verden uden opgavespecifik finjustering eller demonstrationsdata under evalueringen.

Finjusteringsbenchmarks er et separat resultat

AgiBot rapporterer også resultater efter finjustering på simuleringsorienterede benchmarks. I den foreliggende rapportering opnåede GE-Act 2.0 60,52 % succes i RoboTwins test med ukendte miljøer og 0,770 i GenieSims test af instruktionsfølgning. Sidstnævnte resultat blev angivet som højere end de sammenlignede resultater for π0.5 og GR00T N1.7. 20

Sådanne resultater kan være nyttige mål for tilpasning og benchmarkpræstation, men de besvarer et andet spørgsmål end nulskudsforsøget med fysiske robotter. Finjusterede benchmarkscorer bør derfor ikke bruges som evidens for, at den samme evne blev opnået uden opgavespecifik tilpasning.

Den praktiske konklusion

GE-Act 2.0 er interessant, fordi det afprøver en enkel, men vigtig hypotese for kropsliggjort AI: Kan en verdens-handlingsmodel, der er trænet direkte på manipulationsdata, forbedres forudsigeligt, når datamængden vokser?

I AgiBots rapporterede forsøg er svaret ja. En udvidelse af træningssættet fra 300 til 30.000 timer faldt sammen med store forbedringer i nulskudssucces på både G1-OP og G2-90D, bredere opgavedækning og fremkomsten af finmotoriske færdigheder som håndklædefoldning og kopstabling i den største datakondition. 3417

Den rimelige konklusion er smallere end løftet om en generel robot: GE-Act 2.0 leverer evidens for, at skalering af kropsliggjorte manipulationsdata kan skabe nye, målbare færdigheder i en kontrolleret evaluering med rigtige robotter. Uafhængig replikation, tests på flere robotplatforme samt stærkere evalueringer af lange opgaveforløb og sikkerhed er fortsat nødvendige, før modellen kan betragtes som en generel løsning på robotautonomi.