AgiBot GE-Act 2.0: co skutečně ukazuje studie s 30 000 hodinami robotických dat

GE-Act 2.0 je pokus společnosti AgiBot vybudovat pro roboty takzvaný model světa a akcí od základů. Místo adaptace obecného video modelu předtrénovaného na webových datech jsou jeho učitelné vizuální, predikční i akční části inicializovány náhodně a následně předtrénovány na datech z fyzické manipulace.

Hlavní zjištění není jen to, že robot s větším množstvím dat pracuje spolehlivěji. AgiBot uvádí, že při růstu tréninku z 300 na 30 000 hodin začaly fungovat i dříve neúspěšné úlohy jemné manipulace. 17

Je to podstatný výzkumný výsledek, je však potřeba jej číst střízlivě. Důkazy vycházejí z evaluačního protokolu uváděného Agibotem: zahrnuje dvě robotické platformy a 100 dílčích úloh. Neprokazuje, že by GE-Act 2.0 dokázal samostatně obsloužit libovolnou domácnost, továrnu či zcela jiný typ robota.

Nejprve si představit užitečný budoucí stav, pak jednat

Model světa a akcí propojuje vnímání, predikci a řízení. Dostane-li robot jazykový pokyn, například aby položil předmět na určité místo, musí rozpoznat stav scény, odhadnout, jak má vypadat úspěšný blízký budoucí stav, a vydat pohybové příkazy, které k němu povedou.

GE-Act 2.0 tuto úlohu rozděluje do tří částí:

• Control-oriented autoencoder (CoAE): komprimuje vizuální vstup, ale zachovává informace důležité pro instrukci a pohyby robota.
• Single-step visual planner (SVP): v jednom diferencovatelném kroku vytváří obraz užitečného dokončeného budoucího stavu, místo aby spoléhal na dlouhou řadu video simulací.
• Inverse-dynamics model (IDM): z aktuálního stavu a naplánovaného budoucího stavu odvozuje proveditelné akce robota. 17

Trénovací postup nese název Knowledge-Aligned Selective Optimization (KASO). Autoři jej popisují jako způsob koordinace vizuálního plánování a učení akcí, přičemž obě části lze předtrénovat na vzájemně se doplňujících datech. 17

Tým také uvádí generování bloku akcí za 104 milisekund na jediné grafické kartě RTX 5090. Pro manipulaci je to důležité: robot musí opakovaně pozorovat okolí a reagovat, nestačí tedy vytvořit vizuálně věrohodný plán, pokud by další řídicí povel vznikal příliš pomalu. 5

Co zde znamená „trénovaný od nuly“

Řada systémů robotického učení využívá model předtrénovaný na rozsáhlých obrazových či webových video datech. GE-Act 2.0 naopak své učitelné generativní a akční součásti inicializuje od nuly a učí je na datech z manipulace. 17

Experiment se škálováním je proto poměrně přesně vymezený: zkoumá, zda více ztělesněných dat – tedy dat svázaných se skutečnými fyzickými interakcemi a akcemi – systematicky zlepšuje manipulaci robota. Neměří přínos již existujícího základního modelu natrénovaného na webových videích.

Uváděný postup může využít několik druhů dat: trajektorie z dálkového ovládání robota, video z pohledu člověka, neoznačená data z prováděných pokusů i data neúspěšných pokusů. To je prakticky významné, protože kvalitní ukázky robotických činností jsou drahé; metoda schopná učit se i z nedokonalých nebo jen částečně označených interakcí by mohla sběr dat usnadnit. 620

Co ukázal experiment se stonásobným navýšením dat

AgiBot trénoval verze modelu s 300, 1 200, 5 000 a 30 000 hodinami dat z manipulace. Konečné srovnání tedy pokrývá stonásobný nárůst objemu dat. 417

Hlavní hodnocení mělo podobu testu na skutečných robotech bez předchozího přizpůsobení konkrétní úloze:

• 100 dílčích manipulačních úloh,
• 20 skupin dovedností,
• neznámé scény, pozadí, světelné podmínky a instance předmětů,
• dvě robotické platformy: humanoid G1-OP a mobilní manipulátor G2-90D,
• žádné dolaďování na konkrétní úlohy, ukázky ani výměna modelu pro hodnocené úkoly. 417

V tomto protokolu s rostoucím objemem dat rostla i souhrnná uváděná úspěšnost:

Robotická platforma	Úspěšnost při 300 hodinách	Úspěšnost při 30 000 hodinách
G1-OP	17,1 %	44,1 %
G2-90D	13,4 %	31,1 %

Jde o výsledky uváděné studií GE-Act 2.0. 317

Nejpřímější závěr zní: pro tento model a tuto sadu úloh souviselo více ztělesněných dat s podstatně vyšší úspěšností v testech bez dolaďování. Křivky mezi 5 000 a 30 000 hodinami podle autorů nevykazovaly zjevné nasycení, což interpretují jako signál, že další škálování by stále mohlo pomáhat. 5

Proč záleží na efektu „rozsvěcení“ dovedností

Vyšší průměrná úspěšnost by mohla znamenat pouze to, že robot je spolehlivější v úkolech, které už dříve zvládal. AgiBot však tvrdí, že při větším modelu a objemu dat vidí silnější jev: přibývá úloh, v nichž robot dosáhne alespoň nenulové úspěšnosti.

U G1-OP vzrostl uváděný počet dílčích úloh s úspěšným dokončením z 39 na 76 ze 100 při navýšení trénovacích dat z 300 na 30 000 hodin. 4

Mezi uváděnými příklady jsou:

• skládání ručníků,
• vkládání kelímků do sebe,
• sundávání a nasazování víček na pera,
• aranžování květin. 48

Na tom stojí označení „light-up“, tedy postupné „rozsvěcení“ dovedností. Ve vykázaných pokusech se se škálováním dat nezlepšilo pouze provedení již známých úloh; některé jemné dovednosti se v režimu bez dolaďování staly proveditelnými až poté, co v menších konfiguracích selhávaly.

Neznamená to ovšem náhlý vznik obecné inteligence. Jde o popis pokrytí úloh v omezeném benchmarku. Zůstává otevřené, zda by se stejný vzorec projevil u rozmanitějších předmětů, déle trvajících činností, bezpečnostně kritických situací nebo zcela nových robotických konstrukcí.

Co výsledek G2-90D říká o přenosu mezi roboty

G2-90D poskytuje ve studii podklad pro tvrzení o přenosu mezi různými robotickými těly. AgiBot uvádí, že tento mobilní manipulátor na kolech tvořil méně než 2 % společně trénovaných dat, přesto se jeho souhrnná úspěšnost mezi malou a velkou datovou konfigurací zvýšila o 17,7 procentního bodu. 317

Naznačuje to, že alespoň část naučené vizuální struktury a informací důležitých pro akci lze sdílet mezi různými typy robotů. Je to užitečný signál pro budoucnost, v níž by nebylo nutné politiku řízení vytvářet zcela od začátku pro každý nový stroj.

Nejde však o důkaz inteligence nezávislé na hardwaru. Výsledky se omezují na dvě testované platformy a danou distribuci úloh. G2-90D byl navíc ve společném tréninku zastoupen, takže studie neukazuje přenos bez jakýchkoli dat na libovolného nového robota.

Jak GE-Act souvisí s GE-Sim

GE-Act je součástí širší platformy Genie Envisioner (GE), která má podle popisu spojovat učení robotických politik, hodnocení a simulaci ve společném video-generativním rámci. 18

V této koncepci je GE-Act akčně orientovanou částí, zatímco GE-Sim představuje komponentu simulace světa určenou k vytváření průběhů podmíněných akcemi pro vývoj a vyhodnocování. 1819

Rozdíl je důležitý: hlavní výsledek GE-Act 2.0 vychází z testů bez dolaďování na fyzických robotech. GE-Sim může být související infrastrukturou širší platformy, není ale základem klíčového tvrzení, že model zvládl uvedené reálné manipulační úlohy bez dolaďování na konkrétní úlohy a bez ukázek při hodnocení.

Výsledky po dolaďování jsou samostatná kategorie

AgiBot také uvádí výsledky po dolaďování na simulačně orientovaných benchmarcích. GE-Act 2.0 podle poskytnutých informací dosáhl 60,52% úspěšnosti v testu RoboTwin s neznámým prostředím a skóre 0,770 ve sledování instrukcí v GenieSim; druhý výsledek byl uváděn jako vyšší než srovnávané výsledky π0.5 a GR00T N1.7. 20

Tyto hodnoty mohou být užitečným měřítkem adaptace a výkonu v benchmarku, odpovídají však na jinou otázku než experiment s fyzickými roboty bez dolaďování. Skóre z benchmarků po dolaďování nelze vydávat za důkaz, že stejných schopností bylo dosaženo bez přizpůsobení konkrétní úloze.

Praktický závěr

GE-Act 2.0 je zajímavý hlavně tím, že ověřuje jednoduchou, ale důležitou hypotézu ztělesněné AI: může se model světa a akcí, trénovaný přímo na datech z manipulace, zlepšovat předvídatelně s rostoucím objemem těchto dat?

V experimentu uváděném Agibotem zní odpověď ano. Rozšíření trénovací množiny z 300 na 30 000 hodin se shodovalo s výrazným růstem úspěšnosti bez dolaďování u G1-OP i G2-90D, širším pokrytím úloh a objevením jemných dovedností, jako je skládání ručníků či vkládání kelímků do sebe, ve větší datové konfiguraci. 3417

Přiměřený závěr je ale užší než marketingová představa univerzálního robota: GE-Act 2.0 přináší důkaz, že škálování dat o fyzické manipulaci může v řízeném hodnocení na skutečných robotech vést k novým, měřitelným schopnostem. Než bude možné jej považovat za obecné řešení robotické autonomie, budou potřeba nezávislé replikace, testy na širší škále hardwaru a náročnější hodnocení dlouhých i bezpečnostně citlivých úloh.