GE-Act 2.0: o que o estudo de 30 mil horas da AgiBot realmente mostra

O GE-Act 2.0 é a tentativa da AgiBot de construir, desde a base, um modelo de mundo–ação voltado a robôs. Em vez de adaptar um modelo geral de vídeo treinado com dados da web, seus componentes treináveis de visão, previsão de estados futuros e ação começam com inicialização aleatória e são pré-treinados com dados de manipulação incorporada — isto é, dados ligados a interações físicas e comandos de robôs.

A principal alegação não é apenas que o sistema fica mais confiável com mais dados. A AgiBot relata que tarefas finas antes malsucedidas passaram a funcionar quando o treinamento cresceu de 300 para 30 mil horas. 17

É um resultado de pesquisa relevante, mas que pede leitura cuidadosa. As evidências vêm do protocolo de avaliação relatado pela própria AgiBot, com dois tipos de robô e 100 tarefas atômicas. Isso não demonstra que o GE-Act 2.0 consiga operar de forma autônoma em casas ou fábricas arbitrárias, nem em qualquer hardware robótico.

A ideia: prever um estado útil e agir para alcançá-lo

Um modelo de mundo–ação conecta percepção, previsão e controle. Diante de uma instrução em linguagem natural, como colocar um objeto em determinado lugar, o sistema precisa identificar o estado da cena, prever como seria um estado futuro bem-sucedido e emitir comandos motores capazes de produzi-lo.

O GE-Act 2.0 divide esse trabalho em três componentes:

• Autoencoder orientado ao controle (CoAE): comprime a entrada visual, preservando informações relevantes para a instrução e para as ações do robô.
• Planejador visual de passo único (SVP): gera, em uma única passagem diferenciável, um estado visual futuro completo e útil, sem depender de uma longa sequência de simulações em vídeo.
• Modelo de dinâmica inversa (IDM): infere ações executáveis do robô a partir do estado atual e do estado futuro planejado. 17

A AgiBot chama seu método de treinamento de Knowledge-Aligned Selective Optimization (KASO), ou otimização seletiva alinhada ao conhecimento. O artigo o apresenta como uma forma de coordenar as partes de planejamento visual e aprendizagem de ações, permitindo que sejam pré-treinadas com dados complementares. 17

A equipe também informa inferência de blocos de ação em 104 milissegundos em uma única GPU RTX 5090. Essa latência importa porque uma política de manipulação precisa observar e reagir repetidamente: não basta criar um plano visual plausível se o próximo comando de controle demora demais para ser produzido. 5

O que significa “treinado do zero”

Muitos sistemas de aprendizagem robótica aproveitam modelos previamente treinados em grandes coleções de imagens ou vídeos da web. O GE-Act 2.0, por sua vez, inicializa do zero seus componentes generativos e de ação e os treina com dados de manipulação. 17

Isso torna o experimento de escalonamento mais específico: os pesquisadores testam se mais dados incorporados produzem ganhos sistemáticos na manipulação robótica, sem confundir o resultado com o benefício de um modelo de vídeo já treinado na internet.

A receita de treinamento relatada pode combinar trajetórias de teleoperação de robôs, vídeos humanos em primeira pessoa, dados de execuções sem rótulos e até dados de falhas. Isso é importante porque demonstrações robóticas são caras; um método capaz de aprender com interações imperfeitas ou parcialmente rotuladas pode tornar a coleta de dados mais viável. 620

O experimento de escala: 100 vezes mais dados

A AgiBot treinou versões do modelo com 300, 1.200, 5.000 e 30.000 horas de dados de manipulação. A comparação final, portanto, cobre um aumento de 100 vezes no volume de dados. 417

A avaliação principal foi desenhada como um teste zero-shot em robôs reais, ou seja, sem adaptação específica às tarefas avaliadas:

• 100 tarefas atômicas de manipulação;
• 20 famílias de habilidades;
• cenas, fundos, condições de iluminação e objetos inéditos;
• dois tipos de robô: o humanoide G1-OP e o manipulador móvel G2-90D;
• sem ajuste fino por tarefa, demonstrações ou troca de modelo nas tarefas de avaliação. 417

Nesse protocolo, o sucesso agregado relatado cresceu com a escala dos dados:

Tipo de robô	Sucesso com 300 horas	Sucesso com 30 mil horas
G1-OP	17,1%	44,1%
G2-90D	13,4%	31,1%

São resultados relatados pelo estudo do GE-Act 2.0. 317

A conclusão mais direta é que, para esse modelo e essa distribuição de tarefas, mais dados incorporados estiveram associados a uma taxa consideravelmente maior de sucesso zero-shot. As curvas relatadas entre 5 mil e 30 mil horas não indicaram um platô evidente; os autores interpretam isso como sinal de que ampliar ainda mais os dados pode continuar ajudando. 5

Por que o efeito de “acendimento” de habilidades chama atenção

Uma média de sucesso maior pode significar apenas que o robô ficou mais consistente em tarefas que já realizava. A AgiBot sustenta que seu regime maior de modelo e dados exibiu algo além disso: aumentou o número de tarefas que alcançaram sucesso diferente de zero.

No G1-OP, a quantidade relatada de tarefas atômicas concluídas com sucesso subiu de 39 para 76, em um total de 100, quando os dados de treinamento passaram de 300 para 30 mil horas. 4

Entre os exemplos citados estão:

• dobrar toalhas;
• encaixar copos uns dentro dos outros;
• retirar e recolocar tampas de caneta;
• montar arranjos de flores. 48

Esse é o fundamento da expressão “light-up”, ou “acendimento” de habilidades, usada no estudo. Nos testes relatados, escalar os dados esteve associado não só a melhor execução de capacidades existentes, mas também a habilidades finas que se tornaram viáveis em cenários zero-shot após falharem em escalas menores.

Ainda assim, isso não deve ser interpretado como prova de inteligência geral surgindo de repente. Trata-se de uma descrição da cobertura observada em um benchmark finito. Continua em aberto saber se o mesmo padrão se mantém com objetos muito mais variados, tarefas de longa duração, ambientes críticos para segurança ou novos projetos de robô.

O que o G2-90D indica sobre transferência entre robôs

O G2-90D fornece a evidência do estudo para transferência entre diferentes corpos robóticos. A AgiBot relata que esse manipulador móvel sobre rodas representou menos de 2% dos dados de co-treinamento, mas seu sucesso agregado aumentou 17,7 pontos percentuais entre as condições de menor e maior volume de dados. 317

O resultado sugere que ao menos parte das estruturas visuais e relevantes para a ação pode ser compartilhada entre corpos robóticos distintos. É um indício útil para um futuro no qual políticas não precisem ser reconstruídas integralmente para cada máquina.

Mas isso não comprova uma inteligência robótica independente de hardware. A evidência está limitada aos dois tipos de robô avaliados e à distribuição de tarefas do estudo. O G2-90D também esteve representado no co-treinamento; portanto, os achados não mostram transferência sem nenhum dado para um robô novo e arbitrário.

A relação entre GE-Act e GE-Sim

O GE-Act faz parte da plataforma mais ampla Genie Envisioner (GE), descrita como uma estrutura que reúne aprendizagem de políticas robóticas, avaliação e simulação em um mesmo sistema generativo de vídeo. 18

Nesse contexto, o GE-Act é o componente voltado à ação, enquanto o GE-Sim é o componente de simulação de mundo, destinado a gerar execuções condicionadas por ações para avaliação e desenvolvimento. 1819

A distinção importa: o resultado central do GE-Act 2.0 se baseia em testes zero-shot em robôs físicos. O GE-Sim pode ser infraestrutura relacionada dentro da plataforma, mas não é a base da alegação principal de que o modelo executou as tarefas reais de manipulação relatadas sem ajuste fino específico ou demonstrações durante a avaliação.

Benchmarks com ajuste fino respondem a outra pergunta

A AgiBot também relata resultados com ajuste fino em benchmarks orientados a simulação. No material fornecido, o GE-Act 2.0 alcançou 60,52% de sucesso em um teste do RoboTwin com ambiente não visto e 0,770 em seguimento de instruções no GenieSim; o segundo resultado foi relatado como superior aos resultados comparados de π0.5 e GR00T N1.7. 20

Essas métricas podem ser úteis para avaliar adaptação e desempenho em benchmark, mas respondem a uma pergunta diferente da do experimento zero-shot em robôs físicos. Pontuações obtidas com ajuste fino não devem ser usadas como evidência de que a mesma capacidade foi alcançada sem adaptação específica por tarefa.

O que fica, na prática

O GE-Act 2.0 se destaca por testar uma proposição simples, mas importante para a IA incorporada: um modelo de mundo–ação treinado diretamente com dados de manipulação pode melhorar de forma previsível conforme esses dados crescem?

No experimento relatado pela AgiBot, a resposta é sim. A expansão do conjunto de treinamento de 300 para 30 mil horas coincidiu com ganhos grandes no sucesso zero-shot em G1-OP e G2-90D, maior cobertura de tarefas e o aparecimento de habilidades finas, como dobrar toalhas e encaixar copos, na condição de maior escala. 3417

A conclusão adequada é mais restrita do que a promessa de um robô generalista: o GE-Act 2.0 oferece evidências de que escalar dados de manipulação incorporada pode gerar capacidades novas e mensuráveis em uma avaliação controlada com robôs reais. Replicações independentes, testes com mais hardwares e avaliações mais rigorosas de tarefas longas e segurança ainda são necessárias antes de tratá-lo como uma solução geral para autonomia robótica.