HOST e GEN-1.5 mostram como robôs podem aprender por observação
HOST, desenvolvido por pesquisadores do Beijing Institute of Technology, da X Square Robot e da Tsinghua University, adquire habilidades em cerca de 29 segundos, sem atualizar os parâmetros do modelo, e alcançou 62% d... GEN 1.5, da Generalist AI, usa uma demonstração de 3 a 12 segundos como um “prompt físico” dentr...
Publicado porEditado com GPT-5.6 LunaImagens geradas com GPT Image 1.5
HOST, desenvolvido por pesquisadores do Beijing Institute of Technology, da X Square Robot e da Tsinghua University, adquire habilidades em cerca de 29 segundos, sem atualizar os parâmetros do modelo, e alcançou 62% d...
GEN 1.5, da Generalist AI, usa uma demonstração de 3 a 12 segundos como um “prompt físico” dentro de um modelo multimodal corporificado; a empresa também relata 59% de sucesso médio em 10 tarefas, mas ainda há pouca v...
Os resultados apontam para uma mudança de paradigma: em vez de programar ou retreinar cada tarefa, o usuário pode mostrar ao robô o que fazer — embora o aprendizado dependa de um pré treinamento amplo e não elimine te...
How do the two research efforts, HOST from Beijing Institute of Technology, X Square Robot, and Tsinghua University and GEN 1.5 from GeneralAI-generated editorial hero image for How do the two research efforts, HOST from Beijing Institute of Technology, X Square Robot, and Tsinghua University and GEN 1.5 from General.
Prompt de IA
Create a landscape editorial hero image for this Studio Global article: How do the two research efforts, HOST from Beijing Institute of Technology, X Square Robot, and Tsinghua University and GEN 1.5 from General. Article summary: Both efforts move robot learning from task specific retraining toward inference time imitation: a pretrained system treats a brief demonstration as context and immediately controls the robot accordingly.. Topic tags: general web, ai safety, prompt engineering, ai, workflow. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with
openai.com
A robótica está tentando substituir uma etapa historicamente cara — coletar centenas de demonstrações e fazer um novo treinamento para cada tarefa — por algo mais próximo da maneira como humanos aprendem: observar uma ação e tentar reproduzi-la.
É essa a proposta de dois trabalhos recentes. O HOST, criado por pesquisadores do Beijing Institute of Technology, da X Square Robot e da Tsinghua University, transforma um único vídeo humano em uma habilidade executável durante a inferência. Já o GEN-1.5, da Generalist AI, trata a demonstração como um “prompt físico” inserido no contexto de um modelo multimodal de robótica.
A diferença é importante: nenhum dos dois sistemas aprende a partir do zero. Os modelos foram previamente expostos a grandes volumes de dados físicos. O que muda é a forma de ensinar uma tarefa nova: em vez de atualizar os pesos do modelo, o robô usa o vídeo como contexto para decidir suas próximas ações.
HOST e GEN-1.5: comparação direta
Critério
HOST
GEN-1.5
Mecanismo central
Política de imitação visual de uma única demonstração. O sistema relaciona a execução do robô ao estágio correspondente no vídeo humano e usa previsões ancoradas na própria perspectiva do robô para alinhar o movimento à tarefa.
Modelo multimodal corporificado de grande escala que interpreta uma demonstração sensório-motora como um “prompt físico” dentro do contexto e gera ações para o robô.
Studio Global AI
Continue sua pesquisa
Esta página inclui uma resposta baseada na fonte que você pode continuar em Studio Global.
Qual é a resposta curta para "HOST e GEN-1.5 mostram como robôs podem aprender por observação"?
HOST, desenvolvido por pesquisadores do Beijing Institute of Technology, da X Square Robot e da Tsinghua University, adquire habilidades em cerca de 29 segundos, sem atualizar os parâmetros do modelo, e alcançou 62% d...
Quais são os pontos-chave para validar primeiro?
HOST, desenvolvido por pesquisadores do Beijing Institute of Technology, da X Square Robot e da Tsinghua University, adquire habilidades em cerca de 29 segundos, sem atualizar os parâmetros do modelo, e alcançou 62% d... GEN 1.5, da Generalist AI, usa uma demonstração de 3 a 12 segundos como um “prompt físico” dentro de um modelo multimodal corporificado; a empresa também relata 59% de sucesso médio em 10 tarefas, mas ainda há pouca v...
O que devo fazer a seguir na prática?
Os resultados apontam para uma mudança de paradigma: em vez de programar ou retreinar cada tarefa, o usuário pode mostrar ao robô o que fazer — embora o aprendizado dependa de um pré treinamento amplo e não elimine te...
HOST e GEN-1.5 mostram como robôs podem aprender por observação
HOST, desenvolvido por pesquisadores do Beijing Institute of Technology, da X Square Robot e da Tsinghua University, adquire habilidades em cerca de 29 segundos, sem atualizar os parâmetros do modelo, e alcançou 62% d... GEN 1.5, da Generalist AI, usa uma demonstração de 3 a 12 segundos como um “prompt físico” dentr...
Publicado porEditado com GPT-5.6 LunaImagens geradas com GPT Image 1.5
HOST, desenvolvido por pesquisadores do Beijing Institute of Technology, da X Square Robot e da Tsinghua University, adquire habilidades em cerca de 29 segundos, sem atualizar os parâmetros do modelo, e alcançou 62% d...
GEN 1.5, da Generalist AI, usa uma demonstração de 3 a 12 segundos como um “prompt físico” dentro de um modelo multimodal corporificado; a empresa também relata 59% de sucesso médio em 10 tarefas, mas ainda há pouca v...
Os resultados apontam para uma mudança de paradigma: em vez de programar ou retreinar cada tarefa, o usuário pode mostrar ao robô o que fazer — embora o aprendizado dependa de um pré treinamento amplo e não elimine te...
How do the two research efforts, HOST from Beijing Institute of Technology, X Square Robot, and Tsinghua University and GEN 1.5 from GeneralAI-generated editorial hero image for How do the two research efforts, HOST from Beijing Institute of Technology, X Square Robot, and Tsinghua University and GEN 1.5 from General.
Prompt de IA
Create a landscape editorial hero image for this Studio Global article: How do the two research efforts, HOST from Beijing Institute of Technology, X Square Robot, and Tsinghua University and GEN 1.5 from General. Article summary: Both efforts move robot learning from task specific retraining toward inference time imitation: a pretrained system treats a brief demonstration as context and immediately controls the robot accordingly.. Topic tags: general web, ai safety, prompt engineering, ai, workflow. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with
openai.com
A robótica está tentando substituir uma etapa historicamente cara — coletar centenas de demonstrações e fazer um novo treinamento para cada tarefa — por algo mais próximo da maneira como humanos aprendem: observar uma ação e tentar reproduzi-la.
É essa a proposta de dois trabalhos recentes. O HOST, criado por pesquisadores do Beijing Institute of Technology, da X Square Robot e da Tsinghua University, transforma um único vídeo humano em uma habilidade executável durante a inferência. Já o GEN-1.5, da Generalist AI, trata a demonstração como um “prompt físico” inserido no contexto de um modelo multimodal de robótica.
A diferença é importante: nenhum dos dois sistemas aprende a partir do zero. Os modelos foram previamente expostos a grandes volumes de dados físicos. O que muda é a forma de ensinar uma tarefa nova: em vez de atualizar os pesos do modelo, o robô usa o vídeo como contexto para decidir suas próximas ações.
HOST e GEN-1.5: comparação direta
Critério
HOST
GEN-1.5
Mecanismo central
Política de imitação visual de uma única demonstração. O sistema relaciona a execução do robô ao estágio correspondente no vídeo humano e usa previsões ancoradas na própria perspectiva do robô para alinhar o movimento à tarefa.
Modelo multimodal corporificado de grande escala que interpreta uma demonstração sensório-motora como um “prompt físico” dentro do contexto e gera ações para o robô.
Studio Global AI
Continue sua pesquisa
Esta página inclui uma resposta baseada na fonte que você pode continuar em Studio Global.
Qual é a resposta curta para "HOST e GEN-1.5 mostram como robôs podem aprender por observação"?
HOST, desenvolvido por pesquisadores do Beijing Institute of Technology, da X Square Robot e da Tsinghua University, adquire habilidades em cerca de 29 segundos, sem atualizar os parâmetros do modelo, e alcançou 62% d...
Quais são os pontos-chave para validar primeiro?
HOST, desenvolvido por pesquisadores do Beijing Institute of Technology, da X Square Robot e da Tsinghua University, adquire habilidades em cerca de 29 segundos, sem atualizar os parâmetros do modelo, e alcançou 62% d... GEN 1.5, da Generalist AI, usa uma demonstração de 3 a 12 segundos como um “prompt físico” dentro de um modelo multimodal corporificado; a empresa também relata 59% de sucesso médio em 10 tarefas, mas ainda há pouca v...
O que devo fazer a seguir na prática?
Os resultados apontam para uma mudança de paradigma: em vez de programar ou retreinar cada tarefa, o usuário pode mostrar ao robô o que fazer — embora o aprendizado dependa de um pré treinamento amplo e não elimine te...
Vídeo humano, instrução em linguagem, observações recentes do robô e dados proprioceptivos — informações sobre a posição e o estado do próprio corpo. A saída são ações robóticas, sem atualização dos parâmetros.
Até 30 segundos de memória visual, além de dados de sensores, linguagem e propriocepção. O modelo produz trajetórias de ação a 100 Hz.
Base de treinamento
Duas etapas: pré-treinamento com 193.462 trajetórias robóticas em 229 tarefas e adaptação com 5.847 pares coletados de vídeos humanos e trajetórias robóticas.
A Generalist AI afirma ter treinado o modelo continuamente por mais de oito meses com dados de interação física real, sem dados de simulação no pré-treinamento.
Tempo da demonstração
Aproximadamente 29 segundos, em média, para adquirir uma habilidade a partir de um vídeo humano.
Entre 3 e 12 segundos, segundo a empresa.
Há retreinamento convencional?
Não. A nova habilidade é adquirida durante a inferência, sem atualização específica dos parâmetros da tarefa.
Não no modo de demonstração única: a empresa afirma que não são necessários gradientes nem fine-tuning.
Cobertura de tarefas
50 tarefas inéditas de manipulação, com objetos, ferramentas e movimentos variados; foram realizados 20 testes por tarefa.
A empresa mostra exemplos como abrir um pote, abrir o zíper de uma bolsa, varrer um objeto para dentro de uma tigela, colocar um marcador em um copo, despejar parafusos e improvisar com ferramentas. Não há, porém, uma bateria pública de testes descrita com o mesmo nível de detalhe.
Taxa de sucesso
62% em média nas tarefas novas.
A Generalist AI relata 59% de sucesso médio em 10 tarefas no modo de demonstração única, mas o resultado ainda não conta com validação independente comparável.
Comparação com baselines
Segundo os autores, supera em 45% o baseline mais forte de imitação zero-shot e também fica acima de um método de fine-tuning com 50 demonstrações robóticas por tarefa.
Quando a demonstração única não é suficiente, a empresa afirma que o modelo pode passar por adaptação few-shot com 1 a 10 passos de gradiente usando de 1 a 5 minutos de dados — cerca de 10 a 50 demonstrações.
Ganho de eficiência alegado
Aquisição de habilidades aproximadamente 507 vezes mais rápida que o fine-tuning supervisionado com 50 demonstrações robóticas por tarefa.
A proposta substitui treinamentos convencionais, frequentemente descritos como dezenas de milhares de passos de gradiente, por uma demonstração de 3 a 12 segundos — ou por 1 a 10 passos de adaptação quando necessário. A comparação ainda é uma alegação da empresa, não um benchmark independente.
Como o HOST aprende sem copiar simplesmente o movimento humano
O HOST não tenta apenas transformar a trajetória da mão humana em uma sequência equivalente para o braço robótico. Essa abordagem seria frágil porque pessoas e robôs têm corpos, câmeras, articulações e pontos de alcance diferentes.
Em vez disso, o vídeo funciona como uma referência de progresso. O sistema identifica em que etapa da tarefa a pessoa está, localiza o estágio correspondente na execução do robô e prevê como o resultado deveria aparecer a partir da perspectiva robótica. A partir dessa previsão, calcula as ações necessárias para chegar ao próximo estado.
Esse desenho permite que o robô use a demonstração como guia, sem converter o vídeo em um novo conjunto de pesos do modelo. Como os parâmetros permanecem congelados, o método também busca evitar o chamado “esquecimento catastrófico”, em que aprender uma nova habilidade prejudica capacidades anteriores.
Nos testes, o HOST foi avaliado em 50 tarefas novas, com 20 tentativas para cada uma. A taxa média de sucesso foi de 62%. O número é relevante porque mostra transferência entre diferentes objetos, ferramentas e princípios de manipulação, mas também deixa claro que o robô ainda falha em uma parcela significativa das tentativas.
Os autores também relataram testes de robustez com alterações de iluminação, objetos, cenário e interferência humana. Em relação ao resultado-base de 62%, as perdas reportadas foram de 1%, 4%, 6% e 9%, respectivamente.
O que o GEN-1.5 acrescenta
O GEN-1.5 apresenta uma visão mais abrangente: a Generalist AI descreve o sistema como um modelo de base para robótica, treinado em grande escala para aprender padrões de interação física antes de receber uma tarefa específica.
Nesse caso, a demonstração humana é inserida na janela de contexto como um “prompt físico”. O modelo observa o vídeo, combina essa informação com linguagem, sensores e propriocepção e tenta executar a ação imediatamente. A empresa afirma que o sistema pode transferir demonstrações humanas para robôs, combinar comportamentos apresentados separadamente, usar vídeos de simulação para orientar ações no mundo real e improvisar novas estratégias para atingir o mesmo objetivo.
A Generalist AI também descreve um segundo caminho para tarefas mais difíceis. Se o prompt único não for suficiente, o modelo pode ser adaptado com poucos passos de gradiente e alguns minutos de dados. Portanto, “sem treinamento” não descreve todos os cenários: o modo one-shot não atualiza o modelo, mas a alternativa few-shot ainda envolve adaptação.
Por que isso representa uma mudança na robótica
Durante décadas, ensinar um robô a executar uma tarefa nova normalmente exigiu programação específica, projeto de recompensas, teleoperação, coleta de dados e longas rodadas de treinamento. Os sistemas HOST e GEN-1.5 apontam para uma interface mais intuitiva: mostrar em vez de programar.
O ganho não está em eliminar o conhecimento prévio. O robô continua dependendo de um modelo previamente treinado em muitos exemplos e interações físicas. A novidade é amortizar esse custo: depois que a capacidade geral foi aprendida, o usuário final pode especificar uma tarefa nova com uma observação curta, em vez de iniciar uma otimização completa.
No HOST, essa troca aparece de forma quantificada: o método leva cerca de 29 segundos para adquirir a habilidade e os autores alegam uma aceleração de 507 vezes em comparação com o fine-tuning baseado em 50 demonstrações robóticas por tarefa.
Limitações que não podem ser ignoradas
O HOST ainda é um pré-print. Seus resultados vêm de um experimento controlado em laboratório, com 50 tarefas selecionadas e sucesso médio de 62%. Isso não comprova confiabilidade em ambientes domésticos, industriais, de horizonte longo ou com riscos de segurança. Também faltam replicações independentes mais amplas.
As evidências do GEN-1.5 são mais difíceis de auditar. Informações sobre o modelo, o tempo de treinamento, a ausência de dados de simulação, a duração dos prompts e a adaptação foram divulgadas pela Generalist AI ou em anúncios relacionados à empresa.
Ainda não existe um benchmark público comparável para o GEN-1.5. Não estão disponíveis, com o mesmo grau de especificação, uma contagem padronizada de tarefas, um protocolo completo de testes, uma taxa agregada de sucesso one-shot, comparações independentes, liberação do modelo e dos dados ou reprodução por terceiros. As demonstrações indicam potencial, mas não estabelecem sozinhas uma nova fronteira de desempenho.
Em conjunto, os trabalhos sustentam uma conclusão promissora, porém moderada. O HOST fornece evidência de que a aquisição de habilidades a partir de um único vídeo, sem atualização de parâmetros, pode funcionar em um conjunto definido de tarefas de manipulação. O GEN-1.5 sugere que um pré-treinamento físico suficientemente amplo pode fazer desse comportamento uma capacidade emergente de um modelo generalista.
A direção é clara: robôs podem começar a aprender de maneira mais parecida com pessoas, observando e contextualizando uma demonstração. Mas a aprendizagem por observação ainda não substitui a validação específica da tarefa, a engenharia de segurança e a adaptação necessária para ambientes abertos e imprevisíveis.
forum.gnoppix.org
GEN-1.5: Generalist AI teaches robots new tasks from a single demo
Vídeo humano, instrução em linguagem, observações recentes do robô e dados proprioceptivos — informações sobre a posição e o estado do próprio corpo. A saída são ações robóticas, sem atualização dos parâmetros.
Até 30 segundos de memória visual, além de dados de sensores, linguagem e propriocepção. O modelo produz trajetórias de ação a 100 Hz.
Base de treinamento
Duas etapas: pré-treinamento com 193.462 trajetórias robóticas em 229 tarefas e adaptação com 5.847 pares coletados de vídeos humanos e trajetórias robóticas.
A Generalist AI afirma ter treinado o modelo continuamente por mais de oito meses com dados de interação física real, sem dados de simulação no pré-treinamento.
Tempo da demonstração
Aproximadamente 29 segundos, em média, para adquirir uma habilidade a partir de um vídeo humano.
Entre 3 e 12 segundos, segundo a empresa.
Há retreinamento convencional?
Não. A nova habilidade é adquirida durante a inferência, sem atualização específica dos parâmetros da tarefa.
Não no modo de demonstração única: a empresa afirma que não são necessários gradientes nem fine-tuning.
Cobertura de tarefas
50 tarefas inéditas de manipulação, com objetos, ferramentas e movimentos variados; foram realizados 20 testes por tarefa.
A empresa mostra exemplos como abrir um pote, abrir o zíper de uma bolsa, varrer um objeto para dentro de uma tigela, colocar um marcador em um copo, despejar parafusos e improvisar com ferramentas. Não há, porém, uma bateria pública de testes descrita com o mesmo nível de detalhe.
Taxa de sucesso
62% em média nas tarefas novas.
A Generalist AI relata 59% de sucesso médio em 10 tarefas no modo de demonstração única, mas o resultado ainda não conta com validação independente comparável.
Comparação com baselines
Segundo os autores, supera em 45% o baseline mais forte de imitação zero-shot e também fica acima de um método de fine-tuning com 50 demonstrações robóticas por tarefa.
Quando a demonstração única não é suficiente, a empresa afirma que o modelo pode passar por adaptação few-shot com 1 a 10 passos de gradiente usando de 1 a 5 minutos de dados — cerca de 10 a 50 demonstrações.
Ganho de eficiência alegado
Aquisição de habilidades aproximadamente 507 vezes mais rápida que o fine-tuning supervisionado com 50 demonstrações robóticas por tarefa.
A proposta substitui treinamentos convencionais, frequentemente descritos como dezenas de milhares de passos de gradiente, por uma demonstração de 3 a 12 segundos — ou por 1 a 10 passos de adaptação quando necessário. A comparação ainda é uma alegação da empresa, não um benchmark independente.
Como o HOST aprende sem copiar simplesmente o movimento humano
O HOST não tenta apenas transformar a trajetória da mão humana em uma sequência equivalente para o braço robótico. Essa abordagem seria frágil porque pessoas e robôs têm corpos, câmeras, articulações e pontos de alcance diferentes.
Em vez disso, o vídeo funciona como uma referência de progresso. O sistema identifica em que etapa da tarefa a pessoa está, localiza o estágio correspondente na execução do robô e prevê como o resultado deveria aparecer a partir da perspectiva robótica. A partir dessa previsão, calcula as ações necessárias para chegar ao próximo estado.
Esse desenho permite que o robô use a demonstração como guia, sem converter o vídeo em um novo conjunto de pesos do modelo. Como os parâmetros permanecem congelados, o método também busca evitar o chamado “esquecimento catastrófico”, em que aprender uma nova habilidade prejudica capacidades anteriores.
Nos testes, o HOST foi avaliado em 50 tarefas novas, com 20 tentativas para cada uma. A taxa média de sucesso foi de 62%. O número é relevante porque mostra transferência entre diferentes objetos, ferramentas e princípios de manipulação, mas também deixa claro que o robô ainda falha em uma parcela significativa das tentativas.
Os autores também relataram testes de robustez com alterações de iluminação, objetos, cenário e interferência humana. Em relação ao resultado-base de 62%, as perdas reportadas foram de 1%, 4%, 6% e 9%, respectivamente.
O que o GEN-1.5 acrescenta
O GEN-1.5 apresenta uma visão mais abrangente: a Generalist AI descreve o sistema como um modelo de base para robótica, treinado em grande escala para aprender padrões de interação física antes de receber uma tarefa específica.
Nesse caso, a demonstração humana é inserida na janela de contexto como um “prompt físico”. O modelo observa o vídeo, combina essa informação com linguagem, sensores e propriocepção e tenta executar a ação imediatamente. A empresa afirma que o sistema pode transferir demonstrações humanas para robôs, combinar comportamentos apresentados separadamente, usar vídeos de simulação para orientar ações no mundo real e improvisar novas estratégias para atingir o mesmo objetivo.
A Generalist AI também descreve um segundo caminho para tarefas mais difíceis. Se o prompt único não for suficiente, o modelo pode ser adaptado com poucos passos de gradiente e alguns minutos de dados. Portanto, “sem treinamento” não descreve todos os cenários: o modo one-shot não atualiza o modelo, mas a alternativa few-shot ainda envolve adaptação.
Por que isso representa uma mudança na robótica
Durante décadas, ensinar um robô a executar uma tarefa nova normalmente exigiu programação específica, projeto de recompensas, teleoperação, coleta de dados e longas rodadas de treinamento. Os sistemas HOST e GEN-1.5 apontam para uma interface mais intuitiva: mostrar em vez de programar.
O ganho não está em eliminar o conhecimento prévio. O robô continua dependendo de um modelo previamente treinado em muitos exemplos e interações físicas. A novidade é amortizar esse custo: depois que a capacidade geral foi aprendida, o usuário final pode especificar uma tarefa nova com uma observação curta, em vez de iniciar uma otimização completa.
No HOST, essa troca aparece de forma quantificada: o método leva cerca de 29 segundos para adquirir a habilidade e os autores alegam uma aceleração de 507 vezes em comparação com o fine-tuning baseado em 50 demonstrações robóticas por tarefa.
Limitações que não podem ser ignoradas
O HOST ainda é um pré-print. Seus resultados vêm de um experimento controlado em laboratório, com 50 tarefas selecionadas e sucesso médio de 62%. Isso não comprova confiabilidade em ambientes domésticos, industriais, de horizonte longo ou com riscos de segurança. Também faltam replicações independentes mais amplas.
As evidências do GEN-1.5 são mais difíceis de auditar. Informações sobre o modelo, o tempo de treinamento, a ausência de dados de simulação, a duração dos prompts e a adaptação foram divulgadas pela Generalist AI ou em anúncios relacionados à empresa.
Ainda não existe um benchmark público comparável para o GEN-1.5. Não estão disponíveis, com o mesmo grau de especificação, uma contagem padronizada de tarefas, um protocolo completo de testes, uma taxa agregada de sucesso one-shot, comparações independentes, liberação do modelo e dos dados ou reprodução por terceiros. As demonstrações indicam potencial, mas não estabelecem sozinhas uma nova fronteira de desempenho.
Em conjunto, os trabalhos sustentam uma conclusão promissora, porém moderada. O HOST fornece evidência de que a aquisição de habilidades a partir de um único vídeo, sem atualização de parâmetros, pode funcionar em um conjunto definido de tarefas de manipulação. O GEN-1.5 sugere que um pré-treinamento físico suficientemente amplo pode fazer desse comportamento uma capacidade emergente de um modelo generalista.
A direção é clara: robôs podem começar a aprender de maneira mais parecida com pessoas, observando e contextualizando uma demonstração. Mas a aprendizagem por observação ainda não substitui a validação específica da tarefa, a engenharia de segurança e a adaptação necessária para ambientes abertos e imprevisíveis.
forum.gnoppix.org
GEN-1.5: Generalist AI teaches robots new tasks from a single demo
