HyWorldVLA: a estratégia da BYD para combinar detalhes em pixels e eficiência no espaço latente

A BYD apresentou o HyWorldVLA, um modelo de visão, linguagem e ação — ou VLA, na sigla em inglês — voltado à direção autônoma. A proposta é usar um “modelo de mundo” híbrido: ele aprende tanto com previsões detalhadas da cena em nível de pixel quanto com representações compactadas, chamadas de latents ou espaço latente. 1

Na prática, o sistema tenta resolver uma troca difícil: trabalhar diretamente com pixels preserva muitos detalhes visuais, mas exige alto poder computacional. Já o espaço latente resume a cena em uma forma mais leve para processar, porém pode deixar de lado informações importantes para dirigir. 1

A ideia: treinar com muitos detalhes, operar de forma mais leve

O HyWorldVLA não escolhe apenas uma dessas abordagens. Durante o treinamento, a supervisão em pixels ajuda a manter a representação latente ligada ao que de fato aparece na estrada. Na fase de operação, porém, o modelo prevê somente características latentes e as entrega a um módulo especializado em ações, que gera as trajetórias de condução. 17

Em termos simples: os pixels funcionam como uma referência detalhada durante o aprendizado; o espaço latente permite que o sistema tome decisões sem precisar recriar imagens completas a cada etapa.

As três fases de treinamento

1. Compressão de vídeo com orientação por linguagem

Primeiro, um VAE de vídeo — autoencoder variacional — comprime sequências de vídeos de direção em características latentes. A linguagem é usada como contexto semântico no treinamento desse compressor. 25

O objetivo não é somente reduzir o tamanho da informação. Esse espaço compactado precisa reter elementos úteis para antecipar o que acontecerá na via e, depois, orientar a condução.

2. Pré-treinamento híbrido do modelo de mundo

Na segunda etapa, imagens, ações, informações linguísticas e características latentes são transformadas em tokens discretos para previsão autorregressiva. O modelo aprende a prever os latentes futuros do vídeo e, ao mesmo tempo, a reconstruir os quadros futuros. 12

Essa é a chamada supervisão dupla:

• a previsão e reconstrução em pixels preservam a ancoragem visual detalhada da cena;
• a previsão no espaço latente favorece uma representação mais compacta, adequada ao planejamento futuro.

Assim, a perda associada aos pixels atua como uma restrição: impede que o modelo latente comprima demais a cena e descarte detalhes relevantes para a direção. 17

3. Coajuste com um especialista em ações

Na etapa final, o modelo de mundo é ajustado em conjunto com um modelo especializado em ações e trajetórias. Durante a operação, o HyWorldVLA prevê características latentes, em vez de gerar quadros completos em pixels, e envia essas características ao especialista para produzir trajetórias de direção. 1

Essa separação é central para a eficiência: a supervisão visual mais cara é usada para moldar a representação durante o treinamento, sem impor o mesmo custo computacional na inferência em tempo real.

O que os testes de ablação indicam

No NAVSIM v1, o HyWorldVLA reportou 90,59 PDMS, resultado descrito no artigo e em reportagens relacionadas como líder entre os resultados públicos naquele momento. 17

Os testes de ablação — em que partes do sistema são removidas para medir seu impacto — sugerem que o desenho híbrido não é apenas uma soma de recursos:

• sem a previsão em nível de pixel, o PDMS caiu de 90,59 para 87,50; 7
• sem o processamento no espaço latente, caiu para 89,91; 7
• sem a orientação por linguagem no módulo latente, o resultado foi 90,35. 20

Os números apoiam a tese dos pesquisadores: pixels e latentes resolvem partes diferentes do problema. Os pixels ajudam a preservar a fidelidade da cena; os latentes tornam a previsão de ações mais econômica em computação.

Por que o ajuste das perdas importa

O estudo também avalia dois pesos de treinamento: λ1, ligado à perda de previsão dos tokens de vídeo, e λ2, ligado à consistência da representação latente. 20

Com λ2 fixado em 0,1, elevar λ1 de 0,1 para 0,5 melhorou o PDMS de 90,48 para 90,59. Ao subir λ1 para 1,0, a pontuação caiu para 89,83. 20

Com λ1 fixado em 0,5, aumentar λ2 acima de 0,1 reduziu o desempenho: em 0,2, o PDMS foi de 90,47, e a tendência de queda continuou com valores maiores. 20

A leitura é que mais supervisão não é automaticamente melhor. O modelo precisa de restrições suficientes para preservar informações úteis, mas não tantas a ponto de tornar sua representação rígida demais.

O que mede o PDMS no NAVSIM v1

O PDMS é uma métrica composta de qualidade de condução no NAVSIM, uma plataforma de avaliação simulada para direção autônoma. Ela reúne fatores como evitar colisões atribuíveis ao próprio veículo, respeitar a área trafegável, manter margem de tempo até uma possível colisão, proporcionar conforto de movimento e avançar na rota. 2

Portanto, os 90,59 pontos não representam uma simples taxa de reconhecimento de imagens: resumem o desempenho do planejamento de direção dentro desse benchmark. Ainda assim, trata-se de uma avaliação em ambiente simulado, não de uma validação independente de segurança ou desempenho no trânsito real.

O que o trabalho sinaliza para a estratégia de IA da BYD

O artigo é atribuído ao Automotive New Technology Research Institute da BYD e representa uma evidência pública de investimento da empresa em pesquisa própria de modelos fundamentais para direção autônoma. 1

Há referências a uma conexão da equipe com conhecimento em robótica do Harbin Institute of Technology, mas as evidências primárias disponíveis não são suficientes para confirmar a formação acadêmica de cada pesquisador. 5

Diante de concorrentes como NIO, XPeng e Li Auto, o HyWorldVLA dá à BYD um resultado público e mensurável em VLA e modelagem de mundo. Isso aponta capacidade de pesquisa, mas não prova que a montadora já tenha vantagem comprovada na direção autônoma em vias reais.

A escala de produção da BYD pode se tornar uma vantagem caso a companhia consiga converter esse resultado de pesquisa em um produto seguro, validado e implantado com eficiência. O teste decisivo não será apenas outro benchmark: será a passagem confiável do modelo e da simulação para a operação nas ruas.