RespostasPublicado13 fontes
Jetson AGX Thor e Orin podem rodar IA de raciocínio localmente, diz NVIDIA
A NVIDIA afirma que Jetson AGX Thor e AGX Orin podem executar localmente os modelos Nemotron 3.5 Lightning e Qwen3.8 27B; no Thor, NVFP4 com decodificação especulativa elevou em até 6,28× o throughput de decodificação... O Nemotron 3.5 Lightning é um modelo MoE de 30 bilhões de parâmetros, com 3 bilhões ativos por t...
Publicado porEditado com GPT-5.6 TerraImagens geradas com GPT Image 2
Resposta de pesquisa
Principais conclusões
- A NVIDIA afirma que Jetson AGX Thor e AGX Orin podem executar localmente os modelos Nemotron 3.5 Lightning e Qwen3.8 27B; no Thor, NVFP4 com decodificação especulativa elevou em até 6,28× o throughput de decodificação...
- O Nemotron 3.5 Lightning é um modelo MoE de 30 bilhões de parâmetros, com 3 bilhões ativos por token; já o Qwen3.8 27B é denso e ativa todos os 27 bilhões de parâmetros a cada token.
- A inferência no dispositivo reduz a dependência de conexão com data centers em robôs, veículos e sistemas industriais, mas a escolha do modelo precisa ser validada no fluxo de trabalho real.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: How does NVIDIA’s September 4 developer guide show that Jetson AGX Thor and AGX Orin modules can run compact reasoning and agentic AI models. Article summary: NVIDIA’s September 4 guide argues that recent compact open models, combined with Jetson-optimized serving and decoding techniques, make multi-step reasoning and agent loops practical on-device rather than requiring a rou. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Executar modelos capazes de raciocinar em várias etapas em hardware embarcado normalmente exigia abrir mão de capacidade ou de velocidade de resposta. Em um guia publicado em 4 de setembro, a NVIDIA sustenta que esse cenário está mudando: modelos abertos otimizados, inferência em baixa precisão e técnicas de geração mais rápidas podem levar IA de raciocínio e agentes diretamente aos módulos Jetson AGX Orin e Jetson AGX Thor. 1
O principal número divulgado é um ganho de até 6,28× no throughput de decodificação em relação ao BF16 no Jetson AGX Thor, com a combinação de quantização NVFP4 e decodificação especulativa. Trata-se de um resultado específico para modelos e cargas de trabalho avaliados — não de uma promessa geral de tokens por segundo —, mas ele ajuda a explicar por que agentes de IA locais passam a ser mais viáveis em robótica, veículos e equipamentos industriais. 1
Como funciona a pilha de IA local
O guia aponta Nemotron 3.5 Lightning e Qwen3.8-27B como opções para os Jetson AGX Orin e AGX Thor. A proposta é servir os modelos localmente com o vLLM no Jetson e combinar duas técnicas para tornar a inferência mais eficiente. 1
Quantização NVFP4
A NVFP4 usa representações de ponto flutuante de 4 bits para reduzir o trabalho computacional e a memória exigidos nas operações do modelo. Em dispositivos embarcados, diminuir a movimentação de dados é especialmente relevante: durante a geração, o gargalo não é apenas a capacidade de processamento, mas também a rapidez para movimentar pesos e ativações. 1
O Jetson Thor é particularmente adequado a essa abordagem porque, segundo a NVIDIA, sua GPU baseada na arquitetura Blackwell tem suporte nativo a FP4 por meio do Transformer Engine. 3
Decodificação especulativa
Na decodificação especulativa, um modelo menor, chamado de rascunho, propõe vários próximos tokens. O modelo principal verifica esse conjunto e continua responsável pela decisão final. Quando vários tokens propostos são aceitos, a geração avança mais de um token em uma única etapa de verificação, em vez de seguir token a token. 1
O ganho depende da frequência com que as propostas são aceitas. Por isso, o desempenho pode variar conforme o modelo, o prompt e a configuração de decodificação; não se trata de um multiplicador fixo de velocidade.
Nemotron 3.5 Lightning ou Qwen3.8-27B?
Os dois modelos representam escolhas diferentes para aplicações de edge — isto é, IA executada perto de onde os dados são produzidos.
Nemotron 3.5 Lightning: mais capacidade, menos parâmetros ativos
O Nemotron 3.5 Lightning é um modelo mixture-of-experts (MoE) de 30 bilhões de parâmetros, mas ativa somente 3 bilhões deles por token. A NVIDIA o descreve como voltado à camada de execução de agentes de longa duração e sempre ativos. 2
Essa arquitetura pode ser interessante quando um agente precisa responder com frequência ou repetir ciclos operacionais: interpretar um evento, acionar uma ferramenta autorizada, analisar o resultado e decidir se continua ou encaminha uma exceção. Nesse caso, importam não apenas o total de parâmetros, mas os parâmetros efetivamente ativos por token e a velocidade sustentada de geração.
Qwen3.8-27B: rede densa para decisões mais exigentes
O Qwen3.8-27B é um modelo denso: todos os 27 bilhões de parâmetros participam do processamento de cada token. A NVIDIA o posiciona como uma opção forte para Jetson ao lado do Nemotron 3.5 Lightning. 1
Um modelo denso pode fazer mais sentido quando a aplicação toma menos decisões, porém dá maior peso a cada uma delas. A contrapartida é que ativar toda a rede a cada token pode exigir mais processamento do que um modelo MoE esparso.
A escolha deve partir do fluxo de trabalho
Na prática, a recomendação da NVIDIA é medir o desempenho com as condições reais da aplicação: tamanho dos prompts e das respostas, uso de ferramentas, limite de latência, memória disponível e padrão de decisões. 1
Um agente que responde muito pode se beneficiar de um modelo esparso com geração rápida. Já um sistema que toma decisões menos frequentes, porém mais complexas, pode aceitar uma geração mais lenta em troca do comportamento de um modelo denso. Nenhuma das arquiteturas é automaticamente superior para todo projeto de edge AI.
O que significa o ganho de até 6,28× no AGX Thor
A NVIDIA relata uma melhora máxima de 6,28× no throughput de decodificação, em comparação com BF16, ao combinar NVFP4 e decodificação especulativa no Jetson AGX Thor. A melhor configuração de decodificação especulativa também variou por modelo: a empresa encontrou melhor resultado com DSpark para o Nemotron 3.5 Lightning e com DFlash2 para o Qwen3.8-27B. 1
O dado é relevante porque a decodificação — a criação progressiva dos tokens de resposta — frequentemente determina a sensação de rapidez em um agente interativo. Mas o número não deve ser interpretado como ganho garantido para qualquer prompt, modelo ou implantação. A qualidade do modelo de rascunho, a taxa de aceitação de tokens, o tamanho do lote, o comprimento do contexto e a configuração do runtime afetam o throughput efetivo. 1
Menos dependência do data center
Com a inferência no próprio dispositivo, cada solicitação de raciocínio deixa de depender, obrigatoriamente, de uma ida e volta a um data center remoto. Para sistemas físicos, isso pode representar menor atraso associado à rede, continuidade de operação quando a conectividade é instável e possibilidade de manter no equipamento os fluxos de sensores e os registros operacionais. A NVIDIA destaca a relevância da IA de raciocínio no edge em cenários nos quais localidade dos dados e resposta em tempo real são importantes. 1
Isso não elimina o papel da nuvem. Empresas ainda podem usar infraestrutura centralizada para treinar modelos, gerenciar frotas de dispositivos, fazer análises em larga escala ou executar tarefas que ultrapassem a memória e a capacidade computacional do equipamento. A mudança central é que a conexão com o data center não precisa ficar no caminho crítico de toda decisão.
Aplicações mais favorecidas
A NVIDIA cita assistentes dentro da cabine de veículos, detecção de anomalias em tempo real e robôs que operam em ambientes agressivos ou remotos. 1
Esses casos compartilham uma exigência prática: interpretar o contexto local e responder rápido o bastante para ser útil. Entre os usos possíveis estão:
- robôs que precisam raciocinar sobre observações e o andamento de tarefas;
- sistemas industriais que interpretam eventos de equipamentos ou logs operacionais;
- assistentes veiculares que respondem durante a interação dentro da cabine;
- equipamentos de inspeção ou monitoramento remotos, que não podem assumir conexão confiável.
Os melhores candidatos não são simplesmente dispositivos capazes de rodar um modelo de linguagem. São sistemas nos quais tempo de resposta, privacidade ou localidade dos dados e resiliência sem conexão têm valor operacional direto.
Onde o AGX Thor se encaixa na linha Jetson
O Jetson AGX Thor é a plataforma de alto desempenho da NVIDIA para cargas exigentes de IA física. Segundo a empresa, ele combina uma GPU Blackwell com 128 GB de memória e entrega até 2.070 TFLOPS em FP4 dentro de um envelope de 130 W. 3
Esse perfil de hardware está alinhado ao foco do guia em NVFP4, decodificação de alto throughput e modelos locais de raciocínio maiores. O AGX Orin permanece relevante para implantações embarcadas já consolidadas, enquanto o Thor mira cargas generativas e multimodais mais pesadas.
Na faixa de entrada, a NVIDIA também anunciou o Jetson Orin Nano 2 para robótica, drones de entrega e inspeção e sistemas de IA para visão computacional. Segundo a empresa, o módulo e o kit de desenvolvimento são esperados para o primeiro semestre de 2027. 1
Em conjunto, a linha aponta para uma estratégia em camadas: sistemas menores para IA de edge de entrada, AGX Orin para projetos embarcados maduros e AGX Thor para aplicações que precisam de mais memória e processamento para raciocínio generativo local.
Em resumo
O guia da NVIDIA não diz que todo modelo de fronteira agora pode rodar confortavelmente em qualquer módulo embarcado. A conclusão mais útil é mais específica: modelos de raciocínio compactos, implantação com vLLM, quantização NVFP4 e decodificação especulativa podem tornar agentes locais capazes viáveis em hardware da linha Jetson. 1
Para desenvolvedores, o próximo passo é prático: testar o modelo escolhido no Jetson-alvo, com os prompts, ferramentas, janelas de contexto e exigências de tempo de resposta do produto real. O resultado de até 6,28× mostra o potencial das otimizações; o benchmark da aplicação é que dirá se esse potencial se transforma em um sistema de IA de edge utilizável. 1
Studio Global AI
Continue sua pesquisa
Esta página inclui uma resposta baseada na fonte que você pode continuar em Studio Global.
As pessoas também perguntam
Qual é a resposta curta para "Jetson AGX Thor e Orin podem rodar IA de raciocínio localmente, diz NVIDIA"?
A NVIDIA afirma que Jetson AGX Thor e AGX Orin podem executar localmente os modelos Nemotron 3.5 Lightning e Qwen3.8 27B; no Thor, NVFP4 com decodificação especulativa elevou em até 6,28× o throughput de decodificação...
Quais são os pontos-chave para validar primeiro?
A NVIDIA afirma que Jetson AGX Thor e AGX Orin podem executar localmente os modelos Nemotron 3.5 Lightning e Qwen3.8 27B; no Thor, NVFP4 com decodificação especulativa elevou em até 6,28× o throughput de decodificação... O Nemotron 3.5 Lightning é um modelo MoE de 30 bilhões de parâmetros, com 3 bilhões ativos por token; já o Qwen3.8 27B é denso e ativa todos os 27 bilhões de parâmetros a cada token.
O que devo fazer a seguir na prática?
A inferência no dispositivo reduz a dependência de conexão com data centers em robôs, veículos e sistemas industriais, mas a escolha do modelo precisa ser validada no fluxo de trabalho real.
Fontes
developer.nvidia.comFrontier Reasoning Reaches the Edge: How to Deploy and Optimize ...