추론을 여러 단계로 이어 가고 도구까지 호출하는 AI 에이전트는 그동안 임베디드 장비에서 실행하기 쉽지 않았다. 모델 성능을 낮추거나, 응답 속도를 포기하거나, 결국 데이터센터에 요청을 보내야 하는 경우가 많았다.

엔비디아는 9월 4일 개발자 가이드에서 이 제약이 완화되고 있다고 설명했다. 최적화된 공개 모델, 저정밀도 추론, 더 효율적인 디코딩을 조합하면 Jetson AGX Orin과 Jetson AGX Thor에서 추론형·에이전트형 AI를 장치 내부에서 실행할 수 있다는 주장이다.1

핵심 수치는 Jetson AGX Thor에서 NVFP4 양자화와 추측 디코딩을 함께 적용했을 때 BF16 대비 최대 6.28배 높은 디코딩 처리량이다. 다만 이는 특정 모델과 워크로드에서 얻은 최대 벤치마크 결과다. 모든 모델이나 프롬프트에서 동일한 토큰 생성 속도가 보장된다는 뜻은 아니다.1

로컬 배포의 핵심: vLLM, NVFP4, 추측 디코딩

엔비디아는 Jetson AGX Orin 및 AGX Thor용 선택지로 Nemotron 3.5 Lightning과 Qwen3.8-27B를 제시했다. 개발자는 Jetson에서 vLLM으로 모델을 서빙하고, NVFP4 양자화와 추측 디코딩을 함께 활용해 추론 효율을 높일 수 있다.1

NVFP4 양자화란

NVFP4는 모델 연산에 필요한 표현을 4비트 부동소수점 방식으로 다뤄, 연산량과 메모리 요구량을 줄이는 기술이다. 임베디드 환경에서는 연산 성능만큼이나 가중치와 활성값을 메모리에서 얼마나 빠르게 옮길 수 있는지가 생성 속도를 좌우한다. NVFP4는 이 메모리 이동 부담을 낮추는 데 초점이 있다.1

Jetson AGX Thor는 이 방식에 특히 맞춰진 제품이다. 엔비디아에 따르면 Blackwell GPU의 Transformer Engine이 네이티브 FP4를 지원한다.3

추측 디코딩은 어떻게 빨라지나

추측 디코딩에서는 더 작은 초안 모델이 다음 토큰 여러 개를 먼저 제안하고, 주 모델이 이를 한꺼번에 검증한다. 최종 결정권은 주 모델에 있다. 제안된 토큰 여러 개가 받아들여지면, 한 번의 검증 과정에서 생성이 여러 토큰만큼 전진할 수 있다.1

따라서 속도 이득은 초안 모델의 제안이 얼마나 자주 채택되는지에 달려 있다. 모델, 프롬프트, 컨텍스트 길이, 디코딩 설정에 따라 결과가 달라지는 이유다. 추측 디코딩은 고정 배율의 성능 보장이 아니라 워크로드별 최적화로 봐야 한다.

Nemotron 3.5 Lightning과 Qwen3.8-27B, 무엇이 다른가

두 모델의 차이는 단순한 총 파라미터 수보다 토큰 하나를 생성할 때 실제로 얼마나 많은 모델 부분이 작동하는가에 있다.

Nemotron 3.5 Lightning: 적은 활성 파라미터로 반복 작업

Nemotron 3.5 Lightning은 총 300억 파라미터의 Mixture-of-Experts(MoE) 모델이지만, 토큰당 활성화되는 파라미터는 30억 개다. 엔비디아는 이를 장시간 계속 실행되는 에이전트의 실행 계층을 위한 모델로 설명한다.2

예를 들어 장비 이벤트를 해석하고, 허용된 도구를 호출하고, 결과를 확인한 뒤 다음 조치 또는 사람에게의 이관 여부를 판단하는 작업을 반복하는 에이전트에 적합할 수 있다. 이런 환경에서는 총 파라미터 수보다 토큰당 활성 파라미터와 지속적인 생성 속도가 중요하다.

Qwen3.8-27B: 매 토큰마다 전체 네트워크를 쓰는 밀집형 모델

Qwen3.8-27B는 매 토큰마다 270억 파라미터 전체가 참여하는 밀집형(dense) 모델이다. 엔비디아는 이 모델도 Jetson용 유력 선택지로 제시한다.1

의사결정 횟수는 적지만 각 판단의 난도가 높은 워크플로라면 밀집형 모델이 적합할 수 있다. 대신 매 토큰에서 전체 네트워크가 작동하므로, 희소 MoE 모델보다 더 큰 연산 부담이 따를 수 있다.

결론은 ‘파라미터 수’가 아니라 실제 업무 흐름

엔비디아의 실질적 권고는 애플리케이션 조건에서 직접 비교하라는 것이다. 프롬프트와 답변 길이, 도구 호출 방식, 목표 지연 시간, 메모리 한도, 의사결정 빈도를 기준으로 시험해야 한다.1

응답을 많이 생성하는 에이전트는 빠른 출력 생성이 가능한 희소 모델을 선호할 수 있다. 반대로 더 적은 횟수의 복잡한 판단에 집중하는 시스템이라면, 원하는 동작 특성을 위해 더 긴 생성 시간을 감수할 수 있다. 어느 구조가 항상 우위에 있는 것은 아니다.

‘최대 6.28배’ 수치의 의미와 한계

엔비디아는 AGX Thor에서 NVFP4와 추측 디코딩을 결합해 BF16 대비 최대 6.28배의 디코딩 처리량 향상을 보고했다. 최적의 추측 디코딩 구성도 모델별로 달랐다. Nemotron 3.5 Lightning에는 DSpark가, Qwen3.8-27B에는 DFlash2가 가장 좋은 결과를 보였다고 밝혔다.1

이 수치가 중요한 까닭은 디코딩, 즉 출력 토큰을 순차적으로 만들어 내는 과정이 대화형 에이전트의 체감 응답성을 좌우하는 경우가 많기 때문이다. 다만 이를 모든 배포 환경에 적용되는 속도 약속으로 해석해서는 안 된다. 초안 토큰 수용률, 배치 크기, 컨텍스트 길이, 런타임 구성은 실제 처리량을 크게 바꾼다.1

데이터센터 의존도를 낮추는 이유

장치 내 추론은 모든 판단을 원격 데이터센터에 왕복 요청할 필요가 없게 만든다. 물리 환경에서 작동하는 시스템에는 네트워크로 인한 지연을 줄이고, 연결이 불안정해도 작동을 이어 가며, 센서 데이터와 운영 로그를 기기 내부에 둘 수 있다는 장점이 있다. 엔비디아 역시 데이터 지역성과 실시간 응답이 중요한 상황에서 엣지 추론·에이전트 AI의 가치를 강조한다.1

물론 클라우드의 역할이 사라지는 것은 아니다. 모델 학습, 장비군 관리, 대규모 분석, 기기의 메모리·연산 한도를 넘는 작업에는 중앙 인프라가 계속 필요하다. 달라지는 점은 모든 현장 판단에서 데이터센터 연결이 반드시 경로상에 있을 필요가 없다는 것이다.

어떤 분야가 가장 큰 효과를 볼까

엔비디아가 든 사례는 차량 실내 어시스턴트, 실시간 이상 탐지, 혹독하거나 원격인 환경에서 작동하는 로봇이다.1

공통점은 현장 맥락을 해석하고 충분히 빠르게 반응해야 실용성이 생긴다는 데 있다.

• 관측 결과와 작업 상태를 바탕으로 다음 행동을 판단해야 하는 로봇
• 설비 이벤트와 운영 로그를 해석하는 산업 시스템
• 차량 실내 상호작용에 즉시 응답해야 하는 어시스턴트
• 안정적인 통신망을 전제로 할 수 없는 원격 검사·감시 장비

적합한 대상은 단순히 LLM을 실행할 수 있는 기기가 아니다. 응답 시간, 데이터 지역성 또는 프라이버시, 오프라인 복원력이 운영상 가치를 직접 만드는 시스템이다.

Jetson 제품군에서 AGX Thor의 위치

Jetson AGX Thor는 높은 수준의 피지컬 AI 워크로드를 겨냥한 엔비디아의 상위 플랫폼이다. 엔비디아에 따르면 Blackwell GPU와 128GB 메모리를 결합했으며, 130W 전력 범위에서 최대 2,070 FP4 TFLOPS를 제공한다.3

이 하드웨어 구성은 NVFP4, 높은 디코딩 처리량, 대형 로컬 추론 모델이라는 이번 가이드의 방향과 맞닿아 있다. AGX Orin은 이미 구축된 임베디드 배포 환경에서 여전히 의미 있는 선택지이며, Thor는 더 까다로운 생성형·멀티모달 워크로드를 겨냥한다.

보급형에서는 Jetson Orin Nano 2도 예고됐다. 엔비디아는 이를 로봇, 배송·검사용 드론, 비전 AI 시스템용 제품으로 소개했으며, 모듈과 개발자 키트는 2027년 상반기 출시될 예정이라고 밝혔다.1

이는 소형 엣지 AI용 보급형, 검증된 임베디드 배포용 AGX Orin, 더 큰 메모리와 연산 능력으로 로컬 생성형 추론을 수행할 AGX Thor로 이어지는 계층형 구성을 보여준다.

핵심 정리

이번 가이드의 메시지는 모든 최첨단 모델을 모든 임베디드 모듈에서 무리 없이 구동할 수 있다는 뜻이 아니다. 더 현실적인 결론은, 비교적 컴팩트한 추론 모델과 vLLM, NVFP4 양자화, 추측 디코딩을 결합하면 Jetson급 하드웨어에서 유능한 로컬 AI 에이전트를 구현할 가능성이 커졌다는 것이다.1

개발자에게 남은 과제는 이론이 아니라 검증이다. 목표 Jetson 장비에서 실제 프롬프트, 도구, 컨텍스트 윈도, 응답 시간 요건으로 벤치마크해야 한다. 최대 6.28배라는 결과는 최적화의 잠재력을 보여주지만, 그것이 실제 제품의 쓸 만한 엣지 AI 경험으로 이어지는지는 애플리케이션별 측정이 결정한다.1

추론을 여러 단계로 이어 가고 도구까지 호출하는 AI 에이전트는 그동안 임베디드 장비에서 실행하기 쉽지 않았다. 모델 성능을 낮추거나, 응답 속도를 포기하거나, 결국 데이터센터에 요청을 보내야 하는 경우가 많았다.

엔비디아는 9월 4일 개발자 가이드에서 이 제약이 완화되고 있다고 설명했다. 최적화된 공개 모델, 저정밀도 추론, 더 효율적인 디코딩을 조합하면 Jetson AGX Orin과 Jetson AGX Thor에서 추론형·에이전트형 AI를 장치 내부에서 실행할 수 있다는 주장이다.1

핵심 수치는 Jetson AGX Thor에서 NVFP4 양자화와 추측 디코딩을 함께 적용했을 때 BF16 대비 최대 6.28배 높은 디코딩 처리량이다. 다만 이는 특정 모델과 워크로드에서 얻은 최대 벤치마크 결과다. 모든 모델이나 프롬프트에서 동일한 토큰 생성 속도가 보장된다는 뜻은 아니다.1

로컬 배포의 핵심: vLLM, NVFP4, 추측 디코딩

엔비디아는 Jetson AGX Orin 및 AGX Thor용 선택지로 Nemotron 3.5 Lightning과 Qwen3.8-27B를 제시했다. 개발자는 Jetson에서 vLLM으로 모델을 서빙하고, NVFP4 양자화와 추측 디코딩을 함께 활용해 추론 효율을 높일 수 있다.1

NVFP4 양자화란

NVFP4는 모델 연산에 필요한 표현을 4비트 부동소수점 방식으로 다뤄, 연산량과 메모리 요구량을 줄이는 기술이다. 임베디드 환경에서는 연산 성능만큼이나 가중치와 활성값을 메모리에서 얼마나 빠르게 옮길 수 있는지가 생성 속도를 좌우한다. NVFP4는 이 메모리 이동 부담을 낮추는 데 초점이 있다.1

Jetson AGX Thor는 이 방식에 특히 맞춰진 제품이다. 엔비디아에 따르면 Blackwell GPU의 Transformer Engine이 네이티브 FP4를 지원한다.3

추측 디코딩은 어떻게 빨라지나

추측 디코딩에서는 더 작은 초안 모델이 다음 토큰 여러 개를 먼저 제안하고, 주 모델이 이를 한꺼번에 검증한다. 최종 결정권은 주 모델에 있다. 제안된 토큰 여러 개가 받아들여지면, 한 번의 검증 과정에서 생성이 여러 토큰만큼 전진할 수 있다.1

따라서 속도 이득은 초안 모델의 제안이 얼마나 자주 채택되는지에 달려 있다. 모델, 프롬프트, 컨텍스트 길이, 디코딩 설정에 따라 결과가 달라지는 이유다. 추측 디코딩은 고정 배율의 성능 보장이 아니라 워크로드별 최적화로 봐야 한다.

Nemotron 3.5 Lightning과 Qwen3.8-27B, 무엇이 다른가

두 모델의 차이는 단순한 총 파라미터 수보다 토큰 하나를 생성할 때 실제로 얼마나 많은 모델 부분이 작동하는가에 있다.

Nemotron 3.5 Lightning: 적은 활성 파라미터로 반복 작업

Nemotron 3.5 Lightning은 총 300억 파라미터의 Mixture-of-Experts(MoE) 모델이지만, 토큰당 활성화되는 파라미터는 30억 개다. 엔비디아는 이를 장시간 계속 실행되는 에이전트의 실행 계층을 위한 모델로 설명한다.2

예를 들어 장비 이벤트를 해석하고, 허용된 도구를 호출하고, 결과를 확인한 뒤 다음 조치 또는 사람에게의 이관 여부를 판단하는 작업을 반복하는 에이전트에 적합할 수 있다. 이런 환경에서는 총 파라미터 수보다 토큰당 활성 파라미터와 지속적인 생성 속도가 중요하다.

Qwen3.8-27B: 매 토큰마다 전체 네트워크를 쓰는 밀집형 모델

Qwen3.8-27B는 매 토큰마다 270억 파라미터 전체가 참여하는 밀집형(dense) 모델이다. 엔비디아는 이 모델도 Jetson용 유력 선택지로 제시한다.1

의사결정 횟수는 적지만 각 판단의 난도가 높은 워크플로라면 밀집형 모델이 적합할 수 있다. 대신 매 토큰에서 전체 네트워크가 작동하므로, 희소 MoE 모델보다 더 큰 연산 부담이 따를 수 있다.

결론은 ‘파라미터 수’가 아니라 실제 업무 흐름

엔비디아의 실질적 권고는 애플리케이션 조건에서 직접 비교하라는 것이다. 프롬프트와 답변 길이, 도구 호출 방식, 목표 지연 시간, 메모리 한도, 의사결정 빈도를 기준으로 시험해야 한다.1

응답을 많이 생성하는 에이전트는 빠른 출력 생성이 가능한 희소 모델을 선호할 수 있다. 반대로 더 적은 횟수의 복잡한 판단에 집중하는 시스템이라면, 원하는 동작 특성을 위해 더 긴 생성 시간을 감수할 수 있다. 어느 구조가 항상 우위에 있는 것은 아니다.

‘최대 6.28배’ 수치의 의미와 한계

엔비디아는 AGX Thor에서 NVFP4와 추측 디코딩을 결합해 BF16 대비 최대 6.28배의 디코딩 처리량 향상을 보고했다. 최적의 추측 디코딩 구성도 모델별로 달랐다. Nemotron 3.5 Lightning에는 DSpark가, Qwen3.8-27B에는 DFlash2가 가장 좋은 결과를 보였다고 밝혔다.1

이 수치가 중요한 까닭은 디코딩, 즉 출력 토큰을 순차적으로 만들어 내는 과정이 대화형 에이전트의 체감 응답성을 좌우하는 경우가 많기 때문이다. 다만 이를 모든 배포 환경에 적용되는 속도 약속으로 해석해서는 안 된다. 초안 토큰 수용률, 배치 크기, 컨텍스트 길이, 런타임 구성은 실제 처리량을 크게 바꾼다.1

데이터센터 의존도를 낮추는 이유

장치 내 추론은 모든 판단을 원격 데이터센터에 왕복 요청할 필요가 없게 만든다. 물리 환경에서 작동하는 시스템에는 네트워크로 인한 지연을 줄이고, 연결이 불안정해도 작동을 이어 가며, 센서 데이터와 운영 로그를 기기 내부에 둘 수 있다는 장점이 있다. 엔비디아 역시 데이터 지역성과 실시간 응답이 중요한 상황에서 엣지 추론·에이전트 AI의 가치를 강조한다.1

물론 클라우드의 역할이 사라지는 것은 아니다. 모델 학습, 장비군 관리, 대규모 분석, 기기의 메모리·연산 한도를 넘는 작업에는 중앙 인프라가 계속 필요하다. 달라지는 점은 모든 현장 판단에서 데이터센터 연결이 반드시 경로상에 있을 필요가 없다는 것이다.

어떤 분야가 가장 큰 효과를 볼까

엔비디아가 든 사례는 차량 실내 어시스턴트, 실시간 이상 탐지, 혹독하거나 원격인 환경에서 작동하는 로봇이다.1

공통점은 현장 맥락을 해석하고 충분히 빠르게 반응해야 실용성이 생긴다는 데 있다.

• 관측 결과와 작업 상태를 바탕으로 다음 행동을 판단해야 하는 로봇
• 설비 이벤트와 운영 로그를 해석하는 산업 시스템
• 차량 실내 상호작용에 즉시 응답해야 하는 어시스턴트
• 안정적인 통신망을 전제로 할 수 없는 원격 검사·감시 장비

적합한 대상은 단순히 LLM을 실행할 수 있는 기기가 아니다. 응답 시간, 데이터 지역성 또는 프라이버시, 오프라인 복원력이 운영상 가치를 직접 만드는 시스템이다.

Jetson 제품군에서 AGX Thor의 위치

Jetson AGX Thor는 높은 수준의 피지컬 AI 워크로드를 겨냥한 엔비디아의 상위 플랫폼이다. 엔비디아에 따르면 Blackwell GPU와 128GB 메모리를 결합했으며, 130W 전력 범위에서 최대 2,070 FP4 TFLOPS를 제공한다.3

이 하드웨어 구성은 NVFP4, 높은 디코딩 처리량, 대형 로컬 추론 모델이라는 이번 가이드의 방향과 맞닿아 있다. AGX Orin은 이미 구축된 임베디드 배포 환경에서 여전히 의미 있는 선택지이며, Thor는 더 까다로운 생성형·멀티모달 워크로드를 겨냥한다.

보급형에서는 Jetson Orin Nano 2도 예고됐다. 엔비디아는 이를 로봇, 배송·검사용 드론, 비전 AI 시스템용 제품으로 소개했으며, 모듈과 개발자 키트는 2027년 상반기 출시될 예정이라고 밝혔다.1

이는 소형 엣지 AI용 보급형, 검증된 임베디드 배포용 AGX Orin, 더 큰 메모리와 연산 능력으로 로컬 생성형 추론을 수행할 AGX Thor로 이어지는 계층형 구성을 보여준다.

핵심 정리

이번 가이드의 메시지는 모든 최첨단 모델을 모든 임베디드 모듈에서 무리 없이 구동할 수 있다는 뜻이 아니다. 더 현실적인 결론은, 비교적 컴팩트한 추론 모델과 vLLM, NVFP4 양자화, 추측 디코딩을 결합하면 Jetson급 하드웨어에서 유능한 로컬 AI 에이전트를 구현할 가능성이 커졌다는 것이다.1

개발자에게 남은 과제는 이론이 아니라 검증이다. 목표 Jetson 장비에서 실제 프롬프트, 도구, 컨텍스트 윈도, 응답 시간 요건으로 벤치마크해야 한다. 최대 6.28배라는 결과는 최적화의 잠재력을 보여주지만, 그것이 실제 제품의 쓸 만한 엣지 AI 경험으로 이어지는지는 애플리케이션별 측정이 결정한다.1