엔비디아, Blackwell GPU에서 DeepSeek V4 추론 비용 5배 절감…소프트웨어 최적화로 이룬 성과

코드가 바꾼 5배 비용 절감의 비밀

2026년 6월 30일, 엔비디아는 Blackwell GPU에서 DeepSeek V4를 실행하는 데 드는 토큰당 비용을 소프트웨어 최적화만으로 출시 당시의 약 5분의 1로 줄였다고 발표했습니다 . 놀라운 점은 새로운 하드웨어나 칩 개정, 시스템 재설계 없이 오로지 소프트웨어 업데이트만으로 이룬 성과라는 것입니다 . 대규모 추론을 운영하는 기업과 AI 제공업체에게 이 5배 개선은 에이전틱 AI 워크로드를 수익성 있게 운영할 수 있느냐 없느냐의 차이를 의미합니다.

이 글에서는 엔비디아가 어떤 최적화 기술을 배치했는지, DeepSeek V4 모델군의 내부 구조는 무엇인지, 어떤 추론 제공업체들이 이미 이러한 개선을 활용하고 있는지, 그리고 엔비디아가 토큰당 비용에 집중하는 경제적 논리를 어떻게 설명하는지 자세히 분석합니다.

5배 비용 절감을 이끈 소프트웨어 최적화

엔비디아는 추론 최적화 스택을 생산 운영, 애플리케이션 가속, 인프라 접근이라는 세 가지 계층으로 구성합니다 . 이 계층들에 걸쳐 5배 개선을 이끈 구체적인 기술은 다음과 같습니다:

NVIDIA Dynamo 추론 프레임워크

Dynamo는 추론 단계를 서로 다른 GPU에 분산 처리하는 오픈소스 분산 서빙 프레임워크입니다. 프리필(Prefill)과 디코드(Decode)를 분리하고 요청을 적절한 GPU에 지능적으로 라우팅하여 중복 연산을 방지하며, NVLink 기반 캐싱을 통해 GPU 메모리를 비용 효율적인 스토리지 계층으로 확장합니다 . Dynamo는 SGLang, TensorRT-LLM, vLLM을 지원하며 이들 오픈소스 엔진과 기본적으로 통합됩니다 . SemiAnalysis InferenceX 벤치마크에서 입증된 것처럼, 이 프레임워크는 NVIDIA Blackwell에서 처리할 수 있는 요청 수를 최대 7배까지 늘릴 수 있습니다 .

TensorRT-LLM 최적화

엔비디아는 Blackwell 출시 후 2개월 만에 하드웨어 변경 없이 TensorRT-LLM 최적화만으로 토큰당 비용을 5배 줄였습니다 . 데이터센터 규모에서 토큰당 비용 5배 감소는 동일한 인프라 투자로 창출할 수 있는 수익이 5배 증가한다는 것을 의미합니다 .

분리형 서빙 (Disaggregated Serving)

프리필(입력 처리) 단계와 디코드(토큰 생성) 단계를 서로 다른 GPU에 분리함으로써 리소스 경합을 없애고 각 단계의 고유한 요구에 맞게 독립적으로 최적화할 수 있습니다 . 이는 NVIDIA Dynamo 프레임워크의 핵심 기능입니다 .

대규모 전문가 병렬화 (Large-Scale Expert Parallelism)

DeepSeek V4는 384개의 분산 전문가로 구성된 Mixture-of-Experts(MoE) 아키텍처를 사용합니다 . 최적화된 라우팅은 이러한 전문가 간에 토큰을 분배할 때 중복 연산을 줄여 GPU 클러스터 전체의 효율성을 향상시킵니다 .

NVLink 기반 병렬 통신

엔비디아의 고속 GPU 상호 연결은 전문가 간 효율적인 올-투-올(all-to-all) 통신을 가능하게 합니다. 이는 전문가 병렬화가 GPU 간 빈번한 데이터 교환을 필요로 하는 MoE 모델에 매우 중요합니다 .

NVFP4 정밀도

추론에 4비트 부동소수점 정밀도를 사용하면 정확도 손실을 크게 줄이면서 메모리 대역폭과 연산 요구 사항을 낮출 수 있습니다 . DeepSeek-V3.2의 경우, 엔비디아의 NVFP4 양자화는 원래 FP8 형식(690GB)에 비해 메모리 사용량을 1.7배(415GB) 줄여 처리량과 비용 효율성을 크게 향상시켰습니다 .

멀티 토큰 예측 (MTP)

MTP는 순방향 패스당 여러 토큰을 생성하여 처리량을 높입니다. DeepSeek V4를 위한 첫 MTP 지원은 출시 3일 만에 SGLang에서 제공되었습니다 . MTP를 사용한 SGLang은 나중에 GB300 NVL72 하드웨어에서 GPU당 초당 12,000토큰을 초과하는 성능을 달성했습니다 .

최적화된 CUDA 커널

모든 최적화가 엔비디아 독자적으로 이루어진 것은 아닙니다. TensorRT-LLM이 초기에 DeepSeek V4의 새로운 아키텍처와 잘 작동하지 않았기 때문에, SemiAnalysis가 엔비디아의 오픈소스 mHC(manifold-constrained hyper-connection) 커널 실행 코드를 직접 수정해야 했습니다 . 이 커뮤니티의 기여는 프로덕션 품질의 추론에 필수적이었습니다.

SGLang 서빙 레시피

LMSYS Org는 SGLang을 사용하여 NVIDIA GB300 NVL72 하드웨어에서 GPU당 초당 약 2,200토큰에서 11,200토큰으로 5배의 처리량 증가를 검증받았습니다 . 엔비디아의 Dynamo 지원 매트릭스는 lmsysorg/sglang:deepseek-v4-blackwell을 지원되는 구성으로 명시하고 있습니다 .

이러한 최적화가 결합되어 Blackwell에서 GPU당 최대 20배 높은 처리량을 제공합니다 .

DeepSeek V4 모델군 사양

DeepSeek V4는 2026년 4월 24일 MIT 라이선스 하에 2계층 모델군으로 출시되었습니다 .

사양	DeepSeek-V4-Pro	DeepSeek-V4-Flash
전체 파라미터	1.6조 (1.6 trillion)	2840억 (284 billion)
활성 파라미터 (토큰당)	490억 (49 billion)	130억 (13 billion)
아키텍처	MoE + 하이브리드 어텐션 (CSA + HCA) + mHC	MoE + 하이브리드 어텐션 (CSA + HCA) + mHC
컨텍스트 윈도우	1,000,000 토큰	1,000,000 토큰
사전 학습 데이터	32조(32T) 이상 다양한 토큰	32조(32T) 이상 다양한 토큰
라이선스	MIT (오픈 가중치)	MIT (오픈 가중치)
정밀도	FP4 (전문가) + FP8 (기타 가중치) 혼합	FP4 (전문가) + FP8 (기타 가중치) 혼합
핵심 혁신	하이브리드 어텐션, DeepSeek-V3.2 대비 토큰당 추론 FLOPs 73%, KV 캐시 메모리 90% 절감	속도와 비용 효율성에 최적화된 경량 변형

출처:

하이브리드 어텐션 아키텍처는 압축 희소 어텐션(CSA) 과 고압축 어텐션(HCA) 을 결합하여 100만 토큰 컨텍스트에서 DeepSeek-V3.2의 단일 토큰 추론 FLOPs의 단 27%만을 필요로 합니다 . 이러한 효율성이 수백만 토큰 규모의 에이전틱 컨텍스트를 계산적으로 실행 가능하게 만듭니다.

이미 이 최적화를 사용 중인 추론 제공업체

여러 제공업체와 추론 엔진이 DeepSeek V4를 위한 엔비디아의 Blackwell 소프트웨어 최적화를 이미 배포했습니다:

• LMSYS Org (SGLang) — 2026년 6월 23일, NVIDIA GB300 NVL72 하드웨어에서 검증된 5배 처리량 증가 달성 . 엔비디아 Dynamo 지원 매트릭스에 lmsysorg/sglang:deepseek-v4-blackwell이 지원 구성으로 등재됨 . 동일 하드웨어에서 GPU당 초당 12,000토큰 초과 기록 .
• 엔비디아 NIM — 엔비디아 자체 추론 마이크로서비스 스택, NVIDIA API 카탈로그를 통해 DeepSeek-V4-Pro 엔드포인트 제공 .
• vLLM — 오픈소스 추론 엔진, 출시 며칠 만에 DeepSeek V4 지원 제공, GB200의 분산 추론을 위해 엔비디아 Dynamo와 통합 .
• TensorRT-LLM — 엔비디아의 최적화 런타임. 초기 도입 시 mHC 커널 코드 문제가 있었으나 SemiAnalysis가 수정에 도움 .
• DeepInfra — DeepSeek V4 Pro 엔드포인트를 입력 100만 토큰당 0.435달러, 출력 100만 토큰당 0.87달러에 제공 .
• Together AI, Fireworks AI, Baseten — 엔비디아 블로그는 GPU 가속 클라우드 엔드포인트를 통한 광범위한 배포를 언급하며, 이들 제공업체가 Hopper 대비 토큰당 비용을 최대 10배까지 절감했다고 밝힘 .

엔비디아에 따르면 Together AI와 Baseten 같은 제공업체는 Blackwell 도입 후 Hopper 대비 토큰당 비용을 최대 90%까지 절감했습니다 .

엔비디아의 에이전틱 AI 워크로드 경제학

엔비디아는 토큰당 비용을 추론 TCO(총소유비용)의 가장 중요한 단일 지표로 간주하며, GPU 시간당 비용이나 FLOPS당 비용 같은 기존 지표를 명시적으로 거부합니다 . 젠슨 황 CEO는 2026년 4월 "엔비디아의 토큰당 비용은 세계에서 가장 낮다"고 선언하며, 이를 "아키텍처 우수성과 극단적인 공동 설계의 직접적인 결과"라고 강조했습니다 .

이러한 지표 전환의 근거는 에이전틱 AI와 직접적으로 연결됩니다:

에이전틱 워크로드는 추론에서 연산 폭발적

AI가 단순한 한 번의 답변에서 다단계 추론(계획, 컨텍스트 검색, 도구 호출, 반성, 자체 수정)으로 전환됨에 따라, 쿼리당 생성되는 토큰 수가 100배에서 1,000배까지 증가할 수 있습니다 . 단일 다단계 에이전트 작업의 추론 비용은 0.10달러에서 1.00달러에 달할 수 있습니다 . 가트너의 2026년 3월 분석에 따르면, 에이전틱 AI 모델은 일반 챗봇보다 작업당 5~30배 더 많은 토큰이 필요합니다 .

추론이 이제 비용의 중심

업계 추정에 따르면 기업 AI GPU 지출의 5580%가 학습이 아닌 추론에 사용됩니다 . 딜로이트는 2026년 전체 AI 연산의 약 3분의 2가 추론에서 발생할 것으로 추정하며, 이는 2023년 3분의 1에서 증가한 수치입니다 . 또한 추론은 프로덕션 AI 시스템의 전체 수명 주기 비용 중 8090%를 차지합니다 .

소프트웨어 최적화, 새 하드웨어 없이도 막대한 가치 창출

엔비디아는 이를 전략적 이점으로 명확히 강조합니다: "엔비디아는 Blackwell 출시 후 2개월 만에 하드웨어 변경 없이 TensorRT-LLM 최적화만으로 토큰당 비용을 5배 줄였습니다" . 데이터센터 규모에서 토큰당 비용 5배 감소는 에이전틱 AI 워크로드가 경제적으로 타당해지는지를 직접적으로 결정합니다 . 엔비디아의 추론 소프트웨어는 AI 인프라가 배포된 후에도 지속적으로 토큰 비용을 낮춥니다 .

"토큰당 비용이 유일하게 중요한 TCO 지표"

엔비디아는 토큰당 비용이 하드웨어 성능, 소프트웨어 최적화, 생태계 지원, 실제 활용도를 직접적으로 반영하는 유일한 지표라고 주장합니다 . 회사는 "가장 낮은 토큰 비용"을 Blackwell의 핵심 가치 제안으로 제시합니다 . NVIDIA B200은 GPT-OSS-120B에서 100만 토큰당 2센트를 달성했으며, 이 아키텍처는 이전 세대 대비 100만 토큰당 비용을 15배 낮췄습니다 .

요약하면 엔비디아의 메시지는 명확합니다: 에이전틱 AI는 작업당 훨씬 더 많은 추론 토큰을 필요로 하며, Blackwell의 소프트웨어 수준 추론 최적화는 새 하드웨어 없이도 이러한 토큰 비용을 5배까지 절감하여 대규모 에이전틱 배포의 수익성을 직접 결정합니다 .