캠브리콘이 말하는 ‘데이 0(Day 0) 지원’은 새 모델을 단순히 실행했다는 뜻보다, 출시 당일 공개 vLLM 서빙 경로에 올릴 수 있을 만큼 소프트웨어 계층을 준비했다는 의미에 가깝다.

회사 측 설명에 따르면 DeepSeek-V4.1-Flash 체크포인트가 공개된 당일, 캠브리콘 MLU 가속기에서 오픈소스 추론 엔진 vLLM으로 모델을 구동할 수 있도록 NeuWare 런타임, Torch-MLU-Ops, 최적화된 BangC 커널을 결합했다. 13

대형 모델은 가중치가 공개됐다고 곧바로 서비스에 투입할 수 있는 것이 아니다. 가속기 런타임, 프레임워크 연산자, 분산 실행, 모델 특유의 병목 연산을 위한 고성능 커널이 함께 갖춰져야 한다. 이번 발표의 핵심도 여기에 있다.

세 겹으로 구성된 통합 경로

캠브리콘이 제시한 구현은 크게 세 계층으로 볼 수 있다.

• NeuWare: 캠브리콘 MLU 가속기를 위한 소프트웨어 런타임이다.
• Torch-MLU-Ops: 모델 구성요소를 MLU에서 처리하기 위한 연산자 지원 계층이다. 보도에 따르면 Engram 및 Compressor 구조의 가속에 활용됐다. 9
• BangC 커널: MLU 아키텍처의 핵심 병목 연산을 직접 최적화하는 커널이다. BangC는 MLU용 고성능 병렬 프로그램을 작성하기 위한 캠브리콘의 이기종 병렬 프로그래밍 언어다. 18

이 조합은 vLLM 서빙 경로를 특정 고객용 사설 애플리케이션으로 바꾸지 않고도 가속기 전용 백엔드를 연결하는 방식이다. 캠브리콘은 vLLM 최적화 항목으로 저비트 혼합정밀 추론, 병렬화 최적화, 대규모 전문가 병렬화, 프리필·디코드 분리 배포도 언급하고 있다. 18

DeepSeek-V4.1-Flash가 까다로운 이유

DeepSeek-V4.1-Flash는 텍스트와 이미지를 처리하는 멀티모달 전문가 혼합(MoE) 모델이다. 백본 파라미터는 5520억 개이고, 별도로 1960억 개 Engram 메모리 파라미터가 있으며, 최대 100만 토큰 문맥을 지원한다. 58

운영에서 더 중요한 것은 총 파라미터 수와 실제 활성 파라미터 수의 차이다. DeepSeek는 프롬프트를 읽는 프리필(prefill) 단계에서 토큰당 약 80억 개, 응답을 생성하는 디코드(decode) 단계에서 토큰당 약 160억 개 파라미터가 활성화된다고 설명한다. 8

즉, 전체 모델 크기가 매우 크더라도 입력 처리와 출력 생성에 같은 계산량을 일률적으로 쓰지는 않는다. 특히 긴 프롬프트를 많이 읽는 워크로드에서는 이 비대칭 설계가 비용 구조에 의미를 가질 수 있다. 다만 실제 운영 비용은 가중치 정밀도, 배치 크기, 통신량, 메모리 용량, 요청 구성에 따라 달라진다.

20층 인코더와 20층 디코더의 CED 구조

이 모델은 40개 층의 Causal Encoder–Decoder(CED) 구조를 쓴다. 앞의 20개 층은 인과적 인코더, 뒤의 20개 층은 디코더다. 디코더가 층마다 독립적으로 전역 키·값(KV)을 만들기보다, 인코더 최종 은닉 상태에서 전역 KV 상태를 투영하는 것이 특징이다. 58

이 설계는 긴 문맥 추론에서 특히 중요한 KV 캐시 부담을 줄이는 데 연결된다. KV 캐시는 모델이 이전 토큰을 다시 참조하며 다음 토큰을 생성하기 위해 유지하는 상태다. 긴 대화, 문서 분석, 에이전트 작업에서는 이 캐시가 메모리 제약의 핵심이 되기 쉽다.

토큰당 890바이트라는 KV 캐시 수치

DeepSeek는 CSA2(Compressed Sparse Attention 2)의 교차 레이어 KV 캐시 재사용과 FP4 KV 캐싱을 결합해, 고대역폭메모리(HBM)에 상주하는 전역 KV 캐시를 토큰당 890바이트까지 줄였다고 밝혔다. 이는 DeepSeek-V4-Flash 대비 약 4분의 1 수준이다. 78

또한 SWA Bounded Replay라는 배포 최적화를 통해 SSD 또는 호스트 메모리에 유지하는 지속형 KV 캐시도 V4-Flash의 약 8분의 1로 줄였다고 설명한다. 7

운영자에게 이 수치는 긴 문맥·멀티모달 서비스에서 동시 세션을 더 많이 담을 여지가 생길 수 있음을 시사한다. 하지만 주의할 점도 명확하다. 이는 DeepSeek가 제시한 모델 설계 수치이며, 캠브리콘 클러스터에서 독립적으로 측정된 종단 간 처리량, 지연시간, 정확도, 가용성 또는 비용 벤치마크는 아니다.

서빙 최적화는 어떻게 맞물리나

캠브리콘의 공개 자료에는 대형 MoE 모델의 vLLM 서빙과 관련된 여러 최적화가 제시돼 있다. 18

• 혼합정밀·저비트 추론은 가중치와 활성값 저장량, 메모리 트래픽을 낮추는 데 목적이 있다.
• 병렬화 최적화와 대규모 전문가 병렬화는 모델 작업과 라우팅된 전문가 연산을 여러 가속기에 분산하는 방식이다.
• 통신·연산 오버랩은 집단 통신이나 전문가 라우팅 데이터 이동 중에도 가속기가 가능한 한 유휴 상태가 되지 않도록 하는 접근이다.
• 프리필·디코드 분리 배포는 프롬프트 처리와 토큰 생성을 별도 자원 풀에서 각각 조정할 수 있게 한다.

이들은 서로 대체재가 아니라 보완재다. 프리필은 대체로 프롬프트 길이와 대역폭에 민감하고, 디코드는 반복 실행이므로 지연시간에 민감하다. 여기에 MoE의 전문가 라우팅은 분산 환경에서 추가 통신 조율을 요구한다. 목표는 단순한 이론상 연산성능 수치가 아니라, 동시 요청 상황에서의 자원 활용도와 서비스 예측 가능성을 높이는 것이다.

다만 공개 자료만으로는 DeepSeek-V4.1-Flash의 캠브리콘 환경별 처리량, 지연시간, 모델 품질, 클러스터 구성, 서비스 가용성을 재현 가능하게 확인하기 어렵다. 따라서 ‘프로덕션 준비’라는 표현은 지원받을 수 있는 배포 경로가 존재한다는 뜻으로 읽는 편이 타당하며, 실제 용량 계획이나 SLA는 자체 검증 뒤 결정해야 한다.

PyTorch Foundation 플래티넘 가입이 뜻하는 것

PyTorch Foundation은 2026년 9월 8일 캠브리콘이 플래티넘 회원으로 가입했다고 발표했다. 49 재단은 별도로 캠브리콘이 vLLM 커뮤니티와 협력해 DeepSeek-V4와 GLM-5 등을 포함한 오픈소스 대형언어모델의 데이 0 지원을 진행했다고 밝혔다. 57

이 가입이 곧 모든 모델과 기능의 업스트림 지원을 보장하는 것은 아니다. 다만 가속기 생태계에서 중요한 방향성은 보여준다. 사용자가 독립적인 벤더 전용 스택을 별도로 유지하기보다, 널리 쓰이는 PyTorch와 vLLM 같은 공개 프레임워크 안에서 가속기를 활용할 수 있도록 하겠다는 전략적 신호다.

다른 중국계 모델군 지원은 어디까지인가

캠브리콘의 소프트웨어 자료에는 DeepSeek V3·V3.1, Qwen2.5, Qwen3, Qwen3-Next, GLM-4.5, Qwen3-VL, Flux, Wan 2.1·2.2, Hunyuan-Video 관련 지원 작업이 열거돼 있다. 18

그러나 이 목록은 학습 지원과 광범위한 소프트웨어 최적화가 섞여 있다. 따라서 모든 모델군이 DeepSeek-V4.1-Flash와 동일하게 ‘출시 당일 프로덕션 vLLM 추론’을 지원한다고 단정할 근거는 아니다. 모델별로 추론 가능 여부, 정밀도 형식, 멀티모달 범위, 데이 0 상태를 따로 확인해야 한다.

클러스터 운영자에게 같은 날 지원이 중요한 이유

출시 당일 호환성은 새 모델이 나왔을 때 기존 인프라에서 통제된 평가를 시작하기까지의 시간을 줄여준다. 공개 vLLM 경로는 용량 계획, 라우팅, 관측성, 양자화 평가, 통합 테스트를 위한 익숙한 기반도 제공한다.

특히 DeepSeek-V4.1-Flash처럼 긴 문맥과 이미지 입력을 겨냥한 모델에서는 KV 캐시와 메모리 대역폭이 핵심 제약이 된다. DeepSeek가 제시한 캐시 압축 수치가 실제 서비스 조건에서도 유효하게 작동한다면, 같은 HBM 예산에서 더 많은 동시 요청을 수용할 가능성이 있다. 78

결국 이번 사례가 곧바로 모든 환경에서의 성능 우위를 증명하는 것은 아니다. 더 중요한 변화는 런타임, 프레임워크 연산자, 커널, 분산 실행, 서빙 도구를 반복 가능하게 연결해, 가속기 지원 시점을 모델 출시일에 더 가깝게 당기려는 흐름이다. 향후 공개 모델이 더 커지고, 희소 MoE 구조와 멀티모달 처리가 늘어날수록 이 소프트웨어 준비도가 칩 자체만큼 중요해질 가능성이 크다.

캠브리콘이 말하는 ‘데이 0(Day 0) 지원’은 새 모델을 단순히 실행했다는 뜻보다, 출시 당일 공개 vLLM 서빙 경로에 올릴 수 있을 만큼 소프트웨어 계층을 준비했다는 의미에 가깝다.

회사 측 설명에 따르면 DeepSeek-V4.1-Flash 체크포인트가 공개된 당일, 캠브리콘 MLU 가속기에서 오픈소스 추론 엔진 vLLM으로 모델을 구동할 수 있도록 NeuWare 런타임, Torch-MLU-Ops, 최적화된 BangC 커널을 결합했다. 13

대형 모델은 가중치가 공개됐다고 곧바로 서비스에 투입할 수 있는 것이 아니다. 가속기 런타임, 프레임워크 연산자, 분산 실행, 모델 특유의 병목 연산을 위한 고성능 커널이 함께 갖춰져야 한다. 이번 발표의 핵심도 여기에 있다.

세 겹으로 구성된 통합 경로

캠브리콘이 제시한 구현은 크게 세 계층으로 볼 수 있다.

• NeuWare: 캠브리콘 MLU 가속기를 위한 소프트웨어 런타임이다.
• Torch-MLU-Ops: 모델 구성요소를 MLU에서 처리하기 위한 연산자 지원 계층이다. 보도에 따르면 Engram 및 Compressor 구조의 가속에 활용됐다. 9
• BangC 커널: MLU 아키텍처의 핵심 병목 연산을 직접 최적화하는 커널이다. BangC는 MLU용 고성능 병렬 프로그램을 작성하기 위한 캠브리콘의 이기종 병렬 프로그래밍 언어다. 18

이 조합은 vLLM 서빙 경로를 특정 고객용 사설 애플리케이션으로 바꾸지 않고도 가속기 전용 백엔드를 연결하는 방식이다. 캠브리콘은 vLLM 최적화 항목으로 저비트 혼합정밀 추론, 병렬화 최적화, 대규모 전문가 병렬화, 프리필·디코드 분리 배포도 언급하고 있다. 18

DeepSeek-V4.1-Flash가 까다로운 이유

DeepSeek-V4.1-Flash는 텍스트와 이미지를 처리하는 멀티모달 전문가 혼합(MoE) 모델이다. 백본 파라미터는 5520억 개이고, 별도로 1960억 개 Engram 메모리 파라미터가 있으며, 최대 100만 토큰 문맥을 지원한다. 58

운영에서 더 중요한 것은 총 파라미터 수와 실제 활성 파라미터 수의 차이다. DeepSeek는 프롬프트를 읽는 프리필(prefill) 단계에서 토큰당 약 80억 개, 응답을 생성하는 디코드(decode) 단계에서 토큰당 약 160억 개 파라미터가 활성화된다고 설명한다. 8

즉, 전체 모델 크기가 매우 크더라도 입력 처리와 출력 생성에 같은 계산량을 일률적으로 쓰지는 않는다. 특히 긴 프롬프트를 많이 읽는 워크로드에서는 이 비대칭 설계가 비용 구조에 의미를 가질 수 있다. 다만 실제 운영 비용은 가중치 정밀도, 배치 크기, 통신량, 메모리 용량, 요청 구성에 따라 달라진다.

20층 인코더와 20층 디코더의 CED 구조

이 모델은 40개 층의 Causal Encoder–Decoder(CED) 구조를 쓴다. 앞의 20개 층은 인과적 인코더, 뒤의 20개 층은 디코더다. 디코더가 층마다 독립적으로 전역 키·값(KV)을 만들기보다, 인코더 최종 은닉 상태에서 전역 KV 상태를 투영하는 것이 특징이다. 58

이 설계는 긴 문맥 추론에서 특히 중요한 KV 캐시 부담을 줄이는 데 연결된다. KV 캐시는 모델이 이전 토큰을 다시 참조하며 다음 토큰을 생성하기 위해 유지하는 상태다. 긴 대화, 문서 분석, 에이전트 작업에서는 이 캐시가 메모리 제약의 핵심이 되기 쉽다.

토큰당 890바이트라는 KV 캐시 수치

DeepSeek는 CSA2(Compressed Sparse Attention 2)의 교차 레이어 KV 캐시 재사용과 FP4 KV 캐싱을 결합해, 고대역폭메모리(HBM)에 상주하는 전역 KV 캐시를 토큰당 890바이트까지 줄였다고 밝혔다. 이는 DeepSeek-V4-Flash 대비 약 4분의 1 수준이다. 78

또한 SWA Bounded Replay라는 배포 최적화를 통해 SSD 또는 호스트 메모리에 유지하는 지속형 KV 캐시도 V4-Flash의 약 8분의 1로 줄였다고 설명한다. 7

운영자에게 이 수치는 긴 문맥·멀티모달 서비스에서 동시 세션을 더 많이 담을 여지가 생길 수 있음을 시사한다. 하지만 주의할 점도 명확하다. 이는 DeepSeek가 제시한 모델 설계 수치이며, 캠브리콘 클러스터에서 독립적으로 측정된 종단 간 처리량, 지연시간, 정확도, 가용성 또는 비용 벤치마크는 아니다.

서빙 최적화는 어떻게 맞물리나

캠브리콘의 공개 자료에는 대형 MoE 모델의 vLLM 서빙과 관련된 여러 최적화가 제시돼 있다. 18

• 혼합정밀·저비트 추론은 가중치와 활성값 저장량, 메모리 트래픽을 낮추는 데 목적이 있다.
• 병렬화 최적화와 대규모 전문가 병렬화는 모델 작업과 라우팅된 전문가 연산을 여러 가속기에 분산하는 방식이다.
• 통신·연산 오버랩은 집단 통신이나 전문가 라우팅 데이터 이동 중에도 가속기가 가능한 한 유휴 상태가 되지 않도록 하는 접근이다.
• 프리필·디코드 분리 배포는 프롬프트 처리와 토큰 생성을 별도 자원 풀에서 각각 조정할 수 있게 한다.

이들은 서로 대체재가 아니라 보완재다. 프리필은 대체로 프롬프트 길이와 대역폭에 민감하고, 디코드는 반복 실행이므로 지연시간에 민감하다. 여기에 MoE의 전문가 라우팅은 분산 환경에서 추가 통신 조율을 요구한다. 목표는 단순한 이론상 연산성능 수치가 아니라, 동시 요청 상황에서의 자원 활용도와 서비스 예측 가능성을 높이는 것이다.

다만 공개 자료만으로는 DeepSeek-V4.1-Flash의 캠브리콘 환경별 처리량, 지연시간, 모델 품질, 클러스터 구성, 서비스 가용성을 재현 가능하게 확인하기 어렵다. 따라서 ‘프로덕션 준비’라는 표현은 지원받을 수 있는 배포 경로가 존재한다는 뜻으로 읽는 편이 타당하며, 실제 용량 계획이나 SLA는 자체 검증 뒤 결정해야 한다.

PyTorch Foundation 플래티넘 가입이 뜻하는 것

PyTorch Foundation은 2026년 9월 8일 캠브리콘이 플래티넘 회원으로 가입했다고 발표했다. 49 재단은 별도로 캠브리콘이 vLLM 커뮤니티와 협력해 DeepSeek-V4와 GLM-5 등을 포함한 오픈소스 대형언어모델의 데이 0 지원을 진행했다고 밝혔다. 57

이 가입이 곧 모든 모델과 기능의 업스트림 지원을 보장하는 것은 아니다. 다만 가속기 생태계에서 중요한 방향성은 보여준다. 사용자가 독립적인 벤더 전용 스택을 별도로 유지하기보다, 널리 쓰이는 PyTorch와 vLLM 같은 공개 프레임워크 안에서 가속기를 활용할 수 있도록 하겠다는 전략적 신호다.

다른 중국계 모델군 지원은 어디까지인가

캠브리콘의 소프트웨어 자료에는 DeepSeek V3·V3.1, Qwen2.5, Qwen3, Qwen3-Next, GLM-4.5, Qwen3-VL, Flux, Wan 2.1·2.2, Hunyuan-Video 관련 지원 작업이 열거돼 있다. 18

그러나 이 목록은 학습 지원과 광범위한 소프트웨어 최적화가 섞여 있다. 따라서 모든 모델군이 DeepSeek-V4.1-Flash와 동일하게 ‘출시 당일 프로덕션 vLLM 추론’을 지원한다고 단정할 근거는 아니다. 모델별로 추론 가능 여부, 정밀도 형식, 멀티모달 범위, 데이 0 상태를 따로 확인해야 한다.

클러스터 운영자에게 같은 날 지원이 중요한 이유

출시 당일 호환성은 새 모델이 나왔을 때 기존 인프라에서 통제된 평가를 시작하기까지의 시간을 줄여준다. 공개 vLLM 경로는 용량 계획, 라우팅, 관측성, 양자화 평가, 통합 테스트를 위한 익숙한 기반도 제공한다.

특히 DeepSeek-V4.1-Flash처럼 긴 문맥과 이미지 입력을 겨냥한 모델에서는 KV 캐시와 메모리 대역폭이 핵심 제약이 된다. DeepSeek가 제시한 캐시 압축 수치가 실제 서비스 조건에서도 유효하게 작동한다면, 같은 HBM 예산에서 더 많은 동시 요청을 수용할 가능성이 있다. 78

결국 이번 사례가 곧바로 모든 환경에서의 성능 우위를 증명하는 것은 아니다. 더 중요한 변화는 런타임, 프레임워크 연산자, 커널, 분산 실행, 서빙 도구를 반복 가능하게 연결해, 가속기 지원 시점을 모델 출시일에 더 가깝게 당기려는 흐름이다. 향후 공개 모델이 더 커지고, 희소 MoE 구조와 멀티모달 처리가 늘어날수록 이 소프트웨어 준비도가 칩 자체만큼 중요해질 가능성이 크다.