엔비디아와 d-Matrix가 노리는 저지연 AI 추론: GPU와 XPU의 역할 분담

생성형 AI 서비스에서 중요한 기준은 단지 답변을 만들어 내는지에 그치지 않는다. 얼마나 빨리 첫 응답을 시작하고, 다음 토큰을 얼마나 끊김없이 내보내는가가 코딩 도우미, 챗봇, 음성 서비스의 체감 품질을 좌우한다.

엔비디아와 d-Matrix가 2026년 9월 발표한 협력은 이 지연 시간을 겨냥한다. d-Matrix의 차세대 추론 프로세서인 Raptor XPU를 엔비디아가 설계한 AI 인프라에 직접 연결해, 대규모 언어 모델(LLM) 요청의 각 단계를 가장 알맞은 칩에 배분하겠다는 구상이다. 134

핵심은 대체가 아니라 역할 분담이다. 엔비디아 GPU가 연산량이 큰 프리필(prefill) 단계를 맡고, d-Matrix 가속기는 출력 토큰을 하나씩 계속 생성하는 지연 민감형 디코드(decode) 단계에 집중한다. 45

프리필과 디코드를 나누면 왜 빨라질까

LLM이 사용자의 질문에 답하는 과정은 성격이 다른 작업으로 구성된다. 프리필은 프롬프트와 대화 문맥을 한꺼번에 처리하는 단계다. 반면 디코드는 다음 토큰을 예측하고 생성하는 작업을 반복한다.

d-Matrix는 현행 Corsair를 포함한 자사 추론 아키텍처를 디코드 작업에 맞춰 설계했으며, GPU는 연산 집약적 작업에 강점이 있다고 설명한다. 26

이런 분업은 다음 토큰이 나오기까지의 시간이 중요한 서비스에서 특히 의미가 있다. 예컨대 코드 작성 보조, 실시간 대화형 애플리케이션, 음성 인터페이스가 대상이다. d-Matrix는 Raptor 플랫폼을 프리미엄 초저지연 토큰 서비스용으로 제시하고 있다. 48

다만 작업을 나누면 새로운 문제가 생긴다. 프리필 담당 장치와 디코드 담당 장치가 데이터를 충분히 빠르게 주고받지 못하면, 특화 칩을 쓰는 이점이 통신 지연에 상쇄될 수 있다. 이번 협력의 연결 기술과 네트워크 구성은 바로 이 병목을 줄이기 위한 것이다.

NVLink Fusion·MGX·Spectrum-X의 역할

Raptor는 NVLink Fusion을 통해 엔비디아의 NVLink 스케일업 도메인에 연결될 계획이다. 여러 시스템 간 확장에는 Spectrum-X 네트워크가 쓰인다. 엔비디아는 이를 통해 d-Matrix가 자체 실리콘을 자사의 광범위한 AI 인프라 플랫폼에 연결할 수 있다고 설명했다. 3

d-Matrix가 구상하는 랙은 엔비디아의 MGX 레퍼런스 아키텍처를 기반으로 한다. 구성에는 엔비디아 Vera CPU, NVLink 스위치, BlueField-4 DPU, ConnectX-9 SuperNIC, Spectrum-X 이더넷이 포함될 예정이다. 48

여기서 MGX의 가치는 인터커넥트 자체만이 아니다. 새 프로세서를 내놓는 기업이 서버·네트워크·전력·냉각·공급망 요소를 모두 독자적으로 검증하기보다, 이미 검증된 랙 생태계를 바탕으로 제품을 구축할 수 있기 때문이다. 엔비디아도 MGX와 자사 플랫폼을 맞춤형 실리콘에서 대규모 배포로 가는 더 빠르고 위험이 낮은 경로로 규정한다. 3

실질적으로 이번 계획은 Raptor를 독립형 추론 장비가 아니라, 엔비디아 방식의 AI 팩토리 안에서 배포 가능한 구성요소로 만들려는 시도다.

Raptor의 목표 사양은 메모리와 대역폭에 건 승부

d-Matrix는 Raptor의 랙 단위 구성으로 최대 XPU 144개, 3D 적층 DRAM 2.3TB, 총 7.2PB/s 메모리 대역폭을 제시했다. 회사는 이 설계가 4비트 정밀도에서 4조 개 파라미터를 넘는 모델을 지원하도록 설계됐다고 말한다. 다만 이는 출하 제품에서 독립적으로 검증된 성능이 아니라, 현재 공개된 계획 사양이다. 4

이 설계에는 LLM 디코드 성능이 메모리를 얼마나 빠르게 이동시키고 공급할 수 있는지에 크게 좌우된다는 d-Matrix의 판단이 반영돼 있다. Raptor의 3D 패키지는 DRAM 메모리 칩과 SRAM 연산 칩을 결합하는 방식으로, 메모리 중심 접근법을 확장한다. 4

d-Matrix에 따르면 Raptor는 2026년 말까지 테이프아웃될 예정이며, MGX 랙에서의 초기 공급은 2027년 4분기로 예상된다. 그때까지는 테이프아웃, 제조, 패키징, 시스템 검증, 랙 규모 배포라는 여러 실행 과제를 통과해야 한다. 실제 고객 환경 성능은 이 과정 이후에야 판단할 수 있다. 48

엔비디아가 외부 가속기에 플랫폼을 여는 이유

이번 협력에서 주목할 대목은 엔비디아가 외부 XPU를 자사 랙 아키텍처와 네트워킹 패브릭에 연결하도록 허용했다는 점이다. 모든 추론 단계를 엔비디아 GPU에서만 실행하도록 요구하는 방식은 아니다.

엔비디아는 자사 AI 플랫폼을 ‘수직 통합형이면서 수평적으로 열린’ 구조로 설명한다. NVLink 기반 스케일업 패브릭, 스케일아웃 네트워킹, 랙 설계, 생태계의 가치를 유지하면서도 다른 프로세서가 참여할 수 있게 하겠다는 뜻이다. 3

이는 플랫폼이 다룰 수 있는 워크로드의 폭을 넓힌다. 디코드 전용 가속기를 원하는 고객도 NVLink Fusion, MGX, Spectrum-X를 활용할 수 있다면 엔비디아 호환 인프라 안에 남을 가능성이 커진다. 따라서 이 협력은 GPU의 후퇴라기보다 통제된 보완 관계에 가깝다. GPU는 범용 훈련과 추론, 연산량이 큰 프리필에서 핵심 역할을 유지하고, 특화 장치가 디코드를 맡는 구조다. 145

Corsair와 자금 조달이 보여주는 상용화 전략

Raptor는 d-Matrix의 기존 추론 가속기 Corsair의 후속 플랫폼이다. 회사는 Corsair가 분리형 추론 환경의 디코드 단계에 맞춰 설계됐고, GPU를 대체하는 대신 함께 작동한다고 설명한다. 26

d-Matrix는 Corsair 기반 하이브리드 시스템의 성능·비용·전력 효율 수치를 공개해 왔다. 하지만 독립적으로 재현 가능한 벤치마크가 충분히 제시되기 전까지는 회사 측 주장으로 보는 편이 타당하다. 이번 발표에 제공된 근거만으로는 모든 모델, 배치 크기, 배포 구성에서 보편적인 성능 향상을 입증할 수 없다. 2528

d-Matrix는 기업가치 약 20억 달러로 2억7,500만 달러 규모의 시리즈 C 투자를 유치했으며, 누적 투자 유치액은 4억5,000만 달러라고 밝혔다. 이 라운드에는 마이크로소프트의 벤처 펀드 M12 등이 참여했다. 2130 로이터는 마이크로소프트가 2023년 d-Matrix 투자 라운드에 참여했으며, d-Matrix가 2024년 11월 첫 AI 칩을 출하했다고 보도했다. 1

이런 이정표는 d-Matrix가 단일 추론 칩의 판매를 넘어 랙 규모 제품 로드맵으로 이동하고 있음을 시사한다. 이미 엔비디아 기반 인프라를 구매하거나 운영하는 고객에게는 엔비디아 통합이 이 전환의 신뢰도를 높일 수 있다.

아직 알 수 없는 것

엔비디아와 d-Matrix의 계약 금전 조건은 공개되지 않았다. 1 따라서 라이선스 비용, 공동 엔지니어링 의무, 물량 구매, 매출 분배, 엔비디아의 투자 등이 포함됐는지는 공개 발표만으로 판단할 수 없다.

다만 큰 방향은 분명하다. 두 회사는 LLM 요청의 모든 단계를 하나의 프로세서가 처리할 필요는 없는 추론 시장을 상정하고 있다. d-Matrix는 엔비디아 호환 AI 팩토리로 들어갈 경로를 얻고, 엔비디아는 자사 네트워크와 랙 플랫폼에 통합할 수 있는 특화 디코드 옵션을 확보한다. 이 전략이 대규모 환경에서 실제로 더 낮은 지연 시간과 더 나은 경제성으로 이어질지는, 계획된 2027년 공급 이후 Raptor 하드웨어와 소프트웨어 오케스트레이션, 고객 벤치마크를 통해 검증돼야 한다. 348