d-Matrix Raptor는 어떻게 엔비디아 AI 팩토리 랙에 들어가나

핵심: ‘추론 카드’가 아니라 랙 단위 AI 시스템의 일부가 된다

d-Matrix의 NVLink Fusion 채택은 차세대 Raptor XPU를 서버에 PCIe 카드로 따로 꽂는 방식에서 한 단계 더 나아가게 한다. Raptor가 엔비디아의 액체 냉각식 NVL144/MGX 레퍼런스 랙 아키텍처에 직접 통합되고, 엔비디아의 고속 연결망·네트워킹·관리용 하드웨어와 함께 작동하도록 설계되는 것이다.35

여기서 NVLink Fusion은 맞춤형 AI 칩이 엔비디아의 대규모 데이터센터 시스템에 연결될 수 있도록 하는 인터페이스다. d-Matrix는 자체 메모리 중심 추론 XPU를 제공하고, 엔비디아는 랙 설계와 시스템 연결망을 제공하는 구도다. 즉 고객은 특화 추론 칩을 쓰면서도 엔비디아의 검증된 랙 생태계를 활용할 수 있다.14

랙 안팎의 연결은 어떻게 나뉘나

Raptor는 NVLink를 통해 랙 내부 장치들을 고대역폭·저지연으로 연결하는 스케일업(scale-up) 패브릭에 붙는다. 여러 랙 또는 더 넓은 데이터센터 환경으로의 확장, 즉 스케일아웃(scale-out)은 Spectrum-X 네트워킹이 담당한다.35

d-Matrix와 엔비디아가 제시한 MGX 기반 랙 구성에는 다음과 같은 엔비디아 구성 요소가 포함될 수 있다.56

• Vera CPU: 호스트 컴퓨팅 역할
• NVLink 스위치: 랙 내 가속기 간 고속 연결
• BlueField-4 DPU: 데이터 처리·인프라 오프로딩
• ConnectX-9 SuperNIC: 고성능 네트워크 입출력
• Spectrum-X 이더넷: 랙 외부로의 AI 네트워크 확장

따라서 d-Matrix가 공급하는 것은 주로 Raptor XPU이지만, 입출력, 네트워크, 제어·관리 계층, 랙 레퍼런스 설계 등 시스템의 상당 부분은 엔비디아 플랫폼을 이용하게 된다.56

왜 ‘메모리 중심’ XPU가 추론에 맞나

대규모 언어 모델 추론은 크게 입력 문맥을 한꺼번에 처리하는 프리필(prefill) 단계와, 다음 토큰을 순차적으로 생성하는 디코드(decode) 단계로 나눌 수 있다. d-Matrix는 특히 디코드 단계에서 모델 가중치를 반복적으로 읽어야 한다는 점에 주목한다. 이 과정에서는 연산 성능만큼 메모리 용량과 대역폭, 그리고 토큰 응답 지연이 중요해진다.310

이 때문에 회사가 내세우는 방식은 GPU를 전면 교체하는 것이라기보다 역할 분담에 가깝다. GPU는 프리필 및 범용 연산을 담당하고, Raptor XPU는 지연시간에 민감한 토큰별 디코드를 맡는 GPU-XPU 혼합 추론 파이프라인이 목표다.310

목표 사양과 출시 일정

d-Matrix는 랙당 최대 144개의 Raptor 가속기를 연결하는 구성을 계획하고 있다. 회사가 제시한 랙 목표치는 총 2.3TB의 3D 적층 DRAM과 초당 7.2PB의 집계 메모리 대역폭이다.3 다만 실제로 어느 규모의 모델을 올릴 수 있는지는 양자화 방식, 메타데이터, 런타임 상태, 시스템 소프트웨어 등의 오버헤드에 따라 달라진다.

Raptor는 4nm 컴퓨트 다이와 맞춤형 DRAM을 결합한 설계로 소개됐다. d-Matrix는 2026년 말까지 테이프아웃을 목표로 하며, 첫 랙 통합 시스템은 2027년 4분기에 나올 것으로 예상한다.104

엔비디아에는 무엇이 남나

이 협력의 의미는 d-Matrix에만 있지 않다. 고객이 특화된 제3자 가속기를 선택하더라도 엔비디아는 NVLink 패브릭, 스위치, CPU, DPU, SuperNIC, 이더넷 네트워크, 랙 아키텍처를 공급하는 위치를 유지할 수 있다.35

이는 공개된 거래 조건이 아니라 아키텍처와 사업 모델에서 읽히는 전략적 해석이다. 실제 협력의 금전적 조건은 공개되지 않았다.1 다만 NVLink Fusion이 이종 AI 하드웨어를 위한 플랫폼 인터페이스로 넓어질수록, 엔비디아의 경쟁력은 GPU 자체를 넘어 시스템 전체의 연결 구조로 확장될 수 있다.

생태계와 d-Matrix의 배경

d-Matrix는 NVLink Fusion 생태계에 합류한 기업 중 하나다. 공개적으로 연관된 파트너로는 AWS, Arm, 인텔, 후지쯔, 미디어텍, 마벨 등이 거론된다.3 d-Matrix는 2024년 11월 Corsair 추론 가속기를 출시했으며, 이후 마이크로소프트의 M12가 참여한 투자 이력도 있다.2

블룸버그 보도에 따르면 d-Matrix는 2억7,500만 달러 규모의 시리즈 C 투자에서 기업가치 20억 달러를 인정받았고, 누적 투자 유치액은 약 4억5,000만 달러로 알려졌다. 이는 4억5,000만 달러를 한 번에 조달했다는 뜻은 아니다.2

결국 이번 발표의 요점은 Raptor의 단독 성능 주장보다도 특화 추론 칩이 엔비디아 AI 팩토리의 표준 랙 안에서 운용될 수 있게 됐다는 점이다. 고객 입장에서는 메모리 중심 추론 가속기를 검토하면서도 랙·네트워크·운영 체계를 새로 구축해야 하는 부담을 줄일 가능성이 생긴다.45