엔비디아가 공개한 Vera Rubin은 단순히 GPU 성능을 높인 차세대 제품군이 아니다. GPU와 CPU, 랙 내부·외부 네트워크, DPU, 전력 관리 소프트웨어를 한데 묶어 AI 에이전트 서비스를 운영하는 **랙 단위 ‘AI 팩토리’**를 겨냥한 플랫폼이다.

다만 가장 눈길을 끄는 성능 수치는 엔비디아가 자사 시스템을 대상으로 제시한 벤더 측 측정 결과다. 독립적이고 동료평가를 거친 검증 결과로 받아들여서는 안 된다. 8

Vera Rubin NVL72는 무엇인가

Vera Rubin NVL72는 액체냉각 랙 하나에 다음 구성 요소를 통합한다.

• Rubin GPU 72개
• Vera CPU 36개
• ConnectX-9 SuperNIC
• BlueField-4 DPU
• 6세대 NVLink 스위치

이 랙은 72개 GPU가 하나의 긴밀하게 연결된 Scale-Up 도메인처럼 작동하도록 설계됐다. 랙 바깥으로는 Quantum-X800 InfiniBand 또는 Spectrum-X Ethernet을 이용해 더 큰 클러스터로 확장한다. 36

GB300보다 최대 30배 높은 와트당 처리량?

엔비디아의 핵심 주장은 에이전트형 AI 워크로드에서 Vera Rubin NVL72가 GB300 NVL72보다 메가와트당 처리량을 최대 30배 높인다는 것이다. 같은 비교에서 토큰 비용은 최대 35배 낮아진다고 회사는 밝혔다. 89

엔비디아는 Rubin 플랫폼 전반에 대해서는 Blackwell 대비 추론 토큰 비용을 최대 10배 낮출 수 있다고도 주장해 왔다. 11

이 수치를 일반적인 챗봇 응답 비용이나 모든 AI 모델에 적용되는 보편적 배수로 해석하기는 어렵다. 실제 결과는 모델, 컨텍스트 길이, 동시 사용자 수, 목표 응답 속도, 하드웨어 구성과 전력 조건에 따라 달라진다.

AgentX와 DeepSeek V4 Pro가 사용된 이유

측정에는 SemiAnalysis의 AgentX 워크로드가 사용됐다. AgentX는 실제 운영 환경과 유사한 에이전트 코딩 세션을 재생하면서 컨텍스트 증가, 도구 호출, 코드 실행, 하위 에이전트 생성 등을 포함해 시스템을 평가하는 방식이다. 테스트 모델로는 DeepSeek V4 Pro가 사용됐다. 89

이런 방식의 테스트는 단순한 GPU 연산량, 즉 FLOPS만으로 성능을 판단하지 않는다. 에이전트는 한 번 답하고 끝나는 대신 여러 차례 추론을 반복하고, 파일을 검색하거나 코드를 실행하며, 외부 도구를 호출하고, 작업 결과를 다시 모델에 전달한다. 따라서 CPU 처리량, 메모리 대역폭, GPU 간 통신, 데이터 이동과 오케스트레이션 효율이 모두 중요해진다.

Hopper와 ‘100만 토큰당 비용’은 어떻게 봐야 하나

현재 제공된 자료만으로는 Hopper와 Vera Rubin을 동일 조건에서 직접 비교한 신뢰할 만한 1차 출처의 배수를 확인할 수 없다. 또한 토큰 100만 개당 정확한 달러 비용도 공개된 자료에 제시돼 있지 않다.

엔비디아가 강조하는 방향성은 분명하다. 에이전트형 워크플로는 단순한 일회성 채팅보다 반복 추론과 도구 사용이 많아 토큰을 훨씬 더 많이 소비한다. 따라서 제시된 30배·35배 수치는 특정 워크로드와 구성에 따른 결과로 봐야 하며, 모든 서비스의 보편적인 가격표를 의미하지 않는다. 자료만으로 검증된 Hopper 대비 배수나 100만 토큰당 비용을 단정할 수는 없다.

Vera CPU, AI 에이전트의 ‘주변 작업’을 겨냥하다

Vera는 엔비디아가 AI 에이전트 시대의 인프라를 위해 설계한 Armv9.2 호환 커스텀 CPU다. 88개의 Olympus 코어와 176개의 Spatial Multithreading 스레드를 제공한다. 210

GPU가 모델 계산을 담당한다면 Vera CPU는 그 주변에서 발생하는 고동시성 작업을 처리하는 데 초점을 맞춘다. 여기에는 데이터 처리, 검색·검색 결과 전달, 작업 오케스트레이션, 도구 호출, 샌드박스 코드 실행, 시뮬레이션 등이 포함된다.

Vera는 SOCAMM2 LPDDR5X 메모리를 사용하며 총 메모리 대역폭은 최대 1.2TB/s, 코어당 대역폭은 최대 14GB/s다. 2세대 Scalable Coherency Fabric은 88개 코어와 공유 L3 캐시, 메모리 서브시스템을 연결하고 최대 3.4TB/s의 바이섹션 대역폭을 제공한다. 통합 L3 캐시는 164MB다. 78

Grace와 비교하면 엔비디아는 Vera가 메모리 대역폭 2.4배, 메모리 용량 3배, CPU와 GPU의 일관성 있는 통신을 위한 NVLink-C2C 대역폭 2배를 제공한다고 설명한다. 1

‘Scale-In’은 랙 안에서 GPU를 하나처럼 묶는 기술

엔비디아의 네트워킹 구조는 크게 세 층으로 나눠 볼 수 있다.

1. Scale-In 또는 Scale-Up: NVLink 6

NVLink 6은 하나의 랙 안에 있는 72개 GPU를 긴밀하게 결합해 랙 전체를 하나의 대형 컴퓨터처럼 동작시키는 역할을 한다. 엔비디아가 제시한 수치는 GPU당 양방향 GPU-GPU 대역폭 최대 3.6TB/s, 랙 전체 GPU 대역폭 260TB/s다. 3

Vera CPU와 GPU 사이에는 NVLink-C2C가 사용되며, 최대 1.8TB/s의 일관성 있는 대역폭을 제공한다. 이는 PCIe Gen6 대비 7배 수준이다.

2. Scale-Out: 랙과 랙을 연결

Quantum-X800 InfiniBand와 Spectrum-X Ethernet은 여러 랙을 더 큰 AI 클러스터로 연결한다. 랙 내부 통신이 Scale-In이라면, 이 계층은 데이터센터 전체로 확장하는 Scale-Out에 해당한다. 3

3. 데이터 경로 오프로딩: ConnectX-9와 BlueField-4

ConnectX-9 SuperNIC과 BlueField-4 DPU는 네트워크, 스토리지, 보안과 데이터 경로 관련 기능을 전담한다. GPU가 모델 추론에 더 집중할 수 있도록 인프라 작업을 분리하는 구조다. 36

DSX MaxLPS가 노리는 것은 ‘최대 전력’이 아닌 ‘전력당 토큰’

엔비디아의 DSX는 칩과 서버만이 아니라 시스템, 소프트웨어, 시설, 파트너 기술까지 포함하는 엔드투엔드 AI 팩토리 설계다. 이 가운데 DSX MaxLPS 소프트웨어는 순간적으로 하드웨어 전력을 최대로 끌어 쓰는 대신, 전력 단위당 생성하는 토큰 처리량을 극대화해 토큰 비용을 낮추는 것을 목표로 한다. 1215

이는 데이터센터에서 전력 공급과 냉각 설비가 가속기 수보다 더 큰 제약이 될 때 의미가 있다. 전력과 열 관리에 맞춰 AI 팩토리 전체의 자원을 배분하면, 같은 전력 예산 안에서 더 많은 에이전트 작업을 처리할 가능성이 생긴다.

SpaceXAI는 지상 Grok 인프라와 궤도 컴퓨팅에 적용

엔비디아에 따르면 SpaceXAI는 차세대 에이전트형 AI 워크로드를 가속하기 위해 Vera CPU를 도입한다. 또한 기가와트급 컴퓨팅 용량을 목표로 Grok 관련 AI 인프라를 Vera Rubin 플랫폼으로 확장할 계획이다. 14

두 회사는 이 아키텍처를 계획 중인 Starmind 궤도 컴퓨팅 프로젝트로 확대하는 방안도 추진하고 있다. 첫 세대 Starmind 위성에는 우주 환경에 맞게 최적화한 Vera Rubin NVL72 기반 컴퓨팅 페이로드가 사용될 예정이다. 1412

다만 이는 계획된 배치에 관한 발표다. 현재 궤도에서 운용 중인 AI 데이터센터가 있다는 뜻은 아니다.

엔비디아의 경쟁 구도는 GPU 밖으로 넓어진다

Vera Rubin의 핵심 메시지는 단순히 더 빠른 모델 추론이 아니다. 전력과 냉각, 네트워크, 자본비용이 제한된 환경에서 메가와트당 더 많은 유용한 에이전트 작업을 처리하는 것이 목표다. 엔비디아의 주장이 실제 고객 배치에서도 재현된다면, 생성 토큰당 전력·냉각·네트워크·설비 비용을 낮추는 효과를 기대할 수 있다.

동시에 엔비디아는 경쟁 영역을 GPU에서 커스텀 Arm CPU, CPU-GPU 일관성 시스템, 랙 단위 스위칭, DPU, AI 팩토리 운영 소프트웨어로 확장하고 있다. 하드웨어와 소프트웨어를 긴밀하게 통합하면 GPU 경쟁사와 기존 CPU 업체에 대한 방어력이 커질 수 있지만, 고객 입장에서는 엔비디아의 아키텍처와 소프트웨어 스택에 대한 의존도가 높아질 수 있다는 점도 함께 봐야 한다.

엔비디아가 공개한 Vera Rubin은 단순히 GPU 성능을 높인 차세대 제품군이 아니다. GPU와 CPU, 랙 내부·외부 네트워크, DPU, 전력 관리 소프트웨어를 한데 묶어 AI 에이전트 서비스를 운영하는 **랙 단위 ‘AI 팩토리’**를 겨냥한 플랫폼이다.

다만 가장 눈길을 끄는 성능 수치는 엔비디아가 자사 시스템을 대상으로 제시한 벤더 측 측정 결과다. 독립적이고 동료평가를 거친 검증 결과로 받아들여서는 안 된다. 8

Vera Rubin NVL72는 무엇인가

Vera Rubin NVL72는 액체냉각 랙 하나에 다음 구성 요소를 통합한다.

• Rubin GPU 72개
• Vera CPU 36개
• ConnectX-9 SuperNIC
• BlueField-4 DPU
• 6세대 NVLink 스위치

이 랙은 72개 GPU가 하나의 긴밀하게 연결된 Scale-Up 도메인처럼 작동하도록 설계됐다. 랙 바깥으로는 Quantum-X800 InfiniBand 또는 Spectrum-X Ethernet을 이용해 더 큰 클러스터로 확장한다. 36

GB300보다 최대 30배 높은 와트당 처리량?

엔비디아의 핵심 주장은 에이전트형 AI 워크로드에서 Vera Rubin NVL72가 GB300 NVL72보다 메가와트당 처리량을 최대 30배 높인다는 것이다. 같은 비교에서 토큰 비용은 최대 35배 낮아진다고 회사는 밝혔다. 89

엔비디아는 Rubin 플랫폼 전반에 대해서는 Blackwell 대비 추론 토큰 비용을 최대 10배 낮출 수 있다고도 주장해 왔다. 11

이 수치를 일반적인 챗봇 응답 비용이나 모든 AI 모델에 적용되는 보편적 배수로 해석하기는 어렵다. 실제 결과는 모델, 컨텍스트 길이, 동시 사용자 수, 목표 응답 속도, 하드웨어 구성과 전력 조건에 따라 달라진다.

AgentX와 DeepSeek V4 Pro가 사용된 이유

측정에는 SemiAnalysis의 AgentX 워크로드가 사용됐다. AgentX는 실제 운영 환경과 유사한 에이전트 코딩 세션을 재생하면서 컨텍스트 증가, 도구 호출, 코드 실행, 하위 에이전트 생성 등을 포함해 시스템을 평가하는 방식이다. 테스트 모델로는 DeepSeek V4 Pro가 사용됐다. 89

이런 방식의 테스트는 단순한 GPU 연산량, 즉 FLOPS만으로 성능을 판단하지 않는다. 에이전트는 한 번 답하고 끝나는 대신 여러 차례 추론을 반복하고, 파일을 검색하거나 코드를 실행하며, 외부 도구를 호출하고, 작업 결과를 다시 모델에 전달한다. 따라서 CPU 처리량, 메모리 대역폭, GPU 간 통신, 데이터 이동과 오케스트레이션 효율이 모두 중요해진다.

Hopper와 ‘100만 토큰당 비용’은 어떻게 봐야 하나

현재 제공된 자료만으로는 Hopper와 Vera Rubin을 동일 조건에서 직접 비교한 신뢰할 만한 1차 출처의 배수를 확인할 수 없다. 또한 토큰 100만 개당 정확한 달러 비용도 공개된 자료에 제시돼 있지 않다.

엔비디아가 강조하는 방향성은 분명하다. 에이전트형 워크플로는 단순한 일회성 채팅보다 반복 추론과 도구 사용이 많아 토큰을 훨씬 더 많이 소비한다. 따라서 제시된 30배·35배 수치는 특정 워크로드와 구성에 따른 결과로 봐야 하며, 모든 서비스의 보편적인 가격표를 의미하지 않는다. 자료만으로 검증된 Hopper 대비 배수나 100만 토큰당 비용을 단정할 수는 없다.

Vera CPU, AI 에이전트의 ‘주변 작업’을 겨냥하다

Vera는 엔비디아가 AI 에이전트 시대의 인프라를 위해 설계한 Armv9.2 호환 커스텀 CPU다. 88개의 Olympus 코어와 176개의 Spatial Multithreading 스레드를 제공한다. 210

GPU가 모델 계산을 담당한다면 Vera CPU는 그 주변에서 발생하는 고동시성 작업을 처리하는 데 초점을 맞춘다. 여기에는 데이터 처리, 검색·검색 결과 전달, 작업 오케스트레이션, 도구 호출, 샌드박스 코드 실행, 시뮬레이션 등이 포함된다.

Vera는 SOCAMM2 LPDDR5X 메모리를 사용하며 총 메모리 대역폭은 최대 1.2TB/s, 코어당 대역폭은 최대 14GB/s다. 2세대 Scalable Coherency Fabric은 88개 코어와 공유 L3 캐시, 메모리 서브시스템을 연결하고 최대 3.4TB/s의 바이섹션 대역폭을 제공한다. 통합 L3 캐시는 164MB다. 78

Grace와 비교하면 엔비디아는 Vera가 메모리 대역폭 2.4배, 메모리 용량 3배, CPU와 GPU의 일관성 있는 통신을 위한 NVLink-C2C 대역폭 2배를 제공한다고 설명한다. 1

‘Scale-In’은 랙 안에서 GPU를 하나처럼 묶는 기술

엔비디아의 네트워킹 구조는 크게 세 층으로 나눠 볼 수 있다.

1. Scale-In 또는 Scale-Up: NVLink 6

NVLink 6은 하나의 랙 안에 있는 72개 GPU를 긴밀하게 결합해 랙 전체를 하나의 대형 컴퓨터처럼 동작시키는 역할을 한다. 엔비디아가 제시한 수치는 GPU당 양방향 GPU-GPU 대역폭 최대 3.6TB/s, 랙 전체 GPU 대역폭 260TB/s다. 3

Vera CPU와 GPU 사이에는 NVLink-C2C가 사용되며, 최대 1.8TB/s의 일관성 있는 대역폭을 제공한다. 이는 PCIe Gen6 대비 7배 수준이다.

2. Scale-Out: 랙과 랙을 연결

Quantum-X800 InfiniBand와 Spectrum-X Ethernet은 여러 랙을 더 큰 AI 클러스터로 연결한다. 랙 내부 통신이 Scale-In이라면, 이 계층은 데이터센터 전체로 확장하는 Scale-Out에 해당한다. 3

3. 데이터 경로 오프로딩: ConnectX-9와 BlueField-4

ConnectX-9 SuperNIC과 BlueField-4 DPU는 네트워크, 스토리지, 보안과 데이터 경로 관련 기능을 전담한다. GPU가 모델 추론에 더 집중할 수 있도록 인프라 작업을 분리하는 구조다. 36

DSX MaxLPS가 노리는 것은 ‘최대 전력’이 아닌 ‘전력당 토큰’

엔비디아의 DSX는 칩과 서버만이 아니라 시스템, 소프트웨어, 시설, 파트너 기술까지 포함하는 엔드투엔드 AI 팩토리 설계다. 이 가운데 DSX MaxLPS 소프트웨어는 순간적으로 하드웨어 전력을 최대로 끌어 쓰는 대신, 전력 단위당 생성하는 토큰 처리량을 극대화해 토큰 비용을 낮추는 것을 목표로 한다. 1215

이는 데이터센터에서 전력 공급과 냉각 설비가 가속기 수보다 더 큰 제약이 될 때 의미가 있다. 전력과 열 관리에 맞춰 AI 팩토리 전체의 자원을 배분하면, 같은 전력 예산 안에서 더 많은 에이전트 작업을 처리할 가능성이 생긴다.

SpaceXAI는 지상 Grok 인프라와 궤도 컴퓨팅에 적용

엔비디아에 따르면 SpaceXAI는 차세대 에이전트형 AI 워크로드를 가속하기 위해 Vera CPU를 도입한다. 또한 기가와트급 컴퓨팅 용량을 목표로 Grok 관련 AI 인프라를 Vera Rubin 플랫폼으로 확장할 계획이다. 14

두 회사는 이 아키텍처를 계획 중인 Starmind 궤도 컴퓨팅 프로젝트로 확대하는 방안도 추진하고 있다. 첫 세대 Starmind 위성에는 우주 환경에 맞게 최적화한 Vera Rubin NVL72 기반 컴퓨팅 페이로드가 사용될 예정이다. 1412

다만 이는 계획된 배치에 관한 발표다. 현재 궤도에서 운용 중인 AI 데이터센터가 있다는 뜻은 아니다.

엔비디아의 경쟁 구도는 GPU 밖으로 넓어진다

Vera Rubin의 핵심 메시지는 단순히 더 빠른 모델 추론이 아니다. 전력과 냉각, 네트워크, 자본비용이 제한된 환경에서 메가와트당 더 많은 유용한 에이전트 작업을 처리하는 것이 목표다. 엔비디아의 주장이 실제 고객 배치에서도 재현된다면, 생성 토큰당 전력·냉각·네트워크·설비 비용을 낮추는 효과를 기대할 수 있다.

동시에 엔비디아는 경쟁 영역을 GPU에서 커스텀 Arm CPU, CPU-GPU 일관성 시스템, 랙 단위 스위칭, DPU, AI 팩토리 운영 소프트웨어로 확장하고 있다. 하드웨어와 소프트웨어를 긴밀하게 통합하면 GPU 경쟁사와 기존 CPU 업체에 대한 방어력이 커질 수 있지만, 고객 입장에서는 엔비디아의 아키텍처와 소프트웨어 스택에 대한 의존도가 높아질 수 있다는 점도 함께 봐야 한다.