엔비디아 Vera CPU가 여는 ‘2000억 달러’ AI 에이전트 시장

그 논리는 간단하다.

지금까지 엔비디아는 AI 학습과 추론에 필요한 GPU 가속기 시장을 사실상 지배해 왔다. 하지만 데이터센터의 서버 CPU 시장은 인텔(Intel)과 AMD 같은 업체들이 주도해 왔다.

Vera가 등장하면서 엔비디아는 이제 GPU뿐 아니라 AI 시스템을 제어하는 CPU 계층까지 직접 공급할 수 있게 된다.

이 전략은 엔비디아가 자주 사용하는 개념인 **‘AI 팩토리(AI factory)’**와도 연결된다. AI 팩토리는 데이터센터가 공장처럼 AI 결과물을 생산하는 구조를 의미한다. 이 구조에서:

• GPU는 대규모 수치 계산을 수행하고
• CPU는 소프트웨어 환경과 데이터 흐름을 관리한다

단, 2000억 달러라는 시장 규모는 엔비디아의 자체 추정치이며 독립적인 산업 예측으로 검증된 수치는 아니다.

왜 AI 에이전트에는 새로운 CPU가 필요한가

전통적인 서버 CPU는 웹 서비스, 데이터베이스, 가상화 같은 일반적인 클라우드 작업을 위해 설계됐다.

하지만 AI 에이전트 시스템은 완전히 다른 방식으로 작동한다.

예를 들어 AI 에이전트는 단순히 텍스트를 생성하는 것이 아니라 다음과 같은 작업을 반복적으로 수행한다.

• 외부 데이터 검색
• API 또는 소프트웨어 도구 호출
• 코드 실행
• 여러 모델 호출 조정
• 메모리와 워크플로 관리

이 작업 대부분은 신경망 모델 바깥에서 CPU가 처리하는 영역이다. GPU가 계산을 수행하는 동안 CPU는 시스템을 계속 조정해 GPU가 쉬지 않고 작업하도록 만들어야 한다.

엔비디아는 Vera가 이런 환경에 맞춰 설계됐다고 설명한다.

회사에 따르면 Vera는 강화학습(RL)과 에이전트 기반 AI 환경을 위해 특별히 설계된 CPU이며 특정 워크로드에서 기존 랙 규모 서버 CPU보다 약 2배 효율적이고 최대 50% 더 빠른 성능을 낼 수 있다고 한다.

칩 내부에는 Arm 호환 88개의 맞춤형 ‘Olympus’ 코어가 탑재되어 대규모 AI 시스템에서 높은 메모리 대역폭과 처리량을 제공한다.

Rubin GPU와 함께 작동하는 방식

Vera CPU는 단독 제품이라기보다 엔비디아 차세대 AI 플랫폼 ‘Vera Rubin’의 핵심 구성요소다.

이 플랫폼은 여러 종류의 칩을 하나의 시스템으로 통합한다.

• Vera CPU
• Rubin GPU
• NVLink 6 스위치
• ConnectX‑9 네트워크
• BlueField‑4 DPU
• Spectrum‑6 이더넷 스위치

이 모든 요소가 결합되어 대규모 AI 서비스를 위한 랙 단위 컴퓨팅 시스템을 구성한다.

대표적인 예가 Vera Rubin NVL72 랙이다. 이 시스템에는

• Rubin GPU 72개
• Vera CPU 36개

가 고속 NVLink 네트워크로 연결되어 있다.

이 구조에서 CPU의 역할은 다음과 같다.

• AI 워크플로 조정
• 데이터 이동 및 메모리 관리
• GPU 작업 스케줄링
• 에이전트 도구와 소프트웨어 실행

즉 CPU가 전체 시스템의 컨트롤 플레인(control plane) 역할을 하면서 GPU의 활용도를 극대화한다.

AI 에이전트가 늘수록 CPU의 중요성도 커진다

엔비디아의 핵심 가정은 AI 애플리케이션 구조 자체가 바뀌고 있다는 것이다.

초기 생성형 AI 서비스는 대부분 “프롬프트 → 텍스트 응답” 구조였다. 그러나 에이전트 시스템은 여러 단계의 추론과 행동을 수행한다.

예를 들어 하나의 작업을 해결하기 위해 에이전트는

• 여러 모델 호출
• 데이터베이스 조회
• 코드 실행
• 추가 도구 호출

을 반복할 수 있다.

일부 분석에 따르면 이런 에이전트형 워크로드는 기존 생성형 AI보다 훨씬 많은 컴퓨팅을 요구할 수 있다.

만약 수십억 개의 AI 에이전트가 클라우드에서 지속적으로 실행된다면, CPU는

• 작업 스케줄링
• I/O 관리
• 코드 실행 환경 제공
• GPU 작업 조정

을 담당하는 AI 인프라의 핵심 제어층이 된다.

인텔·AMD·클라우드 업체와의 경쟁 전략

Vera 출시의 또 다른 의미는 엔비디아가 서버 CPU 시장에 본격적으로 들어간다는 것이다.

데이터센터 CPU 시장은 오랫동안 인텔과 AMD가 지배해 왔고, 최근에는 AWS, 구글 같은 하이퍼스케일 클라우드 기업들도 자체 칩을 설계하고 있다.

엔비디아의 전략은 조금 다르다.

단일 칩을 판매하는 대신 CPU·GPU·네트워크·소프트웨어를 통합한 전체 AI 시스템을 제공하는 것이다.

이 통합 구조 덕분에 엔비디아는 다음을 강조한다.

• 더 낮은 AI 토큰당 비용
• 더 높은 GPU 활용률
• 빠른 대규모 AI 서비스 구축

하지만 경쟁도 만만치 않다. 클라우드 기업들은 엔비디아 의존도를 줄이기 위해 자체 실리콘 개발에 강한 동기를 가지고 있기 때문이다.

그럼에도 엔비디아는 **GPU·CPU·네트워크·소프트웨어를 하나의 플랫폼으로 설계한 ‘수직 통합 AI 인프라’**가 경쟁사들이 단기간에 따라오기 어려운 강점이 될 것이라고 보고 있다.

GPU 회사에서 ‘AI 인프라 플랫폼’으로

Vera CPU는 엔비디아 전략 변화의 상징적인 제품이다.

엔비디아는 더 이상 단순한 GPU 회사로 자신을 정의하지 않는다. 대신 회사는 데이터센터 전체를 설계하는 AI 인프라 플랫폼 기업으로 변신하고 있다.

만약 젠슨 황의 예측처럼 AI 에이전트가 디지털 경제 전반에 퍼진다면, Vera 같은 CPU는 GPU 못지않게 중요한 역할을 하게 될 수 있다. 그리고 그 변화는 GPU 중심 시장을 훨씬 더 큰 AI 인프라 생태계로 확장시킬 가능성이 있다.