데이터브릭스-엔비디아, '에이전트 시대' 위한 AI 플랫폼 구축…베라 CPU·서버리스 GPU·거버넌스 원스톱

데이터브릭스(Databricks)와 엔비디아(NVIDIA)의 파트너십이 한층 더 깊어지고 있다. 양사는 '에이전틱 시대(Agentic Era)'를 겨냥해, 엔비디아의 최신 반도체(베라 CPU, 블랙웰/루빈 GPU)와 서버리스 GPU 런타임, 에이전트 특화 도구를 데이터브릭스 데이터 인텔리전스 플랫폼에 직접 통합한 엔드투엔드 플랫폼을 구축 중이다.

이번 협업은 AI 에이전트의 전체 수명 주기, 즉 서버리스 엔비디아 GPU에서의 훈련 및 미세 조정부터 엔비디아 베라 CPU에서의 추론 및 오케스트레이션까지, 모든 과정을 데이터 거버넌스가 보장된 데이터브릭스 레이크하우스에 기반하여 연결하는 것을 목표로 한다. 주요 기술, 통합 사항, 그리고 이번 협력을 이끄는 업계 트렌드를 살펴보자.

주요 기술 및 통합

엔비디아 베라 CPU 통합

데이터브릭스는 '에이전트를 위한 CPU'라는 슬로건으로 출시된 엔비디아의 신형 베라(Vera) CPU를 자사 플랫폼에 통합한다. 베라는 Arm 기반의 커스텀 CPU로, 256MB의 L3 캐시와 JSON 파싱(parsing)을 위한 전용 하드웨어 유닛을 갖추고 있다. 이는 에이전트 워크로드의 병목 지점인 오케스트레이션 및 강화 학습 루프를 처리하도록 특별히 설계되었다. 이는 인프라의 근본적인 변화를 시사한다. 엔비디아와 데이터브릭스는 AI 에이전트 성능이 더 이상 GPU 처리량이 아니라, 계획 수립(planning), 도구 호출(tool-calling), 메모리 루프를 실행하는 호스트 CPU에 의해 결정된다고 보고 있는 것이다.

AI 런타임: 서버리스 엔비디아 GPU

데이터브릭스는 AI 런타임(AI Runtime)이라는 서버리스 컴퓨팅 레이어를 출시했다. 이는 인프라 관리 부담 없이 딥러닝 모델 훈련 및 미세 조정을 위해 엔비디아 A10 및 H100 GPU에 온디맨드(on-demand)로 접근할 수 있게 해준다. 멀티노드 분산 훈련 및 멀티 GPU 지원은 현재 베타 단계이며, 컴퓨터 비전, LLM, 딥러닝 기반 추천 시스템 등에 사용된다.

데이터브릭스 무료 버전의 GPU 지원

이제 데이터브릭스의 무료 티어(free tier)에서도 엔비디아 GPU 가속을 사용할 수 있어, 개발자들이 AI 에이전트를 더 쉽게 실험해볼 수 있게 되었다.

모델 서빙 강화 및 에이전틱 AI 스택

이번 협력 확대에는 에이전틱 워크로드를 위한 향상된 모델 서빙과, 데이터브릭스 레이크하우스 내 거버넌스된 엔터프라이즈 데이터 위에서 실행되는 엔비디아의 에이전트 중심 소프트웨어 스택(예: 엔비디아 에이전트 툴킷, NIM 마이크로서비스)에 대한 완벽한 지원도 포함된다.

엔비디아 CUDA 가속 포톤 엔진

엔비디아의 가속 컴퓨팅이 데이터브릭스의 고성능 SQL 엔진인 포톤(Photon)에 통합되어, AI 파이프라인을 위한 데이터 전처리 및 ETL 속도를 높인다. 엔비디아의 젠슨 황 CEO는 이러한 가속을 가능하게 하는 라이브러리를 구축하는 데 5년이 걸렸다고 언급한 바 있다.

협력을 이끄는 업계 트렌드

에이전틱 AI의 부상

이번 파트너십은 정적 AI 모델에서 자율적이고 다단계로 작동하는 AI 에이전트로의 전환을 명확히 염두에 두고 있다. AI 에이전트는 데이터, 컴퓨팅, 오케스트레이션이 긴밀하게 결합되어야 한다. 데이터브릭스의 보고서에 따르면 2026년을 앞두고 자율 AI 시스템 도입이 327% 급증한 것으로 나타났다.

CPU가 새로운 병목 지점으로 부상

앞서 언급했듯, 엔비디아와 데이터브릭스는 AI 에이전트 성능의 새로운 병목이 호스트 CPU라고 판단했다. 베라 CPU는 이러한 격차를 해소하기 위해 설계된 것이다.

거버넌스된 데이터가 기반

핵심 트렌드 중 하나는 에이전트가 거버넌스되고 고품질의 엔터프라이즈 데이터를 기반으로 작동해야 한다는 점이다. 이번 협력은 엔비디아 가속을 데이터브릭스의 유니티 카탈로그(Unity Catalog) 기반 레이크하우스에 접목하여, 에이전트가 분산되거나 관리되지 않는 데이터가 아닌 신뢰할 수 있는 데이터를 바탕으로 추론할 수 있도록 하는 데 중점을 둔다.

생태계 확장

데이터브릭스는 에이전트 스킬 공유를 위한 개방형 프로토콜(OpenSharing) 및 에이전트 구축 도구(Agent Bricks, 에이전트 메모리용 Lakebase)에도 투자하고 있다. 동시에 엔비디아는 HPE 등과의 AI 팩토리 파트너십을 확장하며, 이번 협력을 표준화된 프로덕션급 에이전트 인프라를 향한 더 넓은 산업계의 움직임의 일환으로 자리매김하고 있다.