데이터브릭스는 AI 런타임(AI Runtime)이라는 서버리스 컴퓨팅 레이어를 출시했다. 이는 인프라 관리 부담 없이 딥러닝 모델 훈련 및 미세 조정을 위해 엔비디아 A10 및 H100 GPU에 온디맨드(on-demand)로 접근할 수 있게 해준다. 멀티노드 분산 훈련 및 멀티 GPU 지원은 현재 베타 단계이며, 컴퓨터 비전, LLM, 딥러닝 기반 추천 시스템 등에 사용된다
.
이번 협력 확대에는 에이전틱 워크로드를 위한 향상된 모델 서빙과, 데이터브릭스 레이크하우스 내 거버넌스된 엔터프라이즈 데이터 위에서 실행되는 엔비디아의 에이전트 중심 소프트웨어 스택(예: 엔비디아 에이전트 툴킷, NIM 마이크로서비스)에 대한 완벽한 지원도 포함된다.
엔비디아의 가속 컴퓨팅이 데이터브릭스의 고성능 SQL 엔진인 포톤(Photon)에 통합되어, AI 파이프라인을 위한 데이터 전처리 및 ETL 속도를 높인다. 엔비디아의 젠슨 황 CEO는 이러한 가속을 가능하게 하는 라이브러리를 구축하는 데 5년이 걸렸다고 언급한 바 있다
.
이번 파트너십은 정적 AI 모델에서 자율적이고 다단계로 작동하는 AI 에이전트로의 전환을 명확히 염두에 두고 있다. AI 에이전트는 데이터, 컴퓨팅, 오케스트레이션이 긴밀하게 결합되어야 한다. 데이터브릭스의 보고서에 따르면 2026년을 앞두고 자율 AI 시스템 도입이 327% 급증한 것으로 나타났다.
핵심 트렌드 중 하나는 에이전트가 거버넌스되고 고품질의 엔터프라이즈 데이터를 기반으로 작동해야 한다는 점이다. 이번 협력은 엔비디아 가속을 데이터브릭스의 유니티 카탈로그(Unity Catalog) 기반 레이크하우스에 접목하여, 에이전트가 분산되거나 관리되지 않는 데이터가 아닌 신뢰할 수 있는 데이터를 바탕으로 추론할 수 있도록 하는 데 중점을 둔다.
데이터브릭스는 에이전트 스킬 공유를 위한 개방형 프로토콜(OpenSharing) 및 에이전트 구축 도구(Agent Bricks, 에이전트 메모리용 Lakebase)에도 투자하고 있다. 동시에 엔비디아는 HPE 등과의 AI 팩토리 파트너십을 확장하며, 이번 협력을 표준화된 프로덕션급 에이전트 인프라를 향한 더 넓은 산업계의 움직임의 일환으로 자리매김하고 있다.