엔비디아가 Groq의 기술을 활용한 추론 가속기 Groq 3 LPX를 정식 양산 단계로 전환했다. 8월 24일 Hot Chips에서 공개된 이번 발표는 대규모 AI 모델을 학습시키는 경쟁보다, 사용자가 질문한 뒤 답변이 화면에 나타나는 속도를 높이는 데 초점이 맞춰져 있다.
26
엔비디아에 따르면 Groq 3 LPX는 베라 루빈(Vera Rubin) NVL72 시스템과 함께 작동하며, 에이전트형 AI와 코딩 보조 도구처럼 짧은 지연시간이 중요한 서비스의 토큰 생성을 가속한다.
3,400토큰/초라는 벤치마크
Artificial Analysis가 진행한 테스트에서 Groq 3 LPX는 구글의 오픈소스 모델 Gemma 4 31B를 10만 토큰 문맥으로 실행하며 초당 중앙값 3,431개 출력 토큰을 기록했다. 엔비디아는 이를 발표에서 반올림해 초당 3,400토큰으로 제시했다.
17
엔비디아는 해당 조건에서 LPX의 응답성이 가장 가까운 대안 플랫폼보다 4배 높았다고 밝혔다.
35 다만 이 수치는 모든 AI 서비스에 적용되는 종합 성능 지표가 아니다. 특정 모델, 문맥 길이, 동시 사용자 수와 벤치마크 설정에 따른 결과이기 때문이다.
실제 서비스의 체감 속도는 답변 생성 속도뿐 아니라 사용자의 입력과 문맥을 처음 읽는 시간, 모델 크기, 메모리, 네트워크 구성, 동시 처리량 등에 따라서도 달라질 수 있다.
핵심은 ‘프리필’과 ‘디코드’의 분리
대규모 언어 모델의 추론은 크게 두 단계로 나뉜다.
- 프리필(prefill): 사용자의 질문과 이전 대화 등 입력 문맥을 모델이 먼저 처리하는 단계
- 디코드(decode): 모델이 답변을 다음 토큰부터 한 개씩 생성하는 단계
Groq 3 LPX는 주로 두 번째 단계인 디코드의 속도를 높이도록 설계됐다. 반면 베라 루빈 NVL72는 학습과 폭넓은 추론, 긴 문맥 처리, 높은 동시성 서비스 등 보다 일반적인 작업을 맡는다.
34
따라서 LPX는 GPU 인프라의 대체재라기보다 보완재에 가깝다. GPU가 유연한 대규모 연산을 담당하는 동안, Groq에서 유래한 아키텍처는 사용자가 기다리는 시간을 좌우하는 토큰 생성 구간을 전담하는 방식이다.
첫 도입 기업은 네비우스
AI 클라우드 기업 **네비우스(Nebius)**는 현재까지 발표된 첫 번째 Groq 3 LPX 도입 기업이다. 네비우스는 2026년 말까지 자사의 프로덕션 추론 플랫폼인 Token Factory에 LPX를 통합할 계획이다.
2
Groq 역시 초기 도입 기업 중 하나가 될 예정이다. Groq는 베라 루빈 NVL72와 Groq 3 LPX를 자사의 맞춤형 AI 추론 클라우드에 함께 배치한다고 밝혔다. 긴 문맥을 다루는 에이전트형 AI에서 Rubin 시스템이 폭넓은 연산을 맡고, LPX가 빠른 토큰 생성을 지원하는 구상이다.
18
베라 루빈 플랫폼에서의 역할
엔비디아는 Groq 3 LPX를 베라 루빈 플랫폼의 일곱 번째 주요 구성 요소로 소개하고 있다. 이 플랫폼에는 AI 작업을 둘러싼 데이터 처리와 오케스트레이션 등을 지원하는 Vera CPU도 포함된다. 엔비디아는 Vera CPU가 자체 설계한 Olympus 코어 88개를 탑재한다고 설명했다.
33
엔비디아는 또 SpaceXAI가 차세대 에이전트형 AI 애플리케이션을 위해 Vera CPU를 배치할 계획이라고 발표했다. SpaceXAI는 1세대 Starmind AI 위성에 최적화된 베라 루빈 NVL72 시스템을 사용하는 방안도 추진할 예정이다.
40
이 발표들이 보여주는 엔비디아의 방향은 모든 AI 작업을 GPU 하나로 처리하는 대신, 업무별로 특화된 부품을 조합하는 ‘AI 팩토리’다. CPU는 에이전트 작업을 조율하고, GPU는 유연한 대규모 연산을 맡으며, LPX는 빠르고 예측 가능한 응답 생성을 담당하는 구조다.
200억 달러 Groq 거래의 실체
Groq 3 LPX는 엔비디아가 2025년 12월 Groq와 맺은 200억 달러 규모 거래의 대표적인 제품 결과물이다. 다만 이를 Groq라는 회사를 통째로 인수한 거래로 표현하는 것은 정확하지 않다.
공개된 보도에 따르면 양사는 Groq의 추론 기술에 대한 비독점 라이선스 계약을 맺었고, 엔비디아는 Groq의 창업자 겸 CEO인 조너선 로스, 사장 서니 마드라를 비롯한 핵심 인력을 영입했다.
4
8
Groq는 거래 이후에도 독립적으로 활동했으며 추가 투자도 유치했다. 이는 엔비디아가 Groq의 기술과 인재를 확보해 자사 랙 규모 플랫폼에 통합한 거래였다는 해석과 맞닿아 있다.
3
이번 발표가 중요한 이유
이번 발표의 핵심은 엔비디아가 또 하나의 AI 칩을 내놓았다는 데 있지 않다. AI 서비스의 각 처리 단계를 분리하고, 그중 사용자가 가장 민감하게 느끼는 답변 생성 구간에 전용 가속기를 배치했다는 점에 있다.
에이전트형 AI가 여러 단계의 추론과 도구 호출을 반복할수록 각 단계의 응답 지연은 전체 사용 경험에 누적된다. LPX가 실제 클라우드 환경에서도 벤치마크 성능을 유지한다면 코딩 에이전트와 실시간 AI 서비스의 반응성을 높일 수 있다.
다만 3,400토큰/초라는 결과는 특정 장문맥 테스트에서 나온 수치다. LPX의 진정한 성과는 네비우스와 Groq의 배치가 시작되고, 다양한 모델과 실제 서비스 환경에서 비용·동시성·지연시간 개선이 확인될 때 판가름 날 전망이다.