답변게시됨16 소스
MLPerf Inference v6.1: AI 추론 경쟁은 이제 GPU가 아니라 ‘스택’의 싸움
MLPerf Inference v6.1은 AI 추론 성능의 핵심이 GPU 단품이 아니라 소프트웨어, 네트워크, 시스템 통합을 포함한 전체 서빙 스택으로 이동하고 있음을 보여줬다. AMD의 512 GPU MI355X 제출은 최대 총 토큰 처리량을 기록했고, NVIDIA는 차세대 Vera Rubin NVL72의 프리뷰 성능을 공개했다.
게시자GPT-5.6 Terra로 편집GPT Image 2로 이미지 생성
연구 답변
주요 시사점
- MLPerf Inference v6.1은 AI 추론 성능의 핵심이 GPU 단품이 아니라 소프트웨어, 네트워크, 시스템 통합을 포함한 전체 서빙 스택으로 이동하고 있음을 보여줬다.
- AMD의 512 GPU MI355X 제출은 최대 총 토큰 처리량을 기록했고, NVIDIA는 차세대 Vera Rubin NVL72의 프리뷰 성능을 공개했다.
- 30개 기관이 참여해 데이터센터·엣지 결과 486건이 제출됐으며, 종단간 RAG와 엣지 에이전트 추론 테스트가 새로 추가됐다.
AI 프롬프트
openai.comCreate a landscape editorial hero image for this Studio Global article: What were the key results and broader implications of MLCommons’ MLPerf Inference v6.1 benchmarks, including AMD’s record-setting MI355X per. Article summary: MLPerf Inference v6.1 showed a more competitive and more deployment-oriented inference market: AMD set aggregate-scale records, NVIDIA demonstrated its next platform while retaining strong Blackwell results, Intel broade. Topic tags: general, documentation, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
MLPerf Inference v6.1은 ‘가장 빠른 AI 칩’을 가리는 단일 순위표라기보다, AI 서빙 환경이 어떻게 달라지고 있는지를 보여주는 스냅샷에 가깝다. 이번 라운드의 핵심 신호는 AMD의 초대형 MI355X 구성, NVIDIA의 첫 베라 루빈(Vera Rubin) 프리뷰 데이터, 인텔의 폭넓어진 접근형 추론 시스템 참여, 그리고 검색증강생성(RAG) 및 엣지 에이전트 테스트의 도입이다.
여기서 중요한 결론은 간단하다. 이제 비교의 단위는 GPU 하나가 아니다. 정해진 지연 시간 조건에서 실제 관련 워크로드를 실행할 수 있는, 공급 가능한 완성형 AI 서빙 시스템이 비교 대상이 되고 있다.
AMD MI355X: 총처리량 경쟁에서 ‘규모’가 부각됐다
AMD의 가장 눈에 띄는 결과는 Crusoe가 제출한 512 GPU 규모의 Instinct MI355X 구성이다. 이 시스템은 v6.1 라운드에서 보고된 결과 가운데 가장 큰 총 토큰 처리량 수치를 기록했다. 5 이는 단순한 가속기 성능을 넘어, 대규모 분산 추론과 네트워킹, 시스템 통합 역량까지 시험한 결과라는 점에서 의미가 있다.
다만 이를 곧바로 모든 환경에서의 플랫폼 우위로 해석할 수는 없다. 512 GPU 기준의 총처리량은 GPU 수, 모델, 벤치마크 시나리오, 서비스 수준 목표(SLO)를 맞추지 않은 단일 랙 또는 소규모 클러스터와 직접 비교하기 어렵다. 대형 추론 플릿에는 총처리량이 핵심 지표일 수 있지만, 실제 도입에서는 가속기당 성능, 랙 밀도, 전력 사용량, 조달 가능성, 운영 복잡도가 더 중요할 수도 있다.
같은 하드웨어를 더 빠르게 쓰게 하는 ROCm
AMD의 성과는 하드웨어만의 이야기가 아니다. 회사는 이전 MLPerf 라운드 대비 동일한 MI355X 하드웨어에서 성능이 높아졌으며, 이를 ROCm 최적화의 결과로 설명했다. 이는 컴파일러, 커널, 모델 런타임, 분산 서빙 소프트웨어가 하드웨어 교체 없이도 기존 인프라의 유효 처리 용량을 끌어올릴 수 있음을 시사한다.
AMD는 ROCm을 6주 주기로 출시하겠다고도 밝혔다. 이 주기가 실제 배포 가능한 성능 개선으로 꾸준히 이어진다면, 소프트웨어 개발 속도 자체가 구매자의 토큰당 비용 계산에 영향을 주는 변수가 될 수 있다. 다만 MLPerf에서의 개선 폭이 곧바로 운영 환경에 동일하게 재현된다는 뜻은 아니다. 도입 기업은 자사 모델 구성, 양자화 방식, 프레임워크, 트래픽 패턴, 지연 시간 목표에 맞춰 별도 검증해야 한다.
NVIDIA 베라 루빈: 차세대 가능성을 보여준 프리뷰
NVIDIA의 베라 루빈 NVL72는 MLPerf Inference에 처음으로 등장했지만, 분류는 프리뷰 제출이었다. NVIDIA는 Qwen3-VL에서 GB300 NVL72보다 최대 3.7배 높은 처리량을 기록했다고 밝혔고, 4개 랙에 걸친 288 GPU GB300 NVL72 제출에서는 99%의 스케일링 효율을 달성했다고 설명했다. 2
여기서 유의할 점은 공급 가능성이다. 프리뷰 결과는 아키텍처 방향성과 소프트웨어 성숙도를 보여주는 유용한 자료이지만, 이미 일반 공급되는 시스템과 동등한 구매 비교 자료로 볼 수는 없다. 또한 프리뷰 제출 시스템은 클러스터 크기도 서로 달랐기 때문에, 단순 총처리량보다 GPU당 성능처럼 규모를 보정한 비교가 더 유의미하다. 8
당장의 배포 환경에서는 Blackwell과 Blackwell Ultra가 여전히 중요한 축이다. 예를 들어 CoreWeave는 Qwen3-VL, DeepSeek-R1, GPT-OSS-120B 워크로드에서 여러 Blackwell 및 Blackwell Ultra 구성으로 클라우드 사업자 중 선도적인 결과를 냈다고 보고했다. 4 실무적으로는 단일 승자보다 ‘용도별 구분’이 더 정확한 해석이다. 대규모 클러스터의 총 용량, 랙 단위 서빙, 멀티모달 추론, 대화형 지연 시간 요구는 각각 다른 시스템 구성을 유리하게 만들 수 있다.
인텔: CPU와 워크스테이션급 GPU 추론의 선택지를 넓혔다
인텔의 제출은 CPU 및 워크스테이션급 GPU 기반 추론의 존재감을 넓혔다. Arc Pro B70 4개로 구성된 노드는 총 128GB VRAM을 갖췄고, Llama, GPT-OSS-120B, Whisper, 새 종단간 RAG 워크로드에 대한 결과를 제출했다. 인텔은 같은 Arc Pro B70 구성에서 이전 라운드보다 소프트웨어 기반 성능 향상도 있었다고 밝혔다. 3
이는 Arc Pro가 하이퍼스케일 가속기 클러스터를 직접 대체한다는 뜻은 아니다. 대신 더 작은 규모, 낮은 비용, 유연한 배포를 검토하는 조직의 선택지를 벤치마크에 더 충실히 반영한다. 메모리 용량, 온프레미스·로컬 추론, 기존 서버 인프라 활용이 중요한 기업에는 특히 의미가 있다.
RAG와 에이전트 테스트가 MLPerf를 실제 배포에 더 가깝게 만들었다
MLCommons에 따르면 v6.1에는 역대 최다인 30개 기관이 참여했으며, 데이터센터와 엣지에서 총 486건의 결과가 제출됐다. 이번 제품군에는 데이터센터용 종단간 RAG 벤치마크와 엣지 에이전트 추론 벤치마크가 추가됐다. 이는 단발성 프롬프트 처리에서 여러 단계를 거치는 AI 애플리케이션으로 중심이 이동하고 있음을 반영한다. 9
에이전트 워크로드에서는 기존의 오프라인 토큰 처리량 테스트로 드러나지 않는 병목이 발생한다. 다중 턴 상호작용, 도구 호출, 오케스트레이션 오버헤드, 단계 사이의 응답성이 대표적이다. MLCommons는 엣지 벤치마크가 에이전트 코딩처럼 복잡하고 다중 턴으로 진행되는 작업을 반영한다고 설명한다. 9
물론 이 역시 통제된 벤치마크이며, 실제 운영 중인 서비스 전체를 대변하지는 않는다. 그럼에도 많은 조직이 이제 막 배포하려는 RAG·에이전트형 애플리케이션에 평가 기준을 한 걸음 더 가깝게 옮겼다는 점은 분명하다.
MLPerf Endpoints는 무엇을 바꿀 수 있나
MLCommons는 향후 방향으로 MLPerf Endpoints도 예고했다. 핵심 차이는 정기적인 벤치마크 제출과, 실제로 운영되는 서빙 엔드포인트에서 관측되는 성능 사이에 있다. 엔드포인트 중심 프로그램이 성숙한다면 최고 토큰/초 수치뿐 아니라 부하 상황에서의 동작, 지연 시간 일관성, 가용성, 운영 재현성에도 더 큰 비중이 실릴 수 있다.
현시점에서는 기존 제출 방식을 대체하는 확정된 제도가 아니라, 새롭게 떠오르는 측정 방향으로 보는 것이 적절하다. 그러나 v6.1 결과는 왜 이런 변화가 가치 있을 수 있는지 보여준다. 실제 배포 품질은 최대 토큰 처리량 하나로 판별할 수 없기 때문이다.
구매자가 봐야 할 것은 헤드라인이 아니라 전체 스택
MLPerf Inference v6.1은 AI 추론 경쟁이 세 가지 연결된 요소로 결정되고 있음을 보여준다. 가속기 성능, 소프트웨어 개선 속도, 그리고 시스템 통합 역량이다. AMD의 대규모 MI355X 제출은 확장성의 중요성을 보여줬고, NVIDIA의 베라 루빈 프리뷰는 차세대 성능 방향을 제시하는 동시에 Blackwell이 현재 배포의 중심임을 확인했다. 인텔 Arc Pro B70의 결과는 하드웨어 선택지의 폭을 넓혔으며, 새 RAG·에이전트 테스트는 애플리케이션 요구가 달라지고 있음을 반영한다.
플랫폼을 평가할 때는 먼저 워크로드와 운영 목표부터 정해야 한다. 모델, 컨텍스트 길이, 동시 처리량, 지연 시간 SLO, 전력 한계, 배포 규모, 유효 출력당 비용이 기준이다. 그 뒤에야 같은 규모와 같은 공급 가능성 조건에서 시스템을 비교할 수 있다. 어떤 MLPerf 헤드라인 하나를 모든 상황의 정답으로 받아들이는 것보다, 이 방식이 훨씬 실용적이다.
Studio Global AI
연구를 계속하세요
이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.
사람들은 또한 묻습니다.
"MLPerf Inference v6.1: AI 추론 경쟁은 이제 GPU가 아니라 ‘스택’의 싸움"에 대한 짧은 대답은 무엇입니까?
MLPerf Inference v6.1은 AI 추론 성능의 핵심이 GPU 단품이 아니라 소프트웨어, 네트워크, 시스템 통합을 포함한 전체 서빙 스택으로 이동하고 있음을 보여줬다.
먼저 검증할 핵심 포인트는 무엇인가요?
MLPerf Inference v6.1은 AI 추론 성능의 핵심이 GPU 단품이 아니라 소프트웨어, 네트워크, 시스템 통합을 포함한 전체 서빙 스택으로 이동하고 있음을 보여줬다. AMD의 512 GPU MI355X 제출은 최대 총 토큰 처리량을 기록했고, NVIDIA는 차세대 Vera Rubin NVL72의 프리뷰 성능을 공개했다.
실무에서는 다음으로 무엇을 해야 합니까?
30개 기관이 참여해 데이터센터·엣지 결과 486건이 제출됐으며, 종단간 RAG와 엣지 에이전트 추론 테스트가 새로 추가됐다.