답변게시됨17 소스
화웨이 OceanStor M900, 초장문 AI 추론의 ‘컨텍스트 메모리’ 계층을 겨냥하다
화웨이는 HUAWEI CONNECT 2026에서 하이퍼스케일 AI 추론용 OceanStor M900을 공개했다. SuperPoD에서 공유하는 KV 캐시를 클러스터당 최대 64PB까지 제공한다는 것이 회사 측 설명이다.
게시자GPT-5.6 Terra로 편집GPT Image 2로 이미지 생성
연구 답변
주요 시사점
- 화웨이는 HUAWEI CONNECT 2026에서 하이퍼스케일 AI 추론용 OceanStor M900을 공개했다. SuperPoD에서 공유하는 KV 캐시를 클러스터당 최대 64PB까지 제공한다는 것이 회사 측 설명이다.
- Lingqu UnifiedBus를 통해 가속기 메모리·DRAM·SSD에 걸친 글로벌 다계층 KV 캐시를 구성해, 초장문 컨텍스트와 다중 턴 에이전트 추론의 메모리 병목을 겨냥한다.
- 화웨이는 약 60μs 접근 지연시간, 클러스터당 40TB/s 집계 대역폭, AI 코딩 추론에서 토큰 처리량 2배 및 TTFT 절반을 제시했지만, 세부 벤치마크 조건은 공개되지 않았다.
AI 프롬프트
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Huawei announce at Huawei Connect 2026 about its OceanStor M900 AI memory storage for hyperscale inference SuperPoDs, including how. Article summary: Huawei announced OceanStor M900 Context Memory Storage: an SSD-backed, shared KV-cache tier for hyperscale AI inference SuperPoDs. It is intended to extend—not replace—accelerators’ HBM/DRAM or the SuperPoD interconnect:. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
화웨이가 공개한 OceanStor M900 Context Memory Storage는 하이퍼스케일 데이터센터의 AI 추론용 스토리지 인프라다. 핵심은 가속기의 HBM이나 DRAM을 대체하는 것이 아니라, SuperPoD 전체가 함께 쓸 수 있는 대규모 ‘컨텍스트 메모리’ 계층을 추가하는 데 있다. 긴 프롬프트와 여러 단계로 이어지는 에이전트형 작업에서는 KV 캐시가 컴퓨팅 성능만큼 중요한 병목이 될 수 있기 때문이다. 2
23
왜 별도의 KV 캐시 계층이 필요한가
대규모 언어 모델이 추론할 때 KV 캐시(Key-Value Cache) 는 이미 처리한 토큰의 중간 상태를 저장한다. 같은 대화의 후속 질의나 유사한 문맥을 다시 처리할 때 이 데이터를 재사용하면, 모델이 처음부터 모든 문맥을 다시 계산하는 부담을 줄일 수 있다.
문제는 컨텍스트 윈도우가 매우 길어지고, 에이전트가 여러 번 추론을 반복하는 환경이다. 이런 경우 온칩 메모리와 DRAM에만 KV 캐시를 유지하기에는 용량과 비용 측면의 한계가 커진다. 화웨이는 UnifiedBus, 또는 Lingqu라고 부르는 인터커넥트를 활용해 글로벌 다계층 KV 캐시를 구성하고, 가속기 메모리와 DRAM에서 SSD까지 캐시 계층을 확장한다고 설명했다. 연결은 ‘원홉(one-hop)’ 방식으로 설계됐다는 주장이다. 2
26
쉽게 말해, 비싼 고속 메모리에 모든 컨텍스트를 상주시킬 필요 없이 더 많은 문맥을 저장·공유·재사용할 수 있도록 하겠다는 접근이다.
화웨이의 용량 주장: 클러스터당 최대 64PB
화웨이는 M900 클러스터 하나가 최대 64PB의 KV 캐시를 제공할 수 있다고 밝혔다. 또한 NPU당 사용 가능한 KV 캐시 용량을 GB급에서 TB급으로 확대해, 긴 컨텍스트 요청에서 캐시 적중률을 높일 수 있다고 설명한다. 2
26
다만 이는 칩 하나의 로컬 HBM 용량이 늘어난다는 의미는 아니다. SuperPoD 수준에서 자원을 공유하는 메모리 아키텍처에 가깝다. 실제 효과는 배포 환경의 요청 패턴, 캐시 배치·회수 방식, 그리고 소프트웨어가 KV 캐시를 얼마나 효율적으로 재사용하는지에 따라 달라진다.
NPU에서 SSD까지 원홉 접근을 내세운 구조
화웨이에 따르면 M900은 CPU, 네트워크 컨트롤러, NAND 컨트롤러를 통합한 구조를 채택했다. 이를 통해 네이티브 KV 시맨틱스를 제공하고, 프로토콜 변환이나 CPU 포워딩 없이 NPU에서 SSD로 원홉 접근을 구현한다는 설명이다. 20
26
회사가 제시한 주요 수치는 다음과 같다.
- 약 60마이크로초(μs) 의 접근 지연시간
- 클러스터당 최대 40TB/s 집계 대역폭
- 기존 업계 솔루션 대비 대역폭 1.5배 향상
26
이 수치들은 모두 화웨이의 성능 주장으로 봐야 한다. 발표 자료에는 사용 모델, 동시 요청 수준, 캐시 적중률, 클러스터 구성, 비교 대상과 측정 방법에 관한 상세 정보가 충분히 담기지 않았다. 실제 운영 환경을 반영한 독립 벤치마크가 있어야 성능을 제대로 판단할 수 있다.
토큰 처리량과 SSD 내구성은 얼마나 개선되나
화웨이는 일반적인 AI 코딩 추론 시나리오에서 토큰 처리량이 2배, 첫 토큰 응답 시간(TTFT)은 절반으로 줄었다고 밝혔다. 14 그러나 기준 시스템과 워크로드의 구체적 조건이 공개되지 않았기 때문에, 이를 모든 모델이나 모든 추론 스택에 일반화하기는 어렵다.
M900에는 ‘KV-aware adaptive storage’도 적용됐다고 한다. 캐시 데이터의 가치와 보존 기간을 판단해 적합한 저장 매체에 배치하는 방식이다. 화웨이는 하이브리드 미디어와 최적화된 보존 알고리즘을 통해 최대 24 DWPD와 SSD 읽기·쓰기 수명의 약 16배 개선을 주장했다. 16
18
이 역시 실제 쓰기량, 캐시 교체 정책, 운영 기간에 따라 결과가 크게 달라질 수 있다. 내구성 주장은 대표적인 프로덕션 환경에서 별도로 검증될 필요가 있다.
SuperPoD 전략에서 M900의 위치
M900은 단순한 스토리지 제품 발표라기보다 화웨이가 제시하는 AI 인프라 설계의 한 축에 가깝다. 화웨이는 UnifiedBus를 클러스터와 SuperPoD를 연결하는 인터커넥트로 설명하며, 특히 에이전트형 AI 애플리케이션의 확산에 대응하는 구조로 내세우고 있다. M900은 이 안에서 스토리지이자 컨텍스트 메모리 계층 역할을 맡는다. 23
구성을 정리하면 다음과 같다.
- Ascend 가속기: 모델 연산 담당
- UnifiedBus/Lingqu: 시스템 간 연결과 자원 공유 담당
- OceanStor M900: PB급의 영속적 공유 KV 캐시 담당
따라서 M900 자체가 모델 연산 성능을 추가하는 장비는 아니며, 가속기나 고속 인터커넥트를 대체하지도 않는다. 화웨이가 내세우는 가치는 긴 컨텍스트와 반복적인 에이전트 추론에서 커지는 KV 캐시의 메모리 압박을 완화하고, 더 많은 문맥 상태를 공유·재사용할 수 있게 하는 데 있다. 2
23
Studio Global AI
연구를 계속하세요
이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.
사람들은 또한 묻습니다.
"화웨이 OceanStor M900, 초장문 AI 추론의 ‘컨텍스트 메모리’ 계층을 겨냥하다"에 대한 짧은 대답은 무엇입니까?
화웨이는 HUAWEI CONNECT 2026에서 하이퍼스케일 AI 추론용 OceanStor M900을 공개했다. SuperPoD에서 공유하는 KV 캐시를 클러스터당 최대 64PB까지 제공한다는 것이 회사 측 설명이다.
먼저 검증할 핵심 포인트는 무엇인가요?
화웨이는 HUAWEI CONNECT 2026에서 하이퍼스케일 AI 추론용 OceanStor M900을 공개했다. SuperPoD에서 공유하는 KV 캐시를 클러스터당 최대 64PB까지 제공한다는 것이 회사 측 설명이다. Lingqu UnifiedBus를 통해 가속기 메모리·DRAM·SSD에 걸친 글로벌 다계층 KV 캐시를 구성해, 초장문 컨텍스트와 다중 턴 에이전트 추론의 메모리 병목을 겨냥한다.
실무에서는 다음으로 무엇을 해야 합니까?
화웨이는 약 60μs 접근 지연시간, 클러스터당 40TB/s 집계 대역폭, AI 코딩 추론에서 토큰 처리량 2배 및 TTFT 절반을 제시했지만, 세부 벤치마크 조건은 공개되지 않았다.
출처
huawei.comHuawei Introduces OceanStor M900 Context Memory Storage to Accelerate AI Inference in Hyperscale Data Centers - Huawei