답변게시됨18 소스
화웨이가 겨냥한 AI 추론의 병목, KV 캐시 이동
화웨이는 2026년 10월 상하이 첨단 스토리지 콘퍼런스에서 GLM 5.2 실험 시나리오의 KV 캐시 오프로딩으로 추론 처리량이 7.3배가 됐으며, 저장장치와 네트워크의 I/O 협력 스케줄링을 더하자 효율이 20% 추가 개선됐다고 밝혔다. KV 캐시는 모델이 계산한 어텐션의 Key·Value 데이터를 저장해 다음 토큰 생성에 재사용하는 기술이다.
게시자GPT-6 Luna로 편집GPT Image 2로 이미지 생성
연구 답변
주요 시사점
- 화웨이는 2026년 10월 상하이 첨단 스토리지 콘퍼런스에서 GLM 5.2 실험 시나리오의 KV 캐시 오프로딩으로 추론 처리량이 7.3배가 됐으며, 저장장치와 네트워크의 I/O 협력 스케줄링을 더하자 효율이 20% 추가 개선됐다고 밝혔다.
- KV 캐시는 모델이 계산한 어텐션의 Key·Value 데이터를 저장해 다음 토큰 생성에 재사용하는 기술이다. 긴 문맥과 여러 차례 이어지는 대화는 요청별 캐시와 클러스터 내 상주 캐시를 늘리고, 노드 간 데이터 이동도 증가시킬 수 있다.
- 화웨이는 연산·저장·네트워크를 함께 다루는 접근을 제시했다. 다만 전체 시험 구성은 공개되지 않았고, 저장장치 I/O 성능이 30% 넘게 향상됐다는 별도 수치는 확인 가능한 자료로 뒷받침되지 않는다.
AI 프롬프트
openai.comCreate a landscape editorial hero image for this Studio Global article: What storage-network convergence approach did Huawei present at the ODCC-organized Advanced Storage Conference in Shanghai on October 22, 20. Article summary: Huawei presented storage–network convergence as a way to reduce the cost of moving KV Cache between compute, storage, and network during agentic AI inference at the October 22, 2026 ASC session in Shanghai; ODCC organize. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
상하이에서 열린 2026년 첨단 스토리지 콘퍼런스(ASC)에서 화웨이가 AI 추론의 KV 캐시 병목을 줄이기 위한 저장장치·네트워크 협력 방안을 소개했다. 화웨이는 GLM-5.2를 활용한 실험에서 KV 캐시를 오프로딩한 뒤 추론 처리량이 기존 메모리 방식의 7.3배에 달했고, 저장장치와 네트워크의 I/O 스케줄링을 연계하자 효율이 20% 더 개선됐다고 밝혔다. 다만 회사는 전체 시험 구성을 공개하지 않았다.5
8
KV 캐시가 인프라 과제가 된 이유
대규모 언어 모델은 토큰을 처리하면서 어텐션 계산에 필요한 Key와 Value 데이터를 만든다. KV 캐시는 이미 계산한 이 데이터를 저장해 이후 토큰을 생성할 때 재사용함으로써 같은 계산을 반복하지 않도록 돕는다.47
48
문맥이 길어질수록 요청 하나에 딸린 캐시가 커진다. 여러 차례 이어지는 대화에서는 이전 대화의 상태를 보관하거나 다시 불러와야 할 수도 있다. 요청과 캐시가 클러스터 여러 노드에 분산되면 연산 장치와 저장장치, 네트워크 사이에서 데이터를 옮기는 일이 늘어 메모리와 네트워크에 부담을 줄 수 있다. 화웨이는 요청별 캐시와 상주 캐시, 노드 간 트래픽이 함께 늘면서 추론 클러스터의 KV 캐시 총량이 페타바이트급으로 커질 수 있다고 설명했다.5
화웨이는 이 과정에서 생기는 제약을 세 가지 ‘장벽’으로 묶었다. 연산 측의 제한적인 I/O 성능, 계층 간 데이터 이동에 따르는 지연, 많은 캐시 작업을 효율적으로 처리하기에 부족한 IOPS(초당 입출력 횟수)다.5
연산·저장·네트워크를 함께 다루는 접근
화웨이가 제시한 방향은 KV 캐시 문제를 단순한 메모리 용량 부족으로만 보지 않고, 가속기와 저장장치, 네트워크의 협력으로 풀려는 것이다. 콘퍼런스 관련 보도에 따르면 연산 측에서는 프로세서가 캐시 I/O를 직접 시작하는 경로를 설명했다. AI CPU와 벡터 코어를 통한 접근에서 더 세밀한 SIMT 수준의 I/O로 이어지는 구상도 포함됐다. 저장장치와 네트워크의 협력 역시 전체 설계의 일부로 제시됐다.5
화웨이가 공개한 성능 수치는 두 단계와 연결된다. 먼저 KV 캐시를 오프로딩했고, 여기에 저장장치·네트워크 협력 I/O 스케줄링을 추가했다. 다만 현재 확인 가능한 콘퍼런스 보도만으로는 각 구현 요소를 모두 검증하기 어렵고, 특정 Hyper-Converged Fabric(HCF) 스케줄링 구성이 성능 향상을 만들어냈다고 단정하기도 어렵다. 따라서 수치는 화웨이가 설명한 실험실 시나리오의 결과로 보는 것이 적절하며, 완전한 공개 아키텍처 사양으로 해석해서는 안 된다.5
7
공개된 수치와 아직 알 수 없는 점
화웨이는 GLM-5.2 실험에서 KV 캐시를 직접 오프로딩하자 기존 메모리 기반 방식보다 추론 처리량이 7.3배 높아졌다고 밝혔다. 저장장치와 네트워크의 I/O 스케줄링을 연계한 뒤에는 추론 효율이 20% 추가 개선됐다고 덧붙였다.5
이 수치는 신중하게 받아들일 필요가 있다. 화웨이가 전체 시험 구성을 공개하지 않아 어떤 작업 부하와 기준선에서 비교했는지, 설계 요소별로 성능에 얼마나 기여했는지 외부에서 평가하기 어렵다. 저장장치 I/O 성능이 30% 넘게 높아졌다는 별도 주장은 확인 가능한 콘퍼런스 보도에서 뒷받침되지 않아 여기서는 검증된 수치로 다루지 않는다.5
7
9월에 공개한 방향에 10월 실험 수치를 더하다
이번 10월 발표에 앞서 화웨이는 9월 HUAWEI CONNECT에서 업그레이드된 Stellar AI Fabric을 소개했다. 당시 화웨이는 AI 추론용 OceanStor M900 Context Memory Storage도 공개했다. 이 제품은 온칩 메모리와 DRAM을 넘어 KV 캐시를 공유·계층화된 저장 공간으로 확장하는 것을 목표로 한다.10
15
16
따라서 10월 발표의 의미는 화웨이가 추진해 온 저장장치·네트워크 방향에 KV 캐시 오프로딩 관련 성능 수치를 더했다는 데 있다. 다만 확인 가능한 자료만으로는 10월에 언급된 모든 기술 요소가 9월 설계와 완전히 동일했다고 볼 수 없다. 10월 콘퍼런스에서 별도의 신제품이 출시됐다는 근거도 없다.5
10
16
Studio Global AI
연구를 계속하세요
이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.
사람들은 또한 묻습니다.
"화웨이가 겨냥한 AI 추론의 병목, KV 캐시 이동"에 대한 짧은 대답은 무엇입니까?
화웨이는 2026년 10월 상하이 첨단 스토리지 콘퍼런스에서 GLM 5.2 실험 시나리오의 KV 캐시 오프로딩으로 추론 처리량이 7.3배가 됐으며, 저장장치와 네트워크의 I/O 협력 스케줄링을 더하자 효율이 20% 추가 개선됐다고 밝혔다.
먼저 검증할 핵심 포인트는 무엇인가요?
화웨이는 2026년 10월 상하이 첨단 스토리지 콘퍼런스에서 GLM 5.2 실험 시나리오의 KV 캐시 오프로딩으로 추론 처리량이 7.3배가 됐으며, 저장장치와 네트워크의 I/O 협력 스케줄링을 더하자 효율이 20% 추가 개선됐다고 밝혔다. KV 캐시는 모델이 계산한 어텐션의 Key·Value 데이터를 저장해 다음 토큰 생성에 재사용하는 기술이다. 긴 문맥과 여러 차례 이어지는 대화는 요청별 캐시와 클러스터 내 상주 캐시를 늘리고, 노드 간 데이터 이동도 증가시킬 수 있다.
실무에서는 다음으로 무엇을 해야 합니까?
화웨이는 연산·저장·네트워크를 함께 다루는 접근을 제시했다. 다만 전체 시험 구성은 공개되지 않았고, 저장장치 I/O 성능이 30% 넘게 향상됐다는 별도 수치는 확인 가능한 자료로 뒷받침되지 않는다.