Câu trả lờiĐã xuất bản18 nguồn
Huawei tuyên bố tăng 7,3 lần thông lượng suy luận AI nhờ chuyển KV Cache sang lưu trữ
Tại Hội nghị Lưu trữ Tiên tiến ngày 22/10/2026, Huawei báo cáo thông lượng suy luận cao gấp 7,3 lần trong một thử nghiệm GLM 5.2 sau khi chuyển KV Cache khỏi bộ nhớ truyền thống; phối hợp I/O lưu trữ và mạng giúp hiệu... KV Cache lưu các dữ liệu Key và Value đã tính toán để mô hình tái sử dụng.
Đăng bởiBiên tập bằng GPT-6 LunaHình ảnh được tạo bằng GPT Image 2
Câu trả lời nghiên cứu
Bài học chính
- Tại Hội nghị Lưu trữ Tiên tiến ngày 22/10/2026, Huawei báo cáo thông lượng suy luận cao gấp 7,3 lần trong một thử nghiệm GLM 5.2 sau khi chuyển KV Cache khỏi bộ nhớ truyền thống; phối hợp I/O lưu trữ và mạng giúp hiệu...
- KV Cache lưu các dữ liệu Key và Value đã tính toán để mô hình tái sử dụng. Ngữ cảnh dài và hội thoại nhiều lượt khiến lượng cache trên mỗi yêu cầu, tổng cache lưu giữ và lưu lượng giữa các nút trong cụm cùng tăng.[5][...
- Huawei mô tả hướng tiếp cận phối hợp tính toán, lưu trữ và mạng. Các con số là kết quả do công ty công bố; cấu hình thử nghiệm đầy đủ chưa được tiết lộ.[5][7]
Prompt AI
openai.comCreate a landscape editorial hero image for this Studio Global article: What storage-network convergence approach did Huawei present at the ODCC-organized Advanced Storage Conference in Shanghai on October 22, 20. Article summary: Huawei presented storage–network convergence as a way to reduce the cost of moving KV Cache between compute, storage, and network during agentic AI inference at the October 22, 2026 ASC session in Shanghai; ODCC organize. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Tại Hội nghị Lưu trữ Tiên tiến (Advanced Storage Conference, ASC) diễn ra ở Thượng Hải ngày 22/10/2026, Huawei trình bày cách phối hợp lưu trữ và mạng nhằm giảm áp lực từ KV Cache trong quá trình suy luận AI. Công ty cho biết một thử nghiệm với mô hình GLM-5.2 đạt thông lượng suy luận cao gấp 7,3 lần sau khi chuyển KV Cache khỏi phương án dựa trên bộ nhớ truyền thống; khi bổ sung cơ chế điều phối I/O giữa lưu trữ và mạng, hiệu quả suy luận tăng thêm 20%. Đây là kết quả do Huawei công bố và hãng chưa tiết lộ đầy đủ cấu hình thử nghiệm.5
8
Vì sao KV Cache trở thành bài toán hạ tầng?
Trong lúc mô hình tạo câu trả lời, nó tính toán các dữ liệu Key và Value. KV Cache lưu lại những dữ liệu này để mô hình có thể dùng lại ở các bước sinh token tiếp theo, thay vì phải tính lại từ đầu.47
48
Khi ngữ cảnh dài hơn, lượng cache cần cho mỗi yêu cầu cũng tăng. Với hội thoại nhiều lượt, hệ thống có thể cần giữ hoặc tái sử dụng trạng thái của các lượt trước. Khi yêu cầu và dữ liệu cache phân bố trên nhiều nút trong một cụm, việc luân chuyển dữ liệu giữa tài nguyên tính toán, lưu trữ và mạng làm tăng lưu lượng, đồng thời gây áp lực lên bộ nhớ khả dụng. Theo nội dung được trình bày tại sự kiện, Huawei cho rằng quy mô cache trên mỗi yêu cầu, lượng cache lưu giữ và lưu lượng giữa các nút cộng lại có thể đẩy KV Cache của cả cụm lên mức petabyte.5
Huawei gọi các giới hạn liên quan là ba “bức tường”: năng lực I/O hạn chế ở phía tính toán, độ trễ khi dữ liệu di chuyển giữa các lớp hạ tầng và số lượng thao tác I/O mỗi giây (IOPS) chưa đủ để xử lý hiệu quả nhiều yêu cầu cache.5
Phối hợp tính toán, lưu trữ và mạng
Thay vì xem KV Cache chỉ là bài toán thiếu dung lượng bộ nhớ, Huawei mô tả một hướng tiếp cận bao trùm bộ tăng tốc, hệ thống lưu trữ và mạng. Theo nội dung về sự kiện, ở phía tính toán, bộ xử lý có thể trực tiếp khởi tạo các thao tác I/O với cache; lộ trình được mô tả đi từ truy cập bằng AI CPU và lõi vector đến I/O chi tiết ở cấp SIMT. Phối hợp lưu trữ và mạng cũng là một phần của thiết kế tổng thể.5
Các mức tăng hiệu năng được gắn với hai bước: chuyển trực tiếp KV Cache khỏi bộ nhớ, sau đó bổ sung điều phối I/O giữa lưu trữ và mạng. Tuy nhiên, các thông tin công khai về sự kiện chưa đủ để xác minh toàn bộ chi tiết triển khai hoặc xác định một cấu hình điều phối Hyper-Converged Fabric (HCF) cụ thể có tạo ra mức tăng được công bố hay không. Vì vậy, nên xem đây là kết quả trong kịch bản thử nghiệm Huawei mô tả, chứ chưa phải tài liệu đặc tả kiến trúc đầy đủ.5
7
Huawei công bố gì, còn thiếu thông tin gì?
Trong thử nghiệm phòng lab với GLM-5.2, Huawei cho biết việc chuyển KV Cache trực tiếp giúp thông lượng suy luận đạt mức cao gấp 7,3 lần so với phương án bộ nhớ truyền thống. Khi bổ sung điều phối I/O giữa lưu trữ và mạng, hãng báo cáo hiệu quả suy luận tăng thêm 20%.5
Các con số này cần được nhìn nhận thận trọng. Huawei chưa công bố đầy đủ cấu hình kiểm thử, nên bên ngoài khó đánh giá chính xác loại tác vụ, phương án đối chứng và mức đóng góp của từng thành phần trong thiết kế. Những thông tin hiện có cũng chưa xác thực riêng tuyên bố hiệu năng I/O lưu trữ tăng hơn 30%; vì thế không thể xem con số đó là đã được kiểm chứng trong bài viết này.5
7
Bổ sung số liệu cho hướng đi đã được giới thiệu trước đó
Buổi trình bày tháng 10 diễn ra sau khi Huawei công bố bản nâng cấp Stellar AI Fabric tại HUAWEI CONNECT hồi tháng 9. Các thông tin về hội nghị tháng 10 tập trung vào số liệu thử nghiệm chuyển KV Cache; trong khi đó, tài liệu tháng 9 của Huawei cũng giới thiệu OceanStor M900 Context Memory Storage, thiết kế để mở rộng KV Cache vượt ra ngoài bộ nhớ trên chip và DRAM, thành một vùng lưu trữ phân tầng, dùng chung cho suy luận AI.10
15
16
Điểm cần phân biệt là các kết quả tháng 10 bổ sung tuyên bố hiệu năng cho định hướng lưu trữ và mạng Huawei đã theo đuổi, nhưng các nguồn hiện có không xác nhận mọi chi tiết kỹ thuật được nêu trong hai dịp hoàn toàn giống nhau. Tài liệu cũng không cho thấy Huawei ra mắt một sản phẩm mới riêng tại hội nghị tháng 10.5
10
16
Studio Global AI
Tiếp tục nghiên cứu của bạn
Trang này bao gồm câu trả lời dựa trên nguồn mà bạn có thể tiếp tục bên trong Studio Global.
Người ta cũng hỏi
Câu trả lời ngắn gọn cho "Huawei tuyên bố tăng 7,3 lần thông lượng suy luận AI nhờ chuyển KV Cache sang lưu trữ" là gì?
Tại Hội nghị Lưu trữ Tiên tiến ngày 22/10/2026, Huawei báo cáo thông lượng suy luận cao gấp 7,3 lần trong một thử nghiệm GLM 5.2 sau khi chuyển KV Cache khỏi bộ nhớ truyền thống; phối hợp I/O lưu trữ và mạng giúp hiệu...
Những điểm chính cần xác nhận đầu tiên là gì?
Tại Hội nghị Lưu trữ Tiên tiến ngày 22/10/2026, Huawei báo cáo thông lượng suy luận cao gấp 7,3 lần trong một thử nghiệm GLM 5.2 sau khi chuyển KV Cache khỏi bộ nhớ truyền thống; phối hợp I/O lưu trữ và mạng giúp hiệu... KV Cache lưu các dữ liệu Key và Value đã tính toán để mô hình tái sử dụng. Ngữ cảnh dài và hội thoại nhiều lượt khiến lượng cache trên mỗi yêu cầu, tổng cache lưu giữ và lưu lượng giữa các nút trong cụm cùng tăng.[5][...
Tôi nên làm gì tiếp theo trong thực tế?
Huawei mô tả hướng tiếp cận phối hợp tính toán, lưu trữ và mạng. Các con số là kết quả do công ty công bố; cấu hình thử nghiệm đầy đủ chưa được tiết lộ.[5][7]