Câu trả lờiĐã xuất bản13 nguồn
Bộ nhớ đệm KV của Supermicro, IBM và NVIDIA: Hiểu đúng tuyên bố nhanh hơn 56 lần
Giải pháp lưu ngữ cảnh suy luận AI đã xử lý vào bộ nhớ dùng chung ngoài bộ nhớ GPU; thử nghiệm chung được công bố cho thấy thời gian tạo token đầu tiên nhanh hơn tới 56 lần với prompt 130.000 token.[5][13] Hệ thống kết hợp máy chủ lưu trữ all flash Supermicro Petascale dùng AMD EPYC 9005, IBM Storage Scale, NVIDIA D...
Đăng bởiBiên tập bằng GPT-6 LunaHình ảnh được tạo bằng GPT Image 2
Câu trả lời nghiên cứu
Bài học chính
- Giải pháp lưu ngữ cảnh suy luận AI đã xử lý vào bộ nhớ dùng chung ngoài bộ nhớ GPU; thử nghiệm chung được công bố cho thấy thời gian tạo token đầu tiên nhanh hơn tới 56 lần với prompt 130.000 token.[5][13]
- Hệ thống kết hợp máy chủ lưu trữ all flash Supermicro Petascale dùng AMD EPYC 9005, IBM Storage Scale, NVIDIA Dynamo và mạng Ethernet NVIDIA Spectrum X.[6]
- TTFT đo độ trễ trước khi câu trả lời bắt đầu, không phải tốc độ tạo toàn bộ câu trả lời.
Prompt AI
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Supermicro, IBM and NVIDIA announce on November 5, 2026, about a shared-flash AI key-value (KV) cache stored outside GPU memory; ho. Article summary: On November 5, 2026, Supermicro announced a joint KV-cache storage solution with IBM and NVIDIA that keeps reusable, previously computed AI context in shared storage beyond GPU memory.[5][7] The advertised up-to-56× gain. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Ngày 5/11/2026, Supermicro, IBM và NVIDIA công bố giải pháp lưu trữ bộ nhớ đệm key-value (KV) dùng chung cho suy luận AI. Ý tưởng là giữ lại ngữ cảnh đã được xử lý để hệ thống có thể dùng lại, thay vì tính toán lại từ đầu mỗi khi gặp nội dung quen thuộc.5
13
Điểm gây chú ý là tuyên bố thời gian tạo token đầu tiên (TTFT) nhanh hơn tới 56 lần trong thử nghiệm chung với prompt dài 130.000 token.5
13 Tuy nhiên, đây là con số về thời gian chờ trước khi AI bắt đầu trả lời — không có nghĩa toàn bộ câu trả lời được tạo nhanh hơn 56 lần.
Bốn thành phần trong giải pháp
Nền tảng kết hợp máy chủ lưu trữ all-flash Supermicro Petascale sử dụng bộ xử lý AMD EPYC 9005, phần mềm IBM Storage Scale, phần mềm suy luận NVIDIA Dynamo và mạng Ethernet NVIDIA Spectrum-X.6
Bộ nhớ đệm KV lưu các trạng thái trung gian được tạo ra khi mô hình xử lý ngữ cảnh. Đưa phần dữ liệu có thể tái sử dụng vào tầng lưu trữ dùng chung ngoài bộ nhớ GPU có thể giúp giảm việc lặp lại một phần tính toán, nhất là khi các yêu cầu cùng dựa trên chỉ dẫn, tài liệu hoặc lịch sử hội thoại đã xử lý trước đó.5
13
Thông tin công bố nêu các thành phần của hệ thống, nhưng chưa mô tả đầy đủ cách chuyển và điều phối dữ liệu đệm giữa các nút. Vì vậy, không nên suy rộng rằng mọi tác vụ hay mọi cấu hình đều sẽ hoạt động theo cùng một cách.
“Nhanh hơn 56 lần” đo điều gì?
TTFT là khoảng thời gian từ lúc hệ thống nhận yêu cầu đến khi tạo ra token đầu tiên trong câu trả lời. Theo thông tin về thử nghiệm chung, kết quả được ghi nhận với mô hình 120 tỷ tham số và prompt 130.000 token.5
13
TTFT thấp hơn có thể khiến người dùng thấy phản hồi bắt đầu sớm hơn, nhưng không cho biết tốc độ tạo các token tiếp theo hay thời gian hoàn tất toàn bộ câu trả lời. Kết quả của một bài thử nghiệm cũng không đảm bảo mức tăng tương tự với mọi mô hình, độ dài prompt hoặc cách triển khai.
Lợi ích phụ thuộc vào việc có dùng lại được dữ liệu hay không
Bộ nhớ đệm hữu ích nhất khi yêu cầu mới có thể tận dụng ngữ cảnh đã xử lý. Nếu nội dung hoàn toàn mới hoặc không tương thích với dữ liệu đang lưu, hệ thống vẫn phải xử lý phần đó. Vì thế, hiệu quả thực tế phụ thuộc vào tần suất tái sử dụng ngữ cảnh và cách hệ thống lưu trữ, truy xuất dữ liệu.
Với doanh nghiệp cân nhắc giải pháp này, câu hỏi không chỉ là “có bộ nhớ đệm hay không”, mà còn là khối lượng công việc có thường xuyên dùng lại ngữ cảnh hay không — và lợi ích đó có cải thiện đúng chỉ số họ cần, chẳng hạn thời gian bắt đầu phản hồi hoặc thông lượng. Con số 56 lần là kết quả thử nghiệm do các công ty công bố, không phải cam kết hiệu năng cho mọi môi trường.5
13
Studio Global AI
Tiếp tục nghiên cứu của bạn
Trang này bao gồm câu trả lời dựa trên nguồn mà bạn có thể tiếp tục bên trong Studio Global.
Người ta cũng hỏi
Câu trả lời ngắn gọn cho "Bộ nhớ đệm KV của Supermicro, IBM và NVIDIA: Hiểu đúng tuyên bố nhanh hơn 56 lần" là gì?
Giải pháp lưu ngữ cảnh suy luận AI đã xử lý vào bộ nhớ dùng chung ngoài bộ nhớ GPU; thử nghiệm chung được công bố cho thấy thời gian tạo token đầu tiên nhanh hơn tới 56 lần với prompt 130.000 token.[5][13]
Những điểm chính cần xác nhận đầu tiên là gì?
Giải pháp lưu ngữ cảnh suy luận AI đã xử lý vào bộ nhớ dùng chung ngoài bộ nhớ GPU; thử nghiệm chung được công bố cho thấy thời gian tạo token đầu tiên nhanh hơn tới 56 lần với prompt 130.000 token.[5][13] Hệ thống kết hợp máy chủ lưu trữ all flash Supermicro Petascale dùng AMD EPYC 9005, IBM Storage Scale, NVIDIA Dynamo và mạng Ethernet NVIDIA Spectrum X.[6]
Tôi nên làm gì tiếp theo trong thực tế?
TTFT đo độ trễ trước khi câu trả lời bắt đầu, không phải tốc độ tạo toàn bộ câu trả lời.