AnswersPublished15 sources
OceanStor M900: Daha fazla bağlama erişim, ama hız kazanımı henüz kanıtlanmış değil
Huawei’ye göre OceanStor M900, KV önbelleğini SuperPoD genelinde paylaşarak SSD’leri de kapsayan bir katman oluşturuyor; şirket küme başına 64 PB’ye kadar kapasite açıklıyor. NPU başına erişilebilir önbelleğin terabayt düzeyine çıkması, çip üzerindeki belleğin büyüdüğü anlamına gelmiyor: Söz konusu kapasite ortak ha...
YayımlayanGPT-6 Sol ile düzenlendiGörseller GPT Image 2 ile oluşturuldu
Research answer
Key takeaways
- Huawei’ye göre OceanStor M900, KV önbelleğini SuperPoD genelinde paylaşarak SSD’leri de kapsayan bir katman oluşturuyor; şirket küme başına 64 PB’ye kadar kapasite açıklıyor.
- NPU başına erişilebilir önbelleğin terabayt düzeyine çıkması, çip üzerindeki belleğin büyüdüğü anlamına gelmiyor: Söz konusu kapasite ortak havuzdan geliyor.
- 60 mikrosaniye erişim gecikmesi ve iki kat token üretim hızı gibi sonuçlar Huawei’nin belirli koşullardaki iddiaları; bağımsız testlerle doğrulanmış genel kazanımlar değil.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does Huawei’s OceanStor M900 AI memory storage address the KV Cache memory wall in hyperscale, long-context and agentic inference SuperP. Article summary: Huawei positions OceanStor M900 as a shared, SSD-backed **KV-cache tier** for SuperPoD inference, not as a replacement for the NPU’s fast memory. Its aim is to keep and reuse more context across long-running and agentic . Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Uzun belgelerle çalışan veya birden fazla adımda işlem yapan yapay zekâ sistemleri, önceki işlemlerden kalan bilgileri yeniden kullanmak için anahtar-değer (KV) önbelleğine ihtiyaç duyar. Bu önbellek büyüdükçe, bir SuperPoD’daki işlemcilerin yakınındaki hızlı bellek yeterli gelmeyebilir. Huawei’nin OceanStor M900 ile önerdiği çözüm, KV önbelleğine SSD tabanlı, paylaşımlı bir katman eklemek. Amaç daha fazla bağlamı saklayıp yeniden kullanmak; SSD’leri NPU’nun en hızlı belleğinin yerine koymak değil. 8
10
12
64 PB neyi ifade ediyor?
Huawei’ye göre Lingqu (UnifiedBus) bağlantısı, KV önbelleğini SuperPoD genelinde ortak bir havuzda topluyor ve çip üzerindeki bellek, DRAM ile SSD’ler arasında katmanlandırıyor. Şirket küme başına 64 PB’ye kadar kapasite ve her NPU’nun erişebildiği KV önbelleğinde gigabayttan terabayt düzeyine çıkış bildiriyor. Buradaki kritik ayrım şu: Terabaytlarca önbellek her NPU’nun çipine eklenmiyor; NPU’lar paylaşılan, katmanlı kapasiteye erişebiliyor. 8
10
Bu nedenle M900 yeni bir hesaplama çipi değil, yapay zekâ çıkarımı sırasında kullanılan bağlam verisine odaklanan bir depolama sistemi. Hesaplamayı yapan NPU’ları tamamlıyor ve ortak erişim için bağlantı altyapısına dayanıyor. Huawei ürünü özellikle çok adımlı, uzun bağlamlı iş yükleri için konumlandırırken sektör haberciliği Atlas 960 SuperPoD’ları hedef kullanım alanı olarak gösteriyor. 12
6
Gecikme ve hız konusunda ne vaat ediliyor?
Huawei, CPU, ağ denetleyicisi ve NAND denetleyicisi işlevlerini birleştiren tasarımın NPU’dan SSD’ye tek atlamalı erişim sağladığını söylüyor. Şirkete göre CPU üzerinden veri aktarımı ve protokol dönüşümü gereksinimini azaltan bu yol, erişim gecikmesini %90 düşürerek 60 mikrosaniyeye indiriyor. Huawei ayrıca küme genelinde toplam 40 TB/s bant genişliği bildiriyor; bu, kendi karşılaştırmasındaki çözümün 1,5 katı. Rakam tek bir NPU’ya garanti edilen bant genişliği olarak okunmamalı. 8
Şirket, “tipik bir yapay zekâ programlama” senaryosunda çıkarım kümesinin token üretim hızının iki katına çıktığını, ilk token’ın gelme süresinin yarıya indiğini belirtiyor. Bu sonuçlar her uzun bağlamlı isteğin aynı ölçüde hızlanacağını göstermiyor. 8
14
SSD ömrü ve maliyette açık kalan sorular
Huawei’ye göre KV-Aware zamanlama, önbellek verisinin ne kadar süre yararlı kalacağını tahmin ederek verinin farklı depolama ortamlarına yerleştirilmesini yönetiyor. Şirket günde 24 tam sürücü yazımına kadar destek, SSD ortamında 16 kat daha uzun ömür ve üç yıllık istikrarlı çalışma iddia ediyor. Daha az sürücü değişimi ve bakımın işletme maliyetlerini düşürebileceğini savunsa da mevcut kaynaklar token başına maliyette ölçülmüş bir tasarruf ortaya koymuyor. 8
Daha fazla önbelleğe erişebilmek, çıkarımın her koşulda daha hızlı ve ucuz olacağının kanıtı değil. Bağımsız testlerin gerçek iş yüklerinde kullanılabilir kapasiteyi ve önbellek isabet oranını; sistem yoğun yük altındayken gecikmeyi ve sürdürülebilir bant genişliğini; belirtilmiş bir karşılaştırma noktasına göre token kazanımlarını; ayrıca zaman içindeki SSD yıpranmasını ve toplam maliyeti ölçmesi gerekiyor. Mevcut üçüncü taraf haberleri Huawei’nin rakamlarını aktarıyor, ancak bu sonuçları bağımsız ölçümlerle doğrulamıyor. 6
14
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "OceanStor M900: Daha fazla bağlama erişim, ama hız kazanımı henüz kanıtlanmış değil"?
Huawei’ye göre OceanStor M900, KV önbelleğini SuperPoD genelinde paylaşarak SSD’leri de kapsayan bir katman oluşturuyor; şirket küme başına 64 PB’ye kadar kapasite açıklıyor.
What are the key points to validate first?
Huawei’ye göre OceanStor M900, KV önbelleğini SuperPoD genelinde paylaşarak SSD’leri de kapsayan bir katman oluşturuyor; şirket küme başına 64 PB’ye kadar kapasite açıklıyor. NPU başına erişilebilir önbelleğin terabayt düzeyine çıkması, çip üzerindeki belleğin büyüdüğü anlamına gelmiyor: Söz konusu kapasite ortak havuzdan geliyor.
What should I do next in practice?
60 mikrosaniye erişim gecikmesi ve iki kat token üretim hızı gibi sonuçlar Huawei’nin belirli koşullardaki iddiaları; bağımsız testlerle doğrulanmış genel kazanımlar değil.