OceanStor M900’un ortak KV önbelleği nasıl çalışıyor?

HUAWEI CONNECT 2026’da tanıtılan OceanStor M900, Huawei’nin SuperPoD adı verdiği büyük ölçekli yapay zekâ sistemleri için geliştirdiği bir bağlam depolama çözümü. Amaç, istemler, konuşmalar ve yapay zekâ ajanlarının çok adımlı işleri uzadıkça, daha önce hesaplanmış bağlamı hızlandırıcılar arasında yeniden kullanılabilir tutmak. 19

KV önbelleğini neden paylaşmak gerekiyor?

Anahtar-değer (KV) önbelleği, modelin bir istemi işlerken yaptığı bazı hesaplamaların sonuçlarını saklar. Yeni bir isteğin başlangıç bölümü önbellekteki uygun bir bölümle eşleşirse sistemin o kısmı yeniden hesaplaması gerekmeyebilir. Ancak uzun bağlamlar ve tekrarlanan ajan etkileşimleri, önbelleğin yapay zekâ işlemlerini yürüten NPU’nun (sinir ağı işlem birimi) yakınındaki belleğe sığmasını zorlaştırır. Huawei, M900’ü bu önbelleği SuperPoD genelinde büyütüp paylaşmanın yolu olarak konumlandırıyor. 136

64 PB neyi ifade ediyor?

M900, Huawei’nin UnifiedBus bağlantı ağı üzerinden çip üzerindeki bellek, DRAM ve SSD’leri çok katmanlı bir KV önbelleğinde bir araya getiriyor. Şirkete göre tek bir küme 64 PB KV önbelleği kapasitesi sunabiliyor; bir NPU’nun erişebildiği önbellek de gigabayt düzeyinden terabayt düzeyine çıkıyor. Buradaki 64 PB, tek bir NPU’nun içindeki bellek değil, küme genelinde paylaşılan kapasite. Daha çok bağlamın saklanması, ancak istekler gerçekten yeniden kullanılabilir bölümler içeriyorsa fayda sağlayabilir. 3617

SSD katmanına erişimi hızlandırmak için Huawei, SuperPoD içindeki NPU ile SSD arasında tek atlamalı bir yol tarif ediyor. Tasarım; CPU, ağ denetleyicisi ve NAND denetleyicisi işlevlerini birleştirerek bazı geleneksel protokol dönüştürme ve CPU üzerinden yönlendirme adımlarını ortadan kaldırmayı hedefliyor. Şirket yaklaşık 60 mikrosaniye erişim gecikmesi ve küme genelinde toplam 40 TB/s bant genişliği bildiriyor. Bunlar her istekte elde edileceği garanti edilen hızlar değil, açıklanan mimari ve sistem rakamları. 362832

Yanıt hızı ve maliyet iddiasının sınırı

Önbellekteki hesaplamalar yeniden kullanılabilirse ilk yanıt parçasının, yani ilk token’ın, üretilmesine kadar geçen süre kısalabilir. Tekrarlanan hesaplamaların azalması toplam token üretim kapasitesini de artırabilir. Huawei, tipik bir yapay zekâ destekli kodlama senaryosunda çıkarım kümesinin token üretim hızının iki katına çıktığını, ilk token’a kadar geçen sürenin yarıya indiğini söylüyor. Bu senaryoya özgü sonuçlar, tüm iş yükleri için geçerli bir performans vaadi olarak okunmamalı. 2833

Şirket ayrıca KV önbelleği verilerinin farklı depolama ortamlarında ne kadar tutulacağını yöneten, önbelleğin kullanımına duyarlı bir yerleştirme yaklaşımı anlatıyor. Huawei’nin verdiği rakamlar arasında SSD’ler için günde 24 tam sürücü yazımına kadar dayanıklılık, 16 kat kullanım ömrü artışı ve üç yıllık kararlılık hedefi var. Hedef, daha az yeniden hesaplama ve daha az depolama birimi değişimiyle token başına çıkarım maliyetini düşürmek. Ancak sunulan kaynaklar, bu performans, kullanım ömrü ve maliyet sonuçlarının üretimdeki SuperPoD sistemlerinde bağımsız olarak doğrulandığını göstermiyor. 6833