OceanStor M900: So funktioniert Huaweis gemeinsamer KV-Cache

Huawei hat OceanStor M900 auf der HUAWEI CONNECT 2026 vorgestellt. Das Speichersystem soll KI-Modellen in SuperPoD-Clustern mehr bereits berechneten Kontext zur Wiederverwendung bereitstellen – besonders bei langen Eingaben und mehrstufigen Agentenabläufen. 19

Warum ein geteilter Cache hilft

Bei der KI-Inferenz speichert ein Key-Value-Cache, kurz KV-Cache, Zwischenergebnisse aus der Verarbeitung einer Eingabe. Beginnt eine neue Anfrage mit einem passenden, schon berechneten Abschnitt, muss das System diesen Teil nicht erneut verarbeiten. Je länger Eingaben und Gespräche werden, desto schwieriger ist es allerdings, den nützlichen Cache vollständig im Speicher nahe der KI-Recheneinheit unterzubringen. Huawei will ihn deshalb über mehrere NPUs – spezialisierte Prozessoren für KI-Berechnungen – hinweg nutzbar machen. 136

64 PB – aber nicht in einem Prozessor

Über Huaweis Verbindungsnetz UnifiedBus soll OceanStor M900 KV-Daten aus dem Speicher auf dem Chip, dem Arbeitsspeicher (DRAM) und SSDs zu einem gemeinsam nutzbaren, mehrstufigen Cache verbinden. Huawei nennt 64 PB Kapazität für einen Cluster; die pro NPU zugängliche Cache-Kapazität soll damit von Gigabyte- auf Terabyte-Größenordnungen steigen. Die 64 PB bezeichnen also gemeinsamen Speicher im Cluster, nicht Speicher innerhalb einer einzelnen NPU. Ob die zusätzliche Kapazität Berechnungen spart, hängt davon ab, wie oft Anfragen tatsächlich zwischengespeicherte Abschnitte wiederverwenden können. 3617

Damit auch die SSD-Ebene für die Inferenz schnell genug erreichbar ist, beschreibt Huawei einen Zugriffspfad mit nur einem Netzwerkschritt zwischen NPU und SSD. Die Architektur bündelt Funktionen von CPU, Netzwerk- und NAND-Controller und soll dadurch herkömmliche Protokollumwandlungen und die Weiterleitung über die CPU umgehen. Genannt werden rund 60 Mikrosekunden Zugriffszeit und 40 TB/s aggregierte Bandbreite pro Cluster. Das sind Angaben zur Architektur beziehungsweise zum Gesamtsystem – keine Zusage für jeden einzelnen Cache-Zugriff. 362832

Leistung und Kosten: bislang Herstellerangaben

Kann eine Anfrage bereits berechneten Kontext nutzen, könnte sie schneller ihr erstes Ausgabetoken liefern; weniger wiederholte Berechnung könnte zugleich die gesamte Token-Produktion erhöhen. Für ein typisches KI-Programmierszenario meldet Huawei doppelten Token-Durchsatz des Inferenz-Clusters und eine halbierte Zeit bis zum ersten Token. Daraus lässt sich kein allgemeiner Leistungsgewinn für andere Arbeitslasten ableiten. 2833

Eine KV-bewusste Datenplatzierung soll steuern, wie lange Cache-Daten auf den jeweiligen Speichermedien bleiben. Huawei nennt für die SSDs bis zu 24 vollständige Laufwerksbeschreibungen pro Tag (DWPD), eine 16-fach höhere Lebensdauer und das Ziel eines dreijährigen stabilen Betriebs. Weniger Neuberechnungen und seltenerer Austausch von SSDs sollen die Kosten je erzeugtem Token senken. Die bereitgestellten Quellen belegen diese Leistungs-, Lebensdauer- und Kostenvorteile für produktive SuperPoDs jedoch nicht unabhängig. 6833