OceanStor M900: perché Huawei porta la cache dell’IA dagli acceleratori agli SSD

Presentato a HUAWEI CONNECT 2026, OceanStor M900 è il sistema di archiviazione del contesto che Huawei propone per l’inferenza IA nei suoi SuperPoD, cluster di acceleratori progettati per lavorare insieme. L’obiettivo è mantenere disponibile più contesto riutilizzabile quando le richieste diventano lunghe e gli agenti IA affrontano interazioni ripetute. 19

A cosa serve una cache KV condivisa

La cache key–value (KV) conserva risultati calcolati dal modello durante l’elaborazione di un prompt. Se una nuova richiesta può riutilizzare una parte iniziale già elaborata, il sistema evita di calcolarla di nuovo. Con contesti lunghi e conversazioni a più passaggi, questa possibilità diventa più utile, ma la cache è anche più difficile da contenere nella memoria vicina a ogni NPU, l’acceleratore impiegato per l’inferenza. M900 punta a renderla accessibile e condivisibile nell’intero SuperPoD. 136

Dove stanno i 64 PB

Attraverso la rete UnifiedBus, Huawei organizza la cache KV su più livelli: memoria sul chip, DRAM e SSD. Secondo l’azienda, un singolo cluster può offrire 64 PB di capacità e portare la cache accessibile a una NPU dall’ordine dei gigabyte a quello dei terabyte. I 64 PB riguardano il cluster condiviso, non la memoria interna di una singola NPU. Conservare più contesto può aumentare le occasioni di riutilizzo, ma il vantaggio effettivo dipende da quante richieste condividono parti già presenti nella cache. 3617

Per rendere utile anche il livello SSD durante l’inferenza, Huawei descrive un percorso di accesso in un solo passaggio tra la NPU del SuperPoD e gli SSD. Il progetto integra funzioni di CPU, controller di rete e controller NAND per evitare alcuni passaggi di conversione del protocollo e inoltro tramite CPU. L’azienda dichiara una latenza d’accesso di circa 60 microsecondi e 40 TB/s di banda aggregata per cluster: sono dati riferiti all’architettura e al sistema, non una promessa sulla velocità di ogni singolo accesso. 362832

Risposte più rapide e costi: che cosa è dimostrato

Quando una richiesta trova nella cache una parte del lavoro già svolto, il primo token della risposta può arrivare prima; evitare calcoli ripetuti può anche liberare capacità per generare più token. Huawei afferma che, in un tipico scenario di programmazione assistita dall’IA, l’architettura ha raddoppiato il numero di token prodotti dal cluster nell’unità di tempo e dimezzato il tempo al primo token. Sono risultati riferiti a quello scenario, non incrementi validi per ogni applicazione. 2833

Huawei descrive inoltre un sistema di collocazione dei dati consapevole della cache KV, che gestisce per quanto tempo mantenerli sui diversi supporti. Indica per gli SSD una resistenza fino a 24 riscritture complete dell’unità al giorno, un miglioramento della durata di 16 volte e un obiettivo di stabilità di tre anni. La logica economica è ridurre sia i calcoli ripetuti sia la sostituzione delle unità, abbassando il costo per token. Le fonti disponibili, tuttavia, non verificano in modo indipendente questi risultati di prestazione, durata o costo su SuperPoD in produzione. 6833