Huawei OceanStor M900: jak działa współdzielona pamięć podręczna KV

Huawei przedstawił OceanStor M900 podczas HUAWEI CONNECT 2026 jako system przechowywania kontekstu dla klastrów SuperPoD obsługujących wnioskowanie AI, czyli generowanie odpowiedzi przez model. Jego zadaniem jest udostępnianie wcześniej obliczonych danych większej liczbie akceleratorów, gdy rozmowy z AI i zadania wykonywane przez agentów stają się dłuższe. 19

Po co współdzielić pamięć podręczną KV?

Pamięć podręczna kluczy i wartości — KV cache — przechowuje wyniki obliczeń powstające podczas przetwarzania tekstu wejściowego. Jeśli kolejne żądanie może wykorzystać zapisany wcześniej fragment, system nie musi obliczać go od nowa. Przy długich kontekstach taka pamięć zajmuje jednak coraz więcej miejsca, a pojemność dostępna bezpośrednio przy akceleratorze NPU, czyli układzie do obliczeń AI, jest ograniczona. M900 ma pozwolić akceleratorom w SuperPoD korzystać ze wspólnej puli danych. Korzyść zależy od tego, ile wcześniejszych obliczeń rzeczywiście da się ponownie wykorzystać. 136

Skąd bierze się 64 PB?

Sieć UnifiedBus łączy w projekcie Huawei kilka poziomów przechowywania danych: pamięć na układzie, DRAM oraz SSD. Według firmy jeden klaster może pomieścić 64 PB pamięci podręcznej KV, a pojemność dostępna dla pojedynczego NPU rośnie z poziomu gigabajtów do terabajtów. 64 PB to pojemność współdzielonego klastra, nie pamięć wbudowana w jeden akcelerator. Większa pula może umożliwić zachowanie i ponowne użycie większej ilości kontekstu. 3617

Aby dostęp do danych na SSD był przydatny podczas generowania odpowiedzi, Huawei opisuje połączenie NPU z dyskami w jednym kroku sieciowym. Konstrukcja integruje funkcje procesora, kontrolera sieciowego i kontrolera pamięci NAND, ograniczając część etapów przekazywania danych i konwersji protokołów. Producent podaje opóźnienie dostępu wynoszące około 60 mikrosekund oraz 40 TB/s łącznej przepustowości klastra. To parametry deklarowane dla architektury i całego systemu, a nie gwarantowana szybkość każdego odczytu. 362832

Szybsze odpowiedzi i niższe koszty? Warunek jest istotny

Jeżeli żądanie wykorzysta zapisane wcześniej obliczenia, pierwszy wygenerowany token może pojawić się szybciej, a mniejsza ilość powtarzanej pracy może zwiększyć wydajność klastra. Huawei twierdzi, że w typowym scenariuszu pracy z kodem przepustowość generowania tokenów wzrosła dwukrotnie, a czas do pierwszego tokena skrócił się o połowę. Nie należy przenosić tych wyników na każde zastosowanie AI. 2833

System ma też dobierać nośnik do przewidywanego czasu przydatności danych KV. Huawei podaje wytrzymałość SSD sięgającą 24 pełnych zapisów dysku dziennie, 16-krotne wydłużenie żywotności oraz cel stabilnej pracy przez trzy lata. Mniej ponownych obliczeń i rzadsza wymiana nośników mają obniżyć koszt generowania tokenów. Dostępne materiały nie potwierdzają jednak niezależnymi pomiarami tych korzyści, trwałości ani kosztów w działających produkcyjnie klastrach SuperPoD. 6833