Jak OceanStor M900 ma przełamać ograniczenia pamięci podręcznej modeli AI

Gdy model AI analizuje długi dokument albo agent wykonuje zadanie w wielu krokach, warto zachować wyniki wcześniejszych obliczeń. Służy do tego pamięć podręczna KV — zapisane dane, do których model może wrócić podczas generowania kolejnych fragmentów odpowiedzi. Problem pojawia się wtedy, gdy kontekstu jest więcej, niż mieści szybka pamięć blisko procesorów. Huawei proponuje w OceanStor M900 dodatkową, współdzieloną warstwę opartą na SSD. Nie przedstawia jej jako zamiennika najbliższej procesorowi pamięci, lecz jako sposób na przechowanie i ponowne wykorzystanie większej ilości kontekstu. 81012

Co właściwie oznacza 64 PB?

Według Huawei sieć połączeń Lingqu, nazywana też UnifiedBus, pozwala łączyć pamięć podręczną KV w jedną pulę i rozmieszczać ją na kilku poziomach: w pamięci układowej, DRAM oraz na dyskach SSD. Firma deklaruje do 64 PB pojemności na klaster oraz wzrost pojemności KV dostępnej dla pojedynczego NPU — procesora używanego do obliczeń AI — z gigabajtów do terabajtów. Nie oznacza to, że każdy NPU otrzymuje terabajty nowej pamięci na układzie. Chodzi o dostęp do współdzielonego zasobu o różnej szybkości dostępu. 810

M900 jest więc systemem przechowywania kontekstu na potrzeby wnioskowania, czyli generowania odpowiedzi przez już działający model, a nie kolejnym układem obliczeniowym. Uzupełnia procesory NPU i korzysta z sieci połączeń, by udostępniać im wspólną pulę danych; nie zastępuje żadnego z tych elementów. Huawei wskazuje zastosowania z udziałem agentów AI i długiego kontekstu, a branżowy serwis Blocks & Files wymienia SuperPoD-y Atlas 960 jako docelowe środowisko. 126

Krótsza droga do SSD — według producenta

Huawei przypisuje architekturze łączącej funkcje CPU, kontrolera sieciowego i kontrolera NAND jednoetapową ścieżkę od NPU do SSD, bez przekazywania danych przez CPU i konwersji protokołów. Według firmy skraca to opóźnienie dostępu o 90%, do 60 mikrosekund. Deklarowana przepustowość wynosi 40 TB/s łącznie dla klastra, czyli 1,5 raza więcej niż w rozwiązaniu przyjętym przez Huawei do porównania. Nie jest to przepustowość gwarantowana każdemu NPU z osobna. 8

W scenariuszu określonym jako typowe programowanie z użyciem AI Huawei podaje dwukrotnie większą przepustowość tokenów całego klastra wnioskującego i o połowę krótszy czas oczekiwania na pierwszy token. To wynik deklarowany dla konkretnego rodzaju obciążenia, a nie potwierdzona poprawa dla każdego zadania z długim kontekstem czy pracy agentów. 814

Trwałość dysków i koszt: czego jeszcze nie wiemy

Mechanizm KV-Aware ma przewidywać, jak długo dane w pamięci podręcznej pozostaną przydatne, i odpowiednio rozmieszczać je między nośnikami. Huawei deklaruje obsługę obciążenia do 24 pełnych zapisów dysku dziennie (DWPD), 16-krotnie dłuższą żywotność nośników SSD i trzy lata stabilnej pracy. Producent argumentuje, że rzadsza wymiana dysków i mniej prac utrzymaniowych obniżą koszty wnioskowania. Przytoczone materiały nie podają jednak zmierzonej oszczędności w koszcie wygenerowania jednego tokena. 8

Najważniejsze rozróżnienie brzmi: większa pojemność pamięci podręcznej w zasięgu procesorów nie jest jeszcze dowodem na szybsze i tańsze działanie w każdej skali. Niezależne testy musiałyby sprawdzić użyteczną pojemność i częstość ponownego wykorzystania danych w rzeczywistych zadaniach, opóźnienia i utrzymywaną przepustowość przy równoczesnym dostępie wielu NPU, a także zyski w generowaniu tokenów względem jasno określonego punktu odniesienia. Do oceny kosztów potrzebne byłyby ponadto dane o zużyciu SSD i wydatkach w dłuższym okresie. Dostępne publikacje branżowe przytaczają wyniki Huawei, ale nie przedstawiają ich niezależnego potwierdzenia. 614