Huawei OceanStor M900 rozšiřuje mezipaměť AI na SSD. Co to znamená pro rychlost odpovědí?

Když AI pracuje s dlouhým zadáním nebo průběžně plní více úkolů, ukládá si mezivýsledky do takzvané KV cache. Díky ní nemusí při dalším kroku znovu zpracovávat celý předchozí kontext. Problém nastává, když se tato mezipaměť nevejde do rychlé paměti u akcelerátorů. Huawei proto u systému OceanStor M900 přidává další, sdílenou vrstvu na discích SSD. Nemá nahradit paměť přímo v čipu ani operační paměť DRAM, ale umožnit uchovat a znovu využít více kontextu. 81012

Sdílená kapacita není paměť přímo v čipu

Propojení Lingqu, označované také jako UnifiedBus, má podle Huawei zpřístupnit KV cache napříč systémem SuperPoD a rozdělovat ji mezi paměť v čipu, DRAM a SSD. Firma uvádí až 64 PB kapacity na klastr a tvrdí, že každému NPU, tedy procesoru určenému pro výpočty AI, bude místo gigabajtů dostupná kapacita v terabajtech. To však neznamená, že jednotlivý procesor dostane terabajty nové rychlé paměti: jde o přístup ke sdílenému, víceúrovňovému úložišti. 810

M900 je tak úložná součást infrastruktury pro inferenci, tedy provozování již natrénovaných modelů, nikoli nový výpočetní čip. Doplňuje akcelerátory a při sdílení dat spoléhá na propojení Lingqu. Huawei jej zaměřuje na delší kontext a úlohy vykonávané AI agenty; oborové zpravodajství jako cílové prostředí uvádí systémy Atlas 960 SuperPoD. 126

Co Huawei slibuje u rychlosti

Huawei popisuje architekturu, která integruje funkce CPU, síťového řadiče a řadiče pamětí NAND. NPU se podle firmy díky tomu dostane k SSD jedním síťovým skokem, bez předávání požadavku přes CPU a převodu protokolů. Huawei uvádí zkrácení přístupové latence o 90 % na 60 mikrosekund a souhrnnou propustnost 40 TB/s na klastr, údajně 1,5násobek srovnávacího řešení. Propustnost celého klastru ovšem není rychlost zaručená každému NPU. 8

Při „typické“ úloze programování s AI firma uvádí dvojnásobnou propustnost tokenů celého inferenčního klastru a poloviční dobu do prvního tokenu odpovědi. Z tohoto scénáře nelze vyvozovat stejné zrychlení pro každou práci s dlouhým kontextem či AI agentem. 814

Životnost SSD a otevřená otázka nákladů

Technologie KV-Aware má podle Huawei odhadovat, jak dlouho budou uložená data užitečná, a podle toho řídit jejich umístění. Firma uvádí až 24 přepisů kapacity disku za den (DWPD), 16násobně delší životnost SSD médií a tři roky stabilního provozu. Méně výměn disků a údržby by podle ní mělo snížit náklady na inferenci. Citované podklady ale neobsahují doloženou úsporu nákladů na jeden token. 8

Podstatný rozdíl je mezi tím, že AI má na dosah větší kapacitu KV cache, a tím, že díky ní bude v praxi prokazatelně rychlejší a levnější. Nezávislé testy by musely ukázat využitelnou kapacitu a četnost nalezení potřebných dat v cache při skutečné zátěži, latenci a trvalou propustnost při souběžných požadavcích, výkon proti jasně určenému výchozímu řešení i opotřebení SSD a celkové náklady v čase. Dostupné zpravodajské články čísla Huawei přebírají, nikoli nezávisle ověřují. 614