GEEKOM spojil čtyři mini počítače A9 Mega, aby lokálně provozoval DeepSeek V4 Flash

GEEKOM předvedl čtyřuzlový cluster, který provozuje DeepSeek V4 Flash lokálně, tedy bez odesílání promptů a dokumentů do cloudové infrastruktury. Čtyři mini počítače A9 Mega jsou propojené přes USB4. O nasazení se podle výrobce starají Ubuntu, platforma AMD ROCm a software DwarfStar; výsledek je dostupný prostřednictvím API kompatibilního s rozhraním OpenAI.

Tento koncept je zajímavý především kvůli velikosti modelu. DeepSeek V4 Flash je popisován jako model typu mixture of experts (MoE) s přibližně 284 miliardami parametrů, přičemž na jeden token se aktivuje zhruba 13 miliard parametrů. Podporovat má také kontext o délce až jednoho milionu tokenů.

Co tvoří čtyřuzlový cluster

Každý A9 Mega používá procesor AMD Ryzen AI Max+ 395 se 16 jádry a 32 vlákny a integrovanou grafiku Radeon 8060S. Po sečtení parametrů všech čtyř počítačů vychází konfigurace takto:

• 64 jader CPU a 128 vláken
• 160 výpočetních jednotek Radeon 8060S na architektuře RDNA 3.5
• 512 GB sjednocené paměti LPDDR5X-8000, tedy 128 GB na jeden uzel
• Čtyři samostatné mini počítače fungující jako jedna distribuovaná platforma pro inference

Klíčová je právě sjednocená paměť, kterou sdílí procesor a grafická část každého systému. Pracovní zátěž se tak může rozdělit mezi paměť a výpočetní prostředky více počítačů namísto použití jediného akcelerátoru s dostatečnou kapacitou.

Celkových 512 GB ale nelze automaticky chápat jako kapacitu dostupnou výhradně pro model. Kolik paměti skutečně zbude pro váhy modelu, běhové prostředí, cache a operační systém, závisí na použité přesnosti, kvantizaci a softwarové konfiguraci.

Jak má lokální nasazení fungovat

GEEKOM uvádí, že počítače mezi sebou komunikují přes USB4 a že optimalizovaná verze DeepSeek V4 Flash je rozdělena mezi jednotlivé uzly. Ty následně obsluhují požadavky prostřednictvím endpointu kompatibilního s OpenAI API.

Kompatibilní API je praktické hlavně pro firmy. Interní aplikace, agenti a vývojářské nástroje, které už podporují rozhraní ve stylu OpenAI, se mohou k lokálnímu modelu připojit bez kompletního přepracování integrace. Nejde tedy jen o chatbot běžící na jednom stolním počítači, ale spíše o pokus vytvořit soukromou AI službu uvnitř vlastní infrastruktury.

Z oznámení však není jasné, jak přesně je cluster navržen. GEEKOM neupřesnil topologii propojení, skutečnou šířku pásma a latenci, způsob rozdělení modelu, použitou přesnost či kvantizaci, nastavení orchestrace ani chování při výpadku uzlu. Tyto parametry mohou mít na výkon distribuované inference zásadní vliv, zejména pokud si jednotlivé počítače musí často vyměňovat data.

Úložiště a konektivita

Každý A9 Mega má dva sloty M.2 pro PCIe 4.0 SSD a podporuje až 8 TB úložiště. Pokud by byly všechny čtyři počítače osazeny na maximální kapacitu, teoreticky by celý cluster mohl nabídnout až 32 TB. Jde však o samostatný údaj od 512 GB sjednocené systémové paměti a neříká, kolik místa vyžaduje samotné nasazení DeepSeeku.

Propojení mezi uzly má zajišťovat USB4. Produktové materiály GEEKOM uvádějí u A9 Mega porty USB4 s rychlostí až 40 Gb/s. Tato hodnota ale není totéž co naměřený výkon clusteru. Dostupnou propustnost a latenci ovlivní režie protokolu, způsob zapojení i komunikační vzorec použitého softwaru.

Proč by firmy mohly chtít AI provozovat lokálně

GEEKOM svou sestavu prezentuje jako lokální, soukromé AI zařízení. Firma by teoreticky mohla ponechat prompty, interní dokumenty i vygenerované odpovědi uvnitř vlastní sítě a zároveň zpřístupnit model podnikovým aplikacím a agentům přes lokální API. ROCm v této konfiguraci poskytuje softwarovou vrstvu pro grafický hardware AMD, takže není nutné stavět řešení na NVIDIA CUDA.

Takový přístup může být zajímavý pro organizace s požadavky na ochranu dat, umístění dat nebo oddělení od veřejných sítí. Zároveň ale přesouvá odpovědnost na provozovatele. Ten musí řešit dostupnost počítačů, aktualizace, modelové soubory, řízení přístupu, monitoring, chlazení, spotřebu energie i spolehlivost softwaru.

Kolik cluster stojí

GEEKOM uvádí cenu jednoho A9 Mega ve výši 3 999 dolarů. Čtyři uzly tak vyjdou přibližně na 15 996 dolarů. V částce nejsou započteny případné konfigurace úložiště nad základní výbavu, kabeláž, síťové prvky, instalace, elektřina, údržba ani podpora.

Jde proto o značnou investici do systému, jehož produkční parametry zatím nebyly nezávisle ověřeny. Smysluplné srovnání navíc neporovnává pouze cenu čtyř mini počítačů, ale celkové náklady na provoz distribuované AI služby a typ zátěže, kterou dokáže dlouhodobě spolehlivě obsloužit.

Největší neznámá: skutečný výkon

Oznámení GEEKOM potvrzuje, že společnost nasadila DeepSeek V4 Flash na čtyřech systémech A9 Mega. Nepřináší však nezávislé ani standardizované výsledky pro tuto konkrétní konfiguraci.

Chybí údaje o dlouhodobé rychlosti generování tokenů, času do prvního tokenu, počtu souběžných uživatelů, latenci při dlouhém kontextu, spotřebě energie i chování při selhání některého uzlu.

Předvedenou sestavu je proto přesnější chápat jako důkaz, že takové nasazení lze uskutečnit, nikoli jako ověřený produkční benchmark. Podpora až milionového kontextu je důležitá specifikace modelu, sama o sobě ale neprokazuje, že čtyřuzlový A9 Mega cluster zvládne požadavky o délce milionu tokenů rychle nebo hospodárně. Skutečný výsledek bude záviset na sestavení modelu, přesnosti, přidělení paměti, délce promptu, počtu současných požadavků a režii komunikace mezi uzly.

Není hardware GEEKOMu úplně unikátní

Platforma Ryzen AI Max+ 395 není výhradně doménou GEEKOMu. Stejný procesor používají i mini počítače dalších výrobců, přičemž některé nabízejí také 128 GB sjednocené paměti. Konkurenční Minisforum N5 Max je podobně koncipované zařízení. ServeTheHome však uvedl, že prodejní verze N5 Max dorazila s 64 GB připájené paměti LPDDR5X namísto 128GB konfigurace, kterou měl dřívější prototyp.

Za hlavní odlišnost GEEKOMu tak nelze považovat samotný procesor, ale spíše tvrzenou softwarovou ukázku čtyřuzlového provozu. O praktické použitelnosti mimo technologickou demonstraci rozhodnou až podrobnosti, které zatím nebyly zveřejněny: reprodukovatelný postup instalace, standardizované benchmarky, měření síťové komunikace, údaje o spotřebě a důkazy o stabilním provozu při realistické zátěži.

Závěr

GEEKOM ukázal kompaktní způsob, jak ze čtyř mini počítačů sestavit platformu pro lokální inference velkého modelu. Celkem nabízí 64 jader CPU, 128 vláken, 160 výpočetních jednotek Radeon 8060S a 512 GB sjednocené paměti. Počítače jsou propojené přes USB4 a spravované pomocí Ubuntu, ROCm a DwarfStar.

Příslibem je soukromý přístup k rozsáhlému modelu mixture-of-experts přes rozhraní, které znají běžné podnikové aplikace. Dostupné podklady ale zatím dokazují existenci nasazení, nikoli jeho rychlost, efektivitu nebo připravenost pro produkci. Dokud GEEKOM nezveřejní reprodukovatelné benchmarky a technické detaily, zůstává tato sestava především zajímavou ukázkou lokální AI — nikoli ověřenou náhradou za specializovanou serverovou infrastrukturu.