Fire GEEKOM A9 Mega-minipc’er kører DeepSeek V4 Flash lokalt – men benchmarkene mangler

GEEKOM har demonstreret DeepSeek V4 Flash som en lokal, distribueret AI-tjeneste på fire A9 Mega-minipc’er. Systemerne er forbundet via USB4, mens Ubuntu, AMD ROCm og DwarfStar håndterer den lokale implementering og gør modellen tilgængelig gennem et OpenAI-kompatibelt API. Ifølge GEEKOM er formålet at køre forespørgsler og dokumenter på organisationens eget udstyr i stedet for at sende dem til cloud-infrastruktur.

Demonstrationen er interessant, fordi DeepSeek V4 Flash beskrives som en mixture-of-experts-model med omkring 284 milliarder parametre, hvor cirka 13 milliarder er aktive for hvert token. Modellen er desuden udviklet til kontekstvinduer på op til én million tokens.

Hvad består klyngen af?

Hver A9 Mega er bygget omkring AMD Ryzen AI Max+ 395 med 16 kerner og 32 tråde samt Radeon 8060S-grafik. Samlet giver fire systemer følgende specifikationer:

• 64 CPU-kerner og 128 tråde
• 160 Radeon 8060S Compute Units baseret på RDNA 3.5
• 512 GB LPDDR5X-8000 unified memory – 128 GB pr. enhed
• Fire separate minipc’er, der fungerer som én distribueret inferensplatform

Den delte hukommelse mellem CPU og GPU er central for konceptet. I stedet for at placere hele den implementerede model på én diskret accelerator med tilstrækkelig hukommelse fordeles arbejdet på flere maskiners hukommelse og grafikressourcer.

De 512 GB må dog ikke forveksles med den hukommelse, der reelt er til rådighed for modellen. Den skal også rumme modelvægte, runtime-overhead, caches og operativsystemet. Den anvendelige kapacitet afhænger blandt andet af præcision, kvantisering og softwareopsætning.

Sådan fungerer den lokale implementering

GEEKOM oplyser, at de fire maskiner kommunikerer via USB4 og bruger en softwarestak bestående af Ubuntu, AMD ROCm og DwarfStar. En optimeret version af DeepSeek V4 Flash opdeles på tværs af noderne, som derefter modtager forespørgsler via et OpenAI-kompatibelt endpoint.

API-kompatibiliteten kan gøre løsningen lettere at integrere. Interne applikationer, AI-agenter og udviklerværktøjer, der allerede understøtter OpenAI-lignende endpoints, kan i princippet forbindes til den lokale model uden at hele integrationslaget skal bygges om.

Det peger på en løsning, der er tænkt som mere end en chatbot på en enkelt desktop. Ideen er snarere at etablere en privat AI-tjeneste i virksomhedens eget miljø.

Demonstrationen betyder dog ikke, at klyngen har samme egenskaber som en traditionel server i et datacenter. GEEKOMs annoncering specificerer ikke topologi, effektiv båndbredde, latenstid, sharding-strategi, modelpræcision, kvantiseringsformat, orkestreringsindstillinger eller håndtering af fejl. Alle disse forhold kan få stor betydning for inferensydelsen, især når modelparallel behandling kræver hyppig kommunikation mellem noderne.

Lager og forbindelser

Hver A9 Mega har to PCIe 4.0 M.2-pladser og er specificeret til op til 8 TB SSD-lager. Hvis alle fire maskiner udstyres til den angivne kapacitet, giver det en teoretisk samlet lagerkapacitet på 32 TB.

Det er vigtigt at skelne mellem lager og hukommelse: SSD-kapaciteten er ikke det samme som de 512 GB unified memory og siger heller ikke, hvor meget diskplads selve DeepSeek-implementeringen kræver.

Den rapporterede forbindelse mellem noderne er USB4. GEEKOMs produktmateriale angiver desuden USB4-porte med op til 40 Gbit/s på A9 Mega. Den nominelle interfacehastighed er ikke det samme som den målte klyngeydelse. Protokoloverhead, topologi og softwarets kommunikationsmønster afgør den faktiske båndbredde og latenstid under distribueret inferens.

Hvad er forretningsideen?

GEEKOM positionerer opsætningen som en lokal, privat AI-løsning. En organisation kan i princippet beholde prompts, interne dokumenter og genererede svar på sit eget netværk, mens forretningsapplikationer og AI-agenter bruger modellen gennem det lokale API.

ROCm leverer softwarelaget til AMD-grafikken, så denne konkrete løsning ikke kræver et NVIDIA-system baseret på CUDA.

Det kan være relevant for virksomheder med krav til dataplacering, privatliv eller isolerede netværk. Til gengæld flyttes ansvaret for driften også hjem til organisationen. Den skal selv håndtere oppetid, opdateringer, model-filer, adgangskontrol, overvågning, køling, strømforbrug og softwareets stabilitet.

Hvad koster fire systemer?

GEEKOM angiver en pris på 3.999 dollar for A9 Mega. Fire noder koster dermed cirka 15.996 dollar før eventuelle opgraderinger af lager, kabler, netværksudstyr, installation, strøm, vedligeholdelse og support.

Det er en betydelig investering for en løsning, hvis egenskaber i produktion endnu ikke er uafhængigt dokumenteret. Den relevante sammenligning er derfor ikke blot prisen på fire minipc’er, men de samlede omkostninger ved at drive en distribueret inferenstjeneste – og hvilke arbejdsbelastninger den kan håndtere stabilt.

Det store ubesvarede spørgsmål: Ydelsen

GEEKOMs annoncering dokumenterer, at virksomheden har implementeret DeepSeek V4 Flash på fire A9 Mega-systemer. Den leverer imidlertid ikke uafhængige, standardiserede resultater for netop denne konfiguration.

Der mangler blandt andet tal for:

• vedvarende tokens pr. sekund
• tid til første token
• antal samtidige brugere
• latenstid ved meget lange kontekster
• strømforbrug
• stabilitet og fejlhåndtering

Demonstrationen bør derfor foreløbig ses som et bevis på, at implementeringen kan lade sig gøre – ikke som et valideret benchmark for en produktionsklar løsning.

At modellen understøtter op til én million tokens i kontekst, viser heller ikke, at en klynge med fire A9 Mega-maskiner kan behandle million-token-forespørgsler hurtigt eller økonomisk. Den faktiske ydelse vil afhænge af modelbygningen, præcisionen, hukommelsesfordelingen, promptens længde, antallet af samtidige forespørgsler og kommunikationen mellem noderne.

Er GEEKOMs hardware unik?

Ryzen AI Max+ 395-platformen er ikke eksklusiv for GEEKOM. Andre producenter sælger også minipc’er med samme processor og i nogle tilfælde 128 GB unified memory.

Minisforum N5 Max er et sammenligneligt design, men ServeTheHome rapporterede, at detailversionen blev leveret med 64 GB loddet LPDDR5X unified memory i stedet for den 128 GB-konfiguration, der blev vist i en tidligere prototype.

GEEKOMs vigtigste særkende er derfor ikke nødvendigvis selve processoren, men den påståede demonstration med fire sammenkoblede noder. Om metoden kan bruges uden for en teknisk showcase, afhænger af oplysninger, der endnu ikke er offentliggjort: reproducerbare installationsinstruktioner, standardiserede benchmarkresultater, målinger af netværket, strømdata og dokumentation for stabil drift under realistiske arbejdsbelastninger.

Konklusion

GEEKOM viser en kompakt måde at samle en AMD-baseret inferensplatform med stor hukommelse på. Fire A9 Mega-minipc’er giver tilsammen 64 CPU-kerner, 128 tråde, 160 Radeon 8060S Compute Units og 512 GB unified memory. Systemerne forbindes via USB4 og styres med Ubuntu, ROCm og DwarfStar.

Det lovende element er muligheden for lokal og privat adgang til en meget stor mixture-of-experts-model gennem et velkendt API. Men de tilgængelige oplysninger dokumenterer indtil videre selve implementeringen – ikke dens hastighed, effektivitet eller egnethed til produktion.

Indtil GEEKOM offentliggør reproducerbare benchmarkresultater og flere tekniske detaljer, bør klyngen derfor betragtes som en interessant on-premises-demonstration snarere end en dokumenteret erstatning for dedikeret AI-infrastruktur.