Neljä GEEKOM A9 Mega -minitietokonetta pyörittää DeepSeek V4 Flashia paikallisesti
GEEKOM esitteli DeepSeek V4 Flashin ajamisen neljän A9 Mega minitietokoneen muodostamassa paikallisessa klusterissa. Solmut yhdistetään USB4 liitännällä, ja Ubuntu, AMD ROCm sekä DwarfStar jakavat mallin kuormituksen koneiden kesken ja tarjoavat sen OpenAI yhteensopivan rajapinnan kautta.
GEEKOM esitteli DeepSeek V4 Flashin ajamisen neljän A9 Mega minitietokoneen muodostamassa paikallisessa klusterissa.
Solmut yhdistetään USB4 liitännällä, ja Ubuntu, AMD ROCm sekä DwarfStar jakavat mallin kuormituksen koneiden kesken ja tarjoavat sen OpenAI yhteensopivan rajapinnan kautta.
GEEKOMin ilmoittamalla 3 999 dollarin kappalehinnalla neljän koneen kokonaiskustannus on noin 15 996 dollaria ennen tallennustilaa, kaapelointia, käyttöönottoa ja ylläpitoa.
How did GEEKOM demonstrate running the roughly 284-billion-parameter DeepSeek V4 Flash Mixture-of-Experts model locally and without cloud inAn editorial visualization of GEEKOM’s four-node A9 Mega local AI cluster.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: How did GEEKOM demonstrate running the roughly 284-billion-parameter DeepSeek V4 Flash Mixture-of-Experts model locally and without cloud in. Article summary: GEEKOM’s demonstration was a four-node, local distributed-inference setup: it linked four A9 Mega mini PCs over USB4, then used Ubuntu, AMD ROCm, and DwarfStar software to partition an optimized DeepSeek V4 Flash model a. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
openai.com
GEEKOM esitteli neljän A9 Mega -minitietokoneen muodostaman paikallisen päättelyklusterin, jossa DeepSeek V4 Flash ajetaan ilman pilvipalveluun lähetettäviä pyyntöjä ja asiakirjoja. Koneet yhdistetään USB4-liitännällä, ja paikallisesta käyttöönotosta vastaavat Ubuntu, AMD:n ROCm-ohjelmistoalusta sekä DwarfStar. Malli jaetaan solmujen kesken, minkä jälkeen sitä voidaan käyttää OpenAI-yhteensopivan rajapinnan kautta.
Ratkaisu on kiinnostava ennen kaikkea siksi, että DeepSeek V4 Flashin kerrotaan olevan noin 284 miljardin parametrin mixture-of-experts-malli. Yhtä tokenia kohti aktiivisia on kuitenkin noin 13 miljardia parametria. Malli on suunniteltu jopa miljoonan tokenin konteksti-ikkunoille.
Mitä neljän koneen klusteri sisältää?
Jokainen A9 Mega perustuu AMD Ryzen AI Max+ 395 -suorittimeen, jossa on 16 ydintä ja 32 säiettä. Sen rinnalla toimii RDNA 3.5 -arkkitehtuuriin perustuva Radeon 8060S -grafiikka. Neljän koneen yhteenlaskettu laitteisto on seuraava:
64 suoritinydintä ja 128 säiettä
160 Radeon 8060S -laskentayksikköä
512 gigatavua LPDDR5X-8000-yhteismuistia, eli 128 gigatavua solmua kohden
Neljä erillistä minitietokonetta, jotka toimivat yhtenä hajautettuna päättelyalustana
Yhteismuisti on kokoonpanon keskeinen idea. Sen sijaan että koko malli yritettäisiin sijoittaa yhden erillisen kiihdyttimen muistiin, työ jaetaan usean koneen muisti- ja grafiikkaresurssien kesken.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Neljä GEEKOM A9 Mega -minitietokonetta pyörittää DeepSeek V4 Flashia paikallisesti"?
GEEKOM esitteli DeepSeek V4 Flashin ajamisen neljän A9 Mega minitietokoneen muodostamassa paikallisessa klusterissa.
What are the key points to validate first?
GEEKOM esitteli DeepSeek V4 Flashin ajamisen neljän A9 Mega minitietokoneen muodostamassa paikallisessa klusterissa. Solmut yhdistetään USB4 liitännällä, ja Ubuntu, AMD ROCm sekä DwarfStar jakavat mallin kuormituksen koneiden kesken ja tarjoavat sen OpenAI yhteensopivan rajapinnan kautta.
What should I do next in practice?
GEEKOMin ilmoittamalla 3 999 dollarin kappalehinnalla neljän koneen kokonaiskustannus on noin 15 996 dollaria ennen tallennustilaa, kaapelointia, käyttöönottoa ja ylläpitoa.
512 gigatavun kokonaismäärää ei kuitenkaan pidä tulkita suoraan mallille käytettävissä olevaksi kapasiteetiksi. Mallin painot, ajonaikaiset rakenteet, välimuistit ja käyttöjärjestelmä kilpailevat samasta muistista. Todellinen käytettävissä oleva määrä riippuu muun muassa tarkkuudesta, kvantisoinnista ja ohjelmistoasetuksista.
Näin paikallinen käyttöönotto toimii
GEEKOMin mukaan neljä järjestelmää viestivät keskenään USB4-yhteydellä. Ohjelmistopinon muodostavat Ubuntu, AMD:n ROCm ja DwarfStar, joiden avulla optimoitu DeepSeek V4 Flash -malli jaetaan solmujen välillä. Palvelu julkaistaan OpenAI-yhteensopivana päätepisteenä.
Rajapinnan yhteensopivuus voi helpottaa käyttöönottoa. Organisaation sisäiset sovellukset, agentit ja kehittäjätyökalut, jotka tukevat jo OpenAI-tyylisiä rajapintoja, voivat mahdollisesti käyttää paikallista mallia ilman koko integraatiokerroksen uudelleensuunnittelua.
Tavoitteena ei siis ole vain pyörittää keskustelubottia yhdellä työpöytäkoneella. GEEKOM markkinoi kokoonpanoa pikemminkin yksityisenä tekoälypalveluna, joka voidaan sijoittaa organisaation omaan ympäristöön.
Esittely ei silti tarkoita, että klusteri toimisi samalla tavalla kuin perinteinen datakeskuspalvelin. Julkaistussa tiedotteessa ei kerrota esimerkiksi verkon topologiaa, todellista kaistanleveyttä, viivettä, sharding- eli mallinjakostrategiaa, mallin tarkkuutta, kvantisointimuotoa, orkestrointiasetuksia tai vikatilanteista palautumista. Näillä tiedoilla voi olla suuri vaikutus suorituskykyyn, etenkin kun mallin rinnakkaisajaminen edellyttää jatkuvaa tiedonsiirtoa solmujen välillä.
Tallennustila ja liitännät
Jokaisessa A9 Megassa on kaksi PCIe 4.0 M.2 -paikkaa, ja laite tukee ilmoituksen mukaan enintään 8 teratavua SSD-tallennustilaa. Jos kaikki neljä konetta varustetaan ilmoitettuun maksimikapasiteettiin, koko kokoonpanon teoreettinen tallennustila olisi 32 teratavua.
Tallennustila on eri asia kuin järjestelmien yhteensä 512 gigatavun yhteismuisti. SSD-kapasiteetti ei myöskään kerro suoraan, kuinka paljon levytilaa juuri DeepSeek-käyttöönotto vaatii.
GEEKOM ilmoittaa solmujen väliseksi yhteydeksi USB4:n. A9 Megassa on valmistajan tuotetietojen mukaan USB4-portteja, joiden nimellisnopeus on enintään 40 gigabittiä sekunnissa. Nimellisnopeus ei kuitenkaan ole sama asia kuin mitattu klusterisuorituskyky: protokollan yleiskustannukset, verkon rakenne ja ohjelmiston viestintätapa ratkaisevat käytännössä saavutettavan kaistanleveyden ja viiveen.
Mikä on yksityisen tekoälyn käyttötapaus?
GEEKOMin esittämä käyttötapaus on paikallinen, organisaation omaan ympäristöön sijoitettu tekoälylaite. Periaatteessa yritys voisi pitää kehotteet, sisäiset asiakirjat ja mallin tuottamat vastaukset oman verkkonsa sisällä ja tarjota sovelluksilleen sekä agenteilleen pääsyn malliin paikallisen rajapinnan kautta.
ROCm tarjoaa tähän AMD:n grafiikkalaitteiston ohjelmistokerroksen, joten juuri tässä kokoonpanossa ei tarvita NVIDIA- ja CUDA-pohjaista järjestelmää.
Ratkaisu voi kiinnostaa organisaatioita, joilla on tiukkoja tietosuoja-, datan sijainti- tai verkkieristysvaatimuksia. Samalla vastuu siirtyy käyttäjälle. Organisaation pitäisi itse huolehtia laitteiden saatavuudesta, päivityksistä, mallipainojen hallinnasta, käyttöoikeuksista, valvonnasta, jäähdytyksestä, sähkönkulutuksesta ja ohjelmistojen toimintavarmuudesta.
Neljän koneen hinnaksi kertyy lähes 16 000 dollaria
GEEKOM ilmoittaa A9 Megan hinnaksi 3 999 dollaria. Neljän koneen hankintahinta on siten noin 15 996 dollaria ennen mahdollisia tallennustilapäivityksiä, kaapelointia, verkkolaitteita, asennusta, sähköä, huoltoa ja tukea.
Summa on huomattava, etenkin koska juuri tämän kokoonpanon tuotantokäyttöä ei ole vielä vahvistettu riippumattomilla testeillä. Olennaista ei ole verrata vain neljän minitietokoneen ostohintaa, vaan arvioida koko hajautetun päättelypalvelun käyttökustannuksia ja sitä, millaista kuormaa se pystyy luotettavasti käsittelemään.
Suurin avoin kysymys on suorituskyky
GEEKOMin tiedote osoittaa, että yhtiö on ottanut DeepSeek V4 Flashin käyttöön neljän A9 Mega -järjestelmän kokonaisuutena. Se ei kuitenkaan tarjoa riippumattomia eikä standardoituja tuloksia juuri tästä kokoonpanosta.
Saatavilla ei ole lukuja esimerkiksi seuraavista:
jatkuva tokenien määrä sekunnissa
ensimmäisen tokenin viive
samanaikaisten käyttäjien määrä
pitkän kontekstin viive
virrankulutus
toiminta vikatilanteissa
Siksi esittelyä on tällä hetkellä perustellumpaa pitää käyttöönoton demonstraationa kuin vahvistettuna tuotantotason vertailuna. Miljoonan tokenin konteksti on merkittävä mallin ominaisuus, mutta se ei kerro, pystyykö neljän A9 Megan klusteri käsittelemään näin pitkiä pyyntöjä nopeasti tai kustannustehokkaasti.
Todellinen suorituskyky riippuu muun muassa malliversiosta, tarkkuudesta, muistijaosta, kehotteen pituudesta, samanaikaisten pyyntöjen määrästä ja solmujen välisen viestinnän aiheuttamasta kuormasta.
Onko GEEKOMin laitteisto ainutlaatuinen?
Ryzen AI Max+ 395 -alusta ei ole yksin GEEKOMin käytössä. Myös muut valmistajat myyvät samalla suorittimella varustettuja minitietokoneita, joista osassa on 128 gigatavua yhteismuistia.
Minisforumin N5 Max on yksi vertailukelpoinen vaihtoehto. ServeTheHomen mukaan myyntiversiossa oli kuitenkin 64 gigatavua juotettua LPDDR5X-yhteismuistia, kun aiemmassa prototyypissä nähtiin 128 gigatavun kokoonpano.
GEEKOMin varsinainen erottautumistekijä ei siis ole yksin prosessori, vaan väitetty neljän solmun ohjelmisto- ja käyttöönottoesittely. Sen hyödyllisyys teknisen esittelyn ulkopuolella riippuu yhä julkaisemattomista yksityiskohdista: toistettavista asennusohjeista, standardoiduista testeistä, verkkoyhteyden mittauksista, virrankulutustiedoista ja näyttöön perustuvasta vakaudesta realistisissa työkuormissa.
Yhteenveto
GEEKOMin kokoonpano osoittaa, kuinka suuren muistikapasiteetin AMD-pohjaisen paikallisen tekoälyalustan voi rakentaa neljästä pienikokoisesta tietokoneesta. Yhteensä järjestelmässä on 64 suoritinydintä, 128 säiettä, 160 Radeon 8060S -laskentayksikköä ja 512 gigatavua yhteismuistia. Koneet yhdistetään USB4:llä, ja kokonaisuutta hallitaan Ubuntun, ROCm:n ja DwarfStarin avulla.
Lupaus on houkutteleva: erittäin suuren mixture-of-experts-mallin yksityinen käyttö tutun rajapinnan kautta, ilman että aineistoa tarvitsee lähettää pilveen. Nykyinen näyttö vahvistaa kuitenkin lähinnä sen, että käyttöönotto on tehty – ei sitä, kuinka nopeasti, tehokkaasti tai luotettavasti järjestelmä toimii.
Ennen kuin GEEKOM julkaisee toistettavat vertailutulokset ja tarkemmat toteutustiedot, neljän A9 Megan klusteria on syytä pitää kiinnostavana paikallisen tekoälyn demonstraationa, ei vielä todistettuna vaihtoehtona erilliselle AI-infrastruktuurille.
