Quattro mini PC GEEKOM fanno girare DeepSeek V4 Flash in locale: ma i benchmark non ci sono
GEEKOM ha dimostrato DeepSeek V4 Flash in esecuzione su quattro mini PC A9 Mega senza ricorrere all'inferenza cloud: il cluster offre complessivamente 64 core CPU, 128 thread, 160 Compute Unit Radeon 8060S e 512 GB di... I nodi comunicano tramite USB4 e usano Ubuntu, AMD ROCm e DwarfStar per distribuire il modello e...
GEEKOM ha dimostrato DeepSeek V4 Flash in esecuzione su quattro mini PC A9 Mega senza ricorrere all'inferenza cloud: il cluster offre complessivamente 64 core CPU, 128 thread, 160 Compute Unit Radeon 8060S e 512 GB di...
I nodi comunicano tramite USB4 e usano Ubuntu, AMD ROCm e DwarfStar per distribuire il modello ed esporlo attraverso un endpoint compatibile con le API di OpenAI.
Al prezzo indicato da GEEKOM di 3.999 dollari per A9 Mega, quattro sistemi costano circa 15.996 dollari, prima di considerare storage aggiuntivo, cablaggio, installazione e supporto.
How did GEEKOM demonstrate running the roughly 284-billion-parameter DeepSeek V4 Flash Mixture-of-Experts model locally and without cloud inAn editorial visualization of GEEKOM’s four-node A9 Mega local AI cluster.
AI Prompt
Create a landscape editorial hero image for this Studio Global article: How did GEEKOM demonstrate running the roughly 284-billion-parameter DeepSeek V4 Flash Mixture-of-Experts model locally and without cloud in. Article summary: GEEKOM’s demonstration was a four-node, local distributed-inference setup: it linked four A9 Mega mini PCs over USB4, then used Ubuntu, AMD ROCm, and DwarfStar software to partition an optimized DeepSeek V4 Flash model a. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
openai.com
GEEKOM ha presentato una configurazione composta da quattro mini PC A9 Mega, collegati in un cluster per eseguire localmente DeepSeek V4 Flash. I sistemi comunicano tramite USB4; Ubuntu, AMD ROCm e il software DwarfStar gestiscono la distribuzione del modello e rendono disponibile il risultato attraverso un'API compatibile con OpenAI. L'azienda propone il setup come alternativa all'invio di prompt e documenti a infrastrutture cloud.
La dimostrazione è interessante per le dimensioni del modello coinvolto: DeepSeek V4 Flash viene descritto come un modello Mixture of Experts da circa 284 miliardi di parametri, con circa 13 miliardi di parametri attivi per token. Il modello è inoltre progettato per gestire finestre di contesto fino a un milione di token.
Cosa contiene il cluster a quattro nodi
Ogni A9 Mega integra un AMD Ryzen AI Max+ 395 con 16 core e 32 thread, affiancato dalla grafica Radeon 8060S. Sommando i quattro sistemi, la configurazione raggiunge:
64 core CPU e 128 thread;
160 Compute Unit Radeon 8060S, basate sull'architettura RDNA 3.5;
512 GB di memoria unificata LPDDR5X-8000, ovvero 128 GB per nodo;
quattro mini PC separati, che operano come un'unica piattaforma distribuita per l'inferenza.
La memoria unificata è il punto centrale dell'approccio. Invece di affidarsi a un singolo acceleratore discreto con memoria sufficiente a contenere il modello, il cluster suddivide il carico tra le risorse grafiche e la memoria di più macchine.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
What is the short answer to "Quattro mini PC GEEKOM fanno girare DeepSeek V4 Flash in locale: ma i benchmark non ci sono"?
GEEKOM ha dimostrato DeepSeek V4 Flash in esecuzione su quattro mini PC A9 Mega senza ricorrere all'inferenza cloud: il cluster offre complessivamente 64 core CPU, 128 thread, 160 Compute Unit Radeon 8060S e 512 GB di...
What are the key points to validate first?
GEEKOM ha dimostrato DeepSeek V4 Flash in esecuzione su quattro mini PC A9 Mega senza ricorrere all'inferenza cloud: il cluster offre complessivamente 64 core CPU, 128 thread, 160 Compute Unit Radeon 8060S e 512 GB di... I nodi comunicano tramite USB4 e usano Ubuntu, AMD ROCm e DwarfStar per distribuire il modello ed esporlo attraverso un endpoint compatibile con le API di OpenAI.
What should I do next in practice?
Al prezzo indicato da GEEKOM di 3.999 dollari per A9 Mega, quattro sistemi costano circa 15.996 dollari, prima di considerare storage aggiuntivo, cablaggio, installazione e supporto.
I 512 GB complessivi, però, non equivalgono automaticamente alla capacità effettivamente disponibile per i pesi del modello. La quantità utilizzabile dipende dalla precisione numerica, dalla quantizzazione, dalla memoria riservata al sistema operativo, dalle cache e dagli altri costi del runtime.
Come funziona l'esecuzione locale
Secondo GEEKOM, i quattro computer comunicano via USB4 e utilizzano una combinazione di Ubuntu, ROCm — la piattaforma software di AMD per l'elaborazione su GPU — e DwarfStar. Il modello DeepSeek V4 Flash ottimizzato viene suddiviso tra i nodi, che poi gestiscono le richieste attraverso un endpoint compatibile con le API di OpenAI.
La compatibilità con questo tipo di API è rilevante soprattutto in ambito aziendale. Applicazioni interne, agenti e strumenti per sviluppatori già predisposti per endpoint in stile OpenAI possono collegarsi al modello locale senza dover riprogettare interamente il livello di integrazione.
L'obiettivo, quindi, non è semplicemente trasformare un PC da scrivania in un chatbot, ma creare un servizio di IA privato all'interno della rete dell'organizzazione.
La dimostrazione non implica che il cluster abbia le stesse caratteristiche di un server tradizionale da data center. L'annuncio non specifica la topologia della rete, la banda effettiva, la latenza, la strategia di suddivisione del modello, la precisione utilizzata, il formato di quantizzazione, le impostazioni di orchestrazione o il comportamento in caso di guasto. Sono tutti elementi che possono incidere sensibilmente sulle prestazioni, soprattutto quando l'elaborazione parallela richiede frequenti scambi di dati tra i nodi.
Storage e connettività
Ogni A9 Mega dispone di due slot M.2 PCIe 4.0 ed è indicato per una capacità massima di 8 TB di SSD. Se tutti e quattro i sistemi fossero equipaggiati fino alla capacità dichiarata, l'installazione potrebbe quindi arrivare teoricamente a 32 TB complessivi.
Questo dato riguarda lo spazio di archiviazione e non va confuso con i 512 GB di memoria unificata del sistema. Inoltre, non indica quanto spazio su disco sia necessario per la specifica distribuzione di DeepSeek.
Il collegamento tra i nodi è indicato come USB4. Il materiale di prodotto di GEEKOM elenca porte USB4 con velocità dichiarata fino a 40 Gbps. La velocità nominale dell'interfaccia, tuttavia, non corrisponde alle prestazioni reali del cluster: overhead del protocollo, topologia e schema di comunicazione del software determinano la banda e la latenza effettivamente disponibili per l'inferenza distribuita.
Il caso d'uso: una piattaforma di IA privata
GEEKOM presenta il progetto come un'appliance di IA privata on-premises, cioè installata e gestita direttamente dall'organizzazione. In linea di principio, prompt, documenti interni e risposte generate potrebbero rimanere all'interno della rete aziendale, mentre applicazioni e agenti utilizzerebbero il modello tramite l'API locale.
ROCm fornisce il livello software per l'hardware grafico AMD, senza richiedere in questa configurazione un sistema basato su NVIDIA CUDA.
L'approccio può risultare interessante per aziende soggette a requisiti di riservatezza, residenza dei dati o isolamento dalla rete esterna. Ma sposta anche molte responsabilità sull'operatore: disponibilità dell'hardware, aggiornamenti, file del modello, controllo degli accessi, monitoraggio, raffreddamento, consumi e affidabilità del software devono essere gestiti internamente.
Quanto costa il cluster
GEEKOM indica per l'A9 Mega un prezzo di 3.999 dollari. Quattro nodi portano quindi il costo a circa 15.996 dollari, prima di aggiungere eventuali upgrade dello storage, cablaggi, apparati di rete, installazione, elettricità, manutenzione e supporto.
È un investimento significativo per una piattaforma le cui caratteristiche in produzione non sono ancora state verificate in modo indipendente. Il confronto corretto non riguarda soltanto il prezzo d'acquisto di quattro mini PC, ma il costo complessivo di gestione di un servizio di inferenza distribuito e i carichi di lavoro che questo può sostenere in modo affidabile.
La domanda più importante: quanto è veloce?
L'annuncio di GEEKOM dimostra che DeepSeek V4 Flash è stato distribuito su quattro A9 Mega, ma non fornisce risultati indipendenti e standardizzati per questa configurazione precisa.
Non sono stati pubblicati dati su:
token al secondo sostenuti;
tempo al primo token;
numero di utenti simultanei;
latenza con contesti molto lunghi;
consumi energetici;
comportamento in caso di guasto di un nodo.
Per questo motivo, la presentazione va considerata una dimostrazione di distribuzione, non ancora un benchmark di produzione validato. Il supporto a contesti da un milione di token è una specifica importante, ma non dimostra che il cluster A9 Mega sia in grado di elaborare richieste di quelle dimensioni rapidamente o a costi competitivi.
Le prestazioni reali dipenderebbero dalla build del modello, dalla precisione, dall'allocazione della memoria, dalla lunghezza del prompt, dal numero di richieste simultanee e dall'overhead della comunicazione tra i nodi.
Quanto è distintivo l'hardware di GEEKOM?
La piattaforma Ryzen AI Max+ 395 non è esclusiva di GEEKOM. Anche altri produttori vendono mini PC con lo stesso processore e, in alcuni casi, con 128 GB di memoria unificata.
Il Minisforum N5 Max è un progetto comparabile. Tuttavia, secondo ServeTheHome, la versione commerciale è stata distribuita con 64 GB di memoria unificata LPDDR5X saldata, anziché con i 128 GB mostrati in un precedente prototipo.
Il principale elemento distintivo di GEEKOM, quindi, non è il processore in sé, ma la dimostrazione software a quattro nodi. Per capire se l'approccio abbia un'utilità concreta oltre il ruolo di vetrina tecnica serviranno istruzioni di configurazione riproducibili, benchmark standardizzati, misurazioni della rete, dati sui consumi e prove di funzionamento stabile con carichi realistici.
In sintesi
Il progetto di GEEKOM mostra come assemblare una piattaforma AMD compatta per l'inferenza di modelli di grandi dimensioni usando quattro mini PC: 64 core CPU, 128 thread, 160 Compute Unit Radeon 8060S e 512 GB di memoria unificata, collegati tramite USB4 e gestiti con Ubuntu, ROCm e DwarfStar.
La promessa è quella di offrire accesso locale e privato a un modello Mixture of Experts molto grande attraverso un'API familiare. Le informazioni disponibili, però, confermano l'esistenza della distribuzione, non la sua velocità, efficienza o idoneità alla produzione.
Finché GEEKOM non pubblicherà benchmark riproducibili e dettagli tecnici sull'implementazione, il cluster va considerato un'interessante dimostrazione on-premises, non un sostituto già dimostrato dell'infrastruttura IA dedicata.
