Empat Mini PC GEEKOM A9 Mega Jalankan DeepSeek V4 Flash Secara Lokal, tetapi Benchmark Belum Ada

GEEKOM memperkenalkan demonstrasi cluster inferensi AI lokal yang terdiri dari empat mini PC A9 Mega. Keempat perangkat dihubungkan melalui USB4, lalu menjalankan Ubuntu, AMD ROCm, dan perangkat lunak DwarfStar untuk membagi model DeepSeek V4 Flash ke beberapa node. Hasilnya disajikan melalui endpoint API yang kompatibel dengan OpenAI, sehingga aplikasi internal dan alat pengembang yang sudah memakai format API tersebut berpotensi terhubung tanpa perubahan besar.

Pendekatan ini ditujukan sebagai alternatif terhadap pengiriman prompt, dokumen, dan keluaran AI ke infrastruktur cloud. Namun, penting dicatat bahwa pengumuman GEEKOM baru membuktikan adanya demonstrasi deployment—belum membuktikan performa produksi yang setara dengan server AI khusus.

Mengapa DeepSeek V4 Flash membutuhkan beberapa node?

DeepSeek V4 Flash disebut sebagai model mixture-of-experts (MoE) dengan sekitar 284 miliar parameter. Meski demikian, hanya sekitar 13 miliar parameter yang aktif untuk setiap token yang diproses. Model ini juga dirancang untuk mendukung jendela konteks hingga satu juta token.

Empat A9 Mega memungkinkan beban kerja model dibagi ke berbagai sistem, alih-alih memaksakan seluruh kebutuhan memori dan komputasi ke satu perangkat. Kapasitas memori totalnya memang besar, tetapi angka tersebut tidak otomatis berarti seluruh 512 GB dapat dipakai untuk bobot model. Memori juga dibutuhkan oleh sistem operasi, runtime, cache, serta proses lain. Kapasitas efektif akan bergantung pada presisi model, metode kuantisasi, dan konfigurasi perangkat lunak.

Spesifikasi gabungan cluster empat A9 Mega

Setiap A9 Mega menggunakan AMD Ryzen AI Max+ 395 dengan 16 core dan 32 thread, serta grafis Radeon 8060S berbasis arsitektur RDNA 3.5. Jika empat unit digabungkan, spesifikasi utamanya menjadi:

• 64 core CPU dan 128 thread
• 160 Compute Unit Radeon 8060S RDNA 3.5
• 512 GB memori terpadu LPDDR5X-8000, atau 128 GB per node
• Empat mini PC yang beroperasi sebagai satu platform inferensi terdistribusi

Desain memori terpadu berarti CPU dan GPU berbagi ruang memori yang sama. Dalam skenario ini, sumber daya grafis dan memori dari beberapa A9 Mega dimanfaatkan bersama untuk menjalankan model berukuran besar.

Cara kerja deployment lokalnya

Menurut GEEKOM, keempat mesin berkomunikasi melalui USB4. Ubuntu menjadi sistem operasinya, ROCm menyediakan lapisan perangkat lunak AMD untuk komputasi GPU, sedangkan DwarfStar membantu mengatur deployment lokal. Model DeepSeek V4 Flash yang telah dioptimalkan kemudian dipartisi ke beberapa node dan ditawarkan melalui API yang kompatibel dengan OpenAI.

Kompatibilitas API ini penting untuk kebutuhan bisnis. Aplikasi internal, agen AI, atau perangkat pengembang yang sudah mendukung endpoint bergaya OpenAI dapat diarahkan ke model lokal tanpa harus membangun ulang seluruh integrasinya. Dengan demikian, konsep GEEKOM lebih dekat dengan layanan AI privat di dalam jaringan organisasi daripada sekadar chatbot yang berjalan di satu komputer desktop.

Meski begitu, sejumlah detail teknis penting belum dipublikasikan. GEEKOM tidak menjelaskan topologi jaringan, bandwidth efektif, latensi antarmesin, strategi sharding, presisi model, format kuantisasi, pengaturan orkestrasi, maupun mekanisme pemulihan jika salah satu node mengalami gangguan. Semua faktor tersebut dapat memengaruhi kinerja inferensi terdistribusi, terutama ketika node harus sering bertukar data.

Konektivitas dan kapasitas penyimpanan

Setiap A9 Mega memiliki dua slot M.2 PCIe 4.0 dan mendukung penyimpanan SSD hingga 8 TB. Jika seluruh empat mesin diisi hingga kapasitas tersebut, total teoritis penyimpanan cluster dapat mencapai 32 TB. Angka ini berbeda dari memori terpadu 512 GB dan tidak menunjukkan berapa banyak ruang disk yang dibutuhkan oleh deployment DeepSeek V4 Flash.

Sambungan antarnode yang dilaporkan adalah USB4. Materi produk GEEKOM mencantumkan dua port USB4 dengan kecepatan hingga 40 Gbps. Namun, angka maksimum antarmuka tersebut bukanlah hasil pengukuran performa cluster. Bandwidth dan latensi nyata dipengaruhi oleh overhead protokol, topologi koneksi, serta pola komunikasi yang digunakan perangkat lunak.

Potensi penggunaan AI privat di perusahaan

GEEKOM memosisikan konfigurasi ini sebagai perangkat AI privat on-premises. Secara teori, organisasi dapat menyimpan prompt, dokumen internal, dan hasil keluaran tetap di jaringan mereka sendiri, sementara aplikasi bisnis dan agen AI mengakses model melalui API lokal.

Bagi tim yang memiliki kebutuhan residensi data, privasi, atau isolasi jaringan, model seperti ini dapat menjadi pilihan menarik. ROCm juga menyediakan tumpukan perangkat lunak AMD sehingga konfigurasi tersebut tidak secara khusus bergantung pada sistem berbasis NVIDIA CUDA.

Namun, tanggung jawab operasional ikut berpindah kepada pemiliknya. Organisasi harus mengelola ketersediaan perangkat keras, pembaruan sistem, berkas model, kontrol akses, pemantauan, pendinginan, konsumsi listrik, serta keandalan perangkat lunak.

Berapa biaya empat mini PC ini?

GEEKOM mencantumkan harga A9 Mega sebesar $3.999 per unit. Dengan demikian, empat node berharga sekitar $15.996 sebelum memperhitungkan SSD tambahan, kabel, perangkat jaringan, instalasi, listrik, pemeliharaan, dan dukungan teknis.

Biaya tersebut cukup besar untuk sebuah sistem yang karakteristik produksinya belum diuji secara independen. Perbandingan yang relevan bukan hanya harga pembelian empat mini PC, melainkan total biaya menjalankan layanan inferensi terdistribusi dan jenis beban kerja yang dapat ditangani secara konsisten.

Performa masih menjadi tanda tanya terbesar

Pengumuman GEEKOM menyatakan bahwa DeepSeek V4 Flash telah dijalankan di empat A9 Mega, tetapi tidak menyertakan hasil pengujian independen dan terstandardisasi untuk konfigurasi tersebut. Belum ada angka mengenai token per detik yang berkelanjutan, waktu hingga token pertama, jumlah pengguna bersamaan, latensi pada konteks panjang, konsumsi daya, atau perilaku saat salah satu node gagal.

Karena itu, demonstrasi ini lebih tepat dipahami sebagai bukti bahwa deployment tersebut dapat dilakukan, bukan sebagai benchmark produksi yang tervalidasi. Dukungan konteks hingga satu juta token merupakan spesifikasi model, bukan jaminan bahwa cluster empat A9 Mega mampu memproses permintaan sebesar itu dengan cepat atau ekonomis.

Performa nyata akan bergantung pada build model, presisi, alokasi memori, panjang prompt, jumlah permintaan bersamaan, dan overhead komunikasi antarnode. Tanpa data tersebut, sulit menilai apakah konfigurasi ini mampu menggantikan server AI khusus dalam beban kerja sehari-hari.

Apakah perangkat keras GEEKOM benar-benar unik?

Platform Ryzen AI Max+ 395 tidak eksklusif untuk GEEKOM. Vendor lain juga menjual mini PC dengan prosesor yang sama dan, dalam beberapa kasus, memori terpadu 128 GB. Minisforum N5 Max merupakan salah satu desain yang sebanding. Namun, menurut ServeTheHome, versi ritel N5 Max hadir dengan memori terpadu LPDDR5X tersolder 64 GB, bukan konfigurasi 128 GB yang terlihat pada prototipe sebelumnya.

Artinya, pembeda utama GEEKOM bukan semata-mata prosesor A9 Mega, melainkan klaim demonstrasi perangkat lunak multi-node tersebut. Nilai praktisnya di luar demonstrasi teknis akan bergantung pada tersedianya instruksi setup yang dapat direproduksi, benchmark standar, pengukuran jaringan, data konsumsi daya, dan bukti operasi stabil dalam beban kerja realistis.

Kesimpulan

Cluster GEEKOM menunjukkan cara yang cukup ringkas untuk membangun platform inferensi AMD dengan memori besar dari empat mini PC. Secara gabungan, sistem ini menawarkan 64 core CPU, 128 thread, 160 Compute Unit Radeon 8060S, dan 512 GB memori terpadu, dengan koneksi USB4 serta dukungan Ubuntu, ROCm, dan DwarfStar.

Daya tarik utamanya adalah akses lokal dan privat ke model MoE berukuran sangat besar melalui API yang familier. Namun, bukti yang tersedia saat ini baru mendukung keberadaan deployment tersebut—belum kecepatan, efisiensi, atau kesiapan produksinya. Sampai GEEKOM merilis benchmark yang dapat direproduksi beserta detail implementasinya, cluster ini sebaiknya dilihat sebagai demonstrasi AI on-premises yang menarik, bukan pengganti infrastruktur AI khusus yang sudah terbukti.