Empat GEEKOM A9 Mega Jalankan DeepSeek V4 Flash Secara Lokal, Tetapi Penanda Aras Masih Tiada

Namun, jumlah 512GB itu tidak bermakna kesemuanya boleh digunakan untuk pemberat model. Kapasiti sebenar yang tinggal selepas mengambil kira runtime overhead, cache dan sistem operasi bergantung pada ketepatan model, format kuantisasi serta konfigurasi perisian.

Bagaimana model itu dijalankan secara lokal?

Menurut GEEKOM, keempat-empat mesin berkomunikasi melalui USB4 dan menggunakan gabungan Ubuntu, platform ROCm AMD serta DwarfStar. Model DeepSeek V4 Flash yang telah dioptimumkan dibahagikan merentas nod, kemudian permintaan disalurkan melalui titik akhir yang serasi dengan OpenAI.

Keserasian API ini penting untuk organisasi. Aplikasi dalaman, ejen AI dan alat pembangunan yang sudah menyokong titik akhir gaya OpenAI berpotensi disambungkan kepada model lokal tanpa perlu membina semula keseluruhan lapisan integrasi.

Justeru, cadangan GEEKOM lebih menyerupai perkhidmatan AI persendirian dalam rangkaian organisasi berbanding chatbot yang sekadar berjalan pada satu komputer meja.

Walau bagaimanapun, pengumuman tersebut tidak menerangkan topologi rangkaian, lebar jalur dan kependaman berkesan, kaedah sharding, ketepatan model, format kuantisasi, tetapan orkestrasi atau proses pemulihan apabila satu nod gagal. Semua butiran ini boleh memberi kesan besar kepada prestasi, khususnya apabila kerja selari model memerlukan komunikasi kerap antara nod.

Storan dan sambungan

Setiap A9 Mega mempunyai dua slot M.2 PCIe 4.0 dan dinyatakan menyokong sehingga 8TB storan SSD. Oleh itu, konfigurasi empat nod yang dilengkapi sepenuhnya secara teori boleh mencapai 32TB storan — bukan 8TB untuk keseluruhan kluster.

Angka storan ini berasingan daripada 512GB memori bersatu sistem. Ia juga tidak memberitahu berapa banyak ruang cakera yang diperlukan oleh pemasangan DeepSeek V4 Flash itu sendiri.

Sambungan antara nod yang dilaporkan ialah USB4. Bahan produk GEEKOM menyenaraikan port USB4 dengan kadar sehingga 40Gbps. Namun, kadar antara muka tidak sama dengan prestasi kluster yang diukur. Lebar jalur sebenar dan kependaman akan dipengaruhi oleh lebihan protokol, topologi serta corak komunikasi perisian.

Mengapa pendekatan ini mungkin menarik untuk syarikat?

GEEKOM memposisikan kluster ini sebagai peranti AI persendirian di premis. Secara prinsipnya, organisasi boleh mengekalkan prom, dokumen dalaman dan hasil janaan dalam rangkaian sendiri, sambil membenarkan aplikasi serta ejen dalaman menggunakan model melalui API lokal.

ROCm pula menyediakan lapisan perisian untuk grafik AMD, jadi reka bentuk ini tidak memerlukan sistem berasaskan NVIDIA CUDA.

Ciri tersebut mungkin sesuai untuk pasukan yang mempunyai keperluan penempatan data, privasi atau pengasingan rangkaian. Tetapi tanggungjawab turut beralih kepada pengendali. Organisasi perlu mengurus ketersediaan perkakasan, kemas kini, fail model, kawalan akses, pemantauan, penyejukan, penggunaan elektrik dan kebolehpercayaan perisian.

Kos empat A9 Mega

GEEKOM menyenaraikan A9 Mega pada harga AS$3,999. Maka, empat nod berharga kira-kira AS$15,996, sebelum kos menaik taraf storan, kabel, peralatan rangkaian, pemasangan, elektrik, penyelenggaraan dan sokongan.

Itu merupakan pelaburan besar untuk sistem yang ciri operasinya masih belum disahkan secara bebas. Perbandingan yang wajar bukan sekadar harga membeli empat mini PC, tetapi jumlah kos mengendalikan perkhidmatan inferens teragih serta jenis beban kerja yang boleh disokong secara konsisten.

Persoalan terbesar: sepantas mana ia berfungsi?

Pengumuman GEEKOM membuktikan bahawa syarikat itu telah menggunakan DeepSeek V4 Flash merentas empat A9 Mega, tetapi tidak memberikan keputusan bebas dan piawai untuk konfigurasi tepat tersebut.

Tiada angka yang diberikan bagi:

• token sesaat secara berterusan;
• masa untuk token pertama;
• jumlah pengguna serentak;
• kependaman pada konteks panjang;
• penggunaan kuasa; atau
• tingkah laku apabila berlaku kegagalan nod.

Oleh itu, demonstrasi ini lebih tepat dianggap sebagai bukti bahawa model boleh digunakan dalam konfigurasi tersebut, bukannya penanda aras pengeluaran yang telah disahkan. Keupayaan konteks satu juta token ialah spesifikasi model, bukan bukti bahawa kluster empat A9 Mega boleh memproses permintaan sebesar itu dengan pantas atau menjimatkan kos.

Prestasi sebenar bergantung pada binaan model, ketepatan dan kuantisasi, pembahagian memori, panjang prom, bilangan permintaan serentak serta lebihan komunikasi antara nod.

Adakah perkakasan GEEKOM benar-benar unik?

Platform Ryzen AI Max+ 395 bukan eksklusif kepada GEEKOM. Vendor lain turut menjual mini PC dengan pemproses sama dan, dalam sesetengah kes, memori bersatu 128GB.

Minisforum N5 Max ialah salah satu reka bentuk yang setanding. Namun, ServeTheHome melaporkan bahawa versi runcit N5 Max dihantar dengan 64GB LPDDR5X memori bersatu yang dipateri, berbanding konfigurasi 128GB pada prototaip terdahulu.

Ini bermakna kelebihan GEEKOM yang lebih penting bukanlah pemprosesnya semata-mata, tetapi demonstrasi perisian berbilang nod yang didakwa syarikat itu. Nilai praktikalnya di luar demonstrasi teknikal masih bergantung pada arahan pemasangan yang boleh diulang, penanda aras piawai, ukuran rangkaian, data penggunaan kuasa dan bukti operasi stabil dalam beban kerja sebenar.

Kesimpulan

Kluster GEEKOM menunjukkan bagaimana empat mini PC AMD boleh digabungkan menjadi platform inferens dengan kapasiti memori besar: 64 teras CPU, 128 bebenang, 160 Compute Unit Radeon 8060S dan 512GB memori bersatu, disambungkan melalui USB4 serta diuruskan menggunakan Ubuntu, ROCm dan DwarfStar.

Daya tarik utamanya ialah akses lokal dan persendirian kepada model MoE berskala besar melalui API yang biasa digunakan pembangun. Tetapi bukti yang tersedia setakat ini hanya mengesahkan kewujudan penggunaan tersebut — belum kelajuan, kecekapan atau kesediaannya untuk operasi produksi.

Sehingga GEEKOM menerbitkan penanda aras yang boleh diulang serta butiran pelaksanaan yang lebih lengkap, kluster ini wajar dilihat sebagai demonstrasi AI di premis yang menarik, bukannya pengganti yang telah terbukti untuk infrastruktur AI khusus.