GEEKOM, DeepSeek V4 Flash’ı dört mini bilgisayarla yerelde çalıştırdı

Yerel kurulum nasıl çalışıyor?

GEEKOM’a göre dört makine USB4 üzerinden haberleşiyor ve Ubuntu, AMD’nin ROCm platformu ile DwarfStar yazılımından oluşan bir yığın kullanıyor. Optimize edilmiş DeepSeek V4 Flash modeli düğümlere bölünüyor ve istekler OpenAI uyumlu bir uç nokta üzerinden karşılanıyor.

OpenAI uyumlu API, kurumsal kullanım açısından önemli. OpenAI tarzı uç noktaları destekleyen mevcut şirket içi uygulamalar, aracılar ve geliştirici araçları modele tüm entegrasyon katmanını yeniden tasarlamadan bağlanabilir. Bu nedenle hedef, tek bir masaüstünde sohbet botu çalıştırmaktan çok, kurumun kendi ortamında özel bir yapay zekâ hizmeti oluşturmak.

Bununla birlikte gösterim, kümenin geleneksel bir veri merkezi sunucusuyla aynı özelliklere sahip olduğunu kanıtlamıyor. Paylaşılan duyuruda ağ topolojisi, etkin bant genişliği, gecikme, parçalama yöntemi, model hassasiyeti, kuantalama biçimi, orkestrasyon ayarları veya hata durumunda kurtarma davranışı belirtilmiyor. Model paralel çalışırken düğümler arasında sık iletişim gerekebildiği için bu ayrıntılar çıkarım performansını ciddi biçimde etkileyebilir.

Depolama ve bağlantı seçenekleri

Her A9 Mega’da iki PCIe 4.0 M.2 yuvası bulunuyor ve cihaz 8 TB’a kadar SSD depolamayı destekliyor. Her makine belirtilen kapasiteyle donatılırsa dört düğümlü kurulumun teorik depolama üst sınırı 32 TB olabilir. Bu rakam, sistemin 512 GB’lık birleşik belleğinden ayrıdır ve DeepSeek kurulumunun diskte ne kadar yer kaplayacağını göstermiyor.

Düğümler arası bağlantı olarak USB4 kullanıldığı bildiriliyor. GEEKOM’un ürün materyallerinde de A9 Mega için 40 Gbps’e kadar hız sunan USB4 bağlantısı listeleniyor. Ancak arayüzün teorik hızı, kümenin ölçülmüş performansıyla aynı şey değil. Protokol yükü, bağlantı topolojisi ve yazılımın iletişim biçimi; dağıtık çıkarımda kullanılabilecek gerçek bant genişliği ile gecikmeyi belirliyor.

Önerilen özel yapay zekâ modeli

GEEKOM’un konumlandırdığı ürün, şirket içi kullanılabilen bir özel yapay zekâ cihazı. Teoride kurumlar istemleri, iç belgeleri ve üretilen çıktıları kendi ağları içinde tutarken iş uygulamalarının ve yapay zekâ aracılarının modele yerel API üzerinden erişmesini sağlayabilir. Bu tasarımda AMD grafik donanımı için ROCm yazılım katmanı kullanılıyor; dolayısıyla söz konusu kurulum için NVIDIA CUDA tabanlı bir sistem zorunlu değil.

Bu yaklaşım, veri yerelliği, gizlilik veya ağ izolasyonu gereksinimleri bulunan ekiplerin ilgisini çekebilir. Ancak sorumluluğun önemli bir bölümü de işletmeciye geçiyor: donanım erişilebilirliği, güncellemeler, model dosyaları, erişim kontrolleri, izleme, soğutma, enerji tüketimi ve yazılım güvenilirliği kurum tarafından yönetilmeli.

Dört sistemin tahmini maliyeti

GEEKOM, A9 Mega’yı 3.999 dolar fiyatla listeliyor. Buna göre dört düğümün toplamı, ek depolama, kablolama, ağ ekipmanı, kurulum, elektrik, bakım ve destek giderleri hesaba katılmadan yaklaşık 15.996 dolar ediyor.

Bu, üretim ortamındaki özellikleri henüz bağımsız biçimde doğrulanmamış bir sistem için yüksek bir yatırım. Dolayısıyla değerlendirme yalnızca dört mini bilgisayarın satın alma fiyatıyla yapılmamalı; dağıtık bir çıkarım hizmetini işletmenin toplam maliyeti ve sistemin güvenilir biçimde destekleyebileceği iş yükü de hesaba katılmalı.

En büyük soru işareti: Performans

GEEKOM’un duyurusu, DeepSeek V4 Flash’ın dört A9 Mega üzerinde çalıştırıldığını ortaya koyuyor; ancak bu özel kurulum için bağımsız ve standartlaştırılmış sonuçlar sunmuyor. Sürekli üretim hızı, ilk belirtece kadar geçen süre, eşzamanlı kullanıcı sayısı, uzun bağlam gecikmesi, güç tüketimi veya düğüm arızası davranışı hakkında paylaşılmış ölçümler bulunmuyor.

Bu nedenle gösterim, doğrulanmış bir üretim benchmark’ından çok bir kurulum kanıtı olarak görülmeli. Modelin bir milyon tokenlık bağlam desteği önemli bir teknik özellik; fakat dört düğümlü A9 Mega kümesinin milyon tokenlık istekleri hızlı veya ekonomik biçimde işleyebildiğini göstermiyor. Gerçek performans; model derlemesine, hassasiyet ve kuantalamaya, bellek dağılımına, istem uzunluğuna, eşzamanlı istek sayısına ve düğümler arası iletişim yüküne bağlı olacak.

GEEKOM’un donanımı ne kadar farklı?

Ryzen AI Max+ 395 platformu GEEKOM’a özgü değil. Başka üreticiler de aynı işlemciyi kullanan ve bazı durumlarda 128 GB birleşik belleğe sahip mini bilgisayarlar satıyor. Minisforum N5 Max de benzer bir tasarım sunuyor. Ancak ServeTheHome’un aktardığına göre perakende N5 Max, daha önceki bir prototipte görülen 128 GB yerine 64 GB lehimli LPDDR5X birleşik bellekle gönderildi.

Bu tablo, GEEKOM’un asıl farkının işlemcinin kendisinden çok, iddia edilen dört düğümlü yazılım gösterimi olduğunu düşündürüyor. Yaklaşımın teknik bir vitrin olmaktan çıkıp gerçek kullanımda değer üretip üretmeyeceği; tekrarlanabilir kurulum talimatları, standart benchmark’lar, ağ ölçümleri, güç tüketimi verileri ve gerçekçi iş yükleri altında kararlı çalışma kanıtları gibi henüz yayımlanmamış ayrıntılara bağlı.

Sonuç

GEEKOM’un kurulumu, büyük bellekli bir AMD yapay zekâ platformunun dört mini bilgisayarla nasıl oluşturulabileceğini gösteriyor: toplam 64 CPU çekirdeği, 128 iş parçacığı, 160 Radeon 8060S hesaplama birimi ve 512 GB birleşik bellek; USB4 üzerinden bağlanıyor ve Ubuntu, ROCm ile DwarfStar tarafından yönetiliyor.

Bu yapının temel vaadi, çok büyük bir Mixture-of-Experts modeline tanıdık bir API üzerinden yerel ve özel erişim sağlamak. Ancak mevcut kanıtlar yalnızca kurulumun varlığını doğruluyor; hız, verimlilik veya üretime hazır olma konusunda kesin bir sonuç sunmuyor. GEEKOM tekrarlanabilir benchmark’ları ve uygulama ayrıntılarını yayımlayana kadar bu küme, özel yapay zekâ altyapısının kanıtlanmış bir alternatifi değil, ilgi çekici bir şirket içi teknoloji gösterimi olarak değerlendirilmeli.