Huawei’nin Atlas 960E Hamlesi: UnifiedBus dev yapay zekâ kümelerini daha verimli kılabilir mi?

Huawei’nin yeni yapay zekâ altyapısı tek bir varsayıma dayanıyor: Çok büyük ölçekli model eğitiminde verimliliği sınırlayan unsur, yalnızca hızlandırıcıların ham hesaplama gücü olmayabilir. Parametrelerin, ara aktivasyonların, önbelleklerin ve bellek erişimlerinin binlerce işlemci arasında taşınması da kritik bir darboğaz hâline gelir. Atlas 960E SuperPoD, Ascend 960 yol haritası ve UnifiedBus, Huawei’nin bu soruna verdiği yanıt olarak konumlanıyor. Ancak şirketin performans ve verimlilik rakamları ürün iddialarıdır; bağımsız testlerle doğrulanmış kıyaslamalar olarak görülmemelidir. 918

Hedef: kümeyi ayrı sunucular yerine tek bir sistem gibi çalıştırmak

Geleneksel büyük kümelerde CPU’lar, hızlandırıcılar, depolama ve bellek çoğu zaman birden fazla protokolle bağlanan ayrı kaynaklar olarak ele alınır. Huawei, UnifiedBus’ın 10’dan fazla bağlantı protokolünü tek bir protokol ve bellek semantiği altında birleştirdiğini; CPU, NPU, bellek ve SSD’ler arasında doğrudan eşler arası erişim sağladığını söylüyor. 18

Pratikte amaç, sistemin bekleme süresini azaltmak. Yazılımın izole düğümler arasında veriyi tekrar tekrar kopyalaması veya açıkça senkronize etmesi yerine, SuperPoD içindeki belleğe ortak bir küresel adres alanı üzerinden erişmesi hedefleniyor. Böylece bir hızlandırıcının yerel belleğine sığmayan büyük modeller ve ara veriler için dağıtık bellek, daha kullanılabilir ortak bir kaynak hâline gelebilir. 18

Huawei’ye göre mimari, bağlantı kapasitesini yaklaşık 100 GB/s düzeyinden TB/s sınıfına çıkarıyor; gidiş-dönüş gecikmesini de yaklaşık 7 mikrosaniyeden 2 mikrosaniyeye indiriyor. Bunlar, Huawei’nin hedeflediği UnifiedBus tasarımına ilişkin rakamlardır; rakip sistemlerle bağımsız ve eşdeğer koşullarda yapılmış genel bir karşılaştırma değildir. 18

Atlas 960E: SuperPoD ölçeğinde yakın paketli optik

Atlas 960E SuperPoD, gelecek nesil Ascend 960 işlemcileri; UnifiedBus’ı ve Huawei’nin Hi-ONE yakın paketli optik (NPO) motorunu bir araya getiriyor. Huawei, tamamen sıvı soğutmalı bu sistemi, 10 trilyona kadar parametreye sahip modellerde eğitim ve çıkarım işlemleri için tasarlanmış NPO tabanlı bir SuperPoD olarak tanımlıyor. 9

Açıklanan en yüksek yapılandırma, birleşik bellek adreslemesine sahip 4.096 NPU içeriyor. Huawei bu yapılandırma için FP8’de 8 EFLOPS, FP4’te ise 16 EFLOPS performans iddiasında bulunuyor. 9

Yakın paketli optik, bant genişliği ve küme ölçeği büyüdükçe elektriksel bağlantıların ölçeklenmesinin zorlaşması nedeniyle tasarımın merkezinde yer alıyor. Huawei, her Hi-ONE optik motorunun 7,2 Tbit/s sağladığını belirtiyor. Şirketin öngörüsüne göre 4.096 NPU’lu sistemde yaklaşık 5.500 Hi-ONE motoru, yaklaşık 48.000 geleneksel 800G optik modülün yerini alabilecek; bu da 550 kW’ın üzerinde güç tasarrufu ve %99,8 kullanılabilirlik sağlayabilecek. Bunlar Huawei’nin kendi tasarımı için açıkladığı projeksiyonlardır. 9

Mimarinin farklı ölçeklerdeki parçaları

Huawei, kümenin fiziksel katmanlarına göre farklı ürünler de tanımlıyor:

• LinkBlade, kabinet içi bağlantı için kablosuz tasarımlı bir UnifiedBus bileşeni. Huawei, kablolamadan kaynaklanan devre kayıplarını ortadan kaldırdığını ve 4.096 NPU’lu SuperPoD yapılandırmasında yaklaşık 196 km bakır kabloyu kaldırabildiğini söylüyor. 18
• LinkDevice, kabinetler arası optik bağlantı için tasarlanıyor. Huawei’ye göre 1,6 Tbit/s hızında 176 bağlantı noktası, toplam 280 Tbit/s bant genişliği ve 2 mikrosaniyeye kadar inen gidiş-dönüş gecikmesi sunuyor. 18
• UBG anahtarları, SuperPoD’ları birbirine bağlayacak küme düzeyindeki katman olarak konumlanıyor. Huawei, iki katmanlı ve dört düzlemli Clos ağ topolojisinde 512.000 NPU’ya; çoklu hat topolojisiyle ise 1 milyon NPU’ya kadar ölçeklenebileceğini belirtiyor. Bu rakamlar, mimarinin hedeflediği ölçeği anlatıyor; hâlihazırda kurulmuş milyon-NPU kümelerinin kanıtı değil. 18

Dev bir SuperPoD’a ihtiyaç duymayan kuruluşlar içinse Atlas 650E daha küçük bir seçenek olarak sunuluyor. UnifiedBus Link 2.0 tabanlı 16 NPU’lu tam ağ (full-mesh) yapılandırmasında, çip üzeri bellek için 4,0 TB/s’ye kadar okuma-yazma bant genişliği ve 16 NPU’lu sunucu başına 13,4 TB/s UB Link bant genişliği listeleniyor. 20

Ascend 960 yol haritası: eğitim ve çıkarım için iki sürüm

Huawei, Ascend 960 geliştirme sürecinin şirket beklentilerini aştığını ve planlanan performansın iki katına çıktığını belirtiyor. Ancak bu beyanı doğrulayacak ayrıntılı, bağımsız kıyaslama sonuçları kamuya açıklanmış değil. 11

Açıklanan takvim şöyle:

• Ascend 960DT: Kod çözme ve model eğitimi için konumlandırılan sürümün 2027’nin ilk çeyreğinde çıkması planlanıyor. Bu tarih, Huawei’nin önceki yol haritasından üç çeyrek daha erken. 111
• Ascend 960PR: Ön doldurma (prefill), tavsiye sistemleri ve çıkarım için konumlandırılan sürümün 2027’nin üçüncü çeyreğinde hazır olması bekleniyor. Bu da önceki takvimin bir çeyrek önünde. 111

Huawei ayrıca önceki nesil Atlas 950 SuperPoD sistemlerinin büyük ölçekli ticari kullanımda olduğunu söyledi. Bu açıklama, yaklaşan Ascend 960 nesline bağlı Atlas 960E donanımının hâlihazırda sahada olduğu anlamına gelmiyor. 39

UnifiedBus, Nvidia NVLink ve açık bağlantı girişimleriyle nasıl ayrışıyor?

UnifiedBus, özünde Nvidia NVLink gibi hızlandırıcı ara bağlantılarının çözmeye çalıştığı aynı genel probleme Huawei’nin sistem düzeyinde geliştirdiği bir yanıt: Çok sayıda hızlandırıcının veriye yeterince hızlı erişmesini ve birbirleriyle hızlı iletişim kurmasını sağlamak; böylece ölçek büyüdükçe hesaplama kazancının senkronizasyon yükü nedeniyle erimemesini hedeflemek.

Huawei’nin öne çıkardığı farklar; daha geniş protokol birleştirmesi, SuperPoD içindeki küresel bellek adreslemesi, farklı donanım bileşenleri arasında doğrudan erişim ve NPO’nun SuperPoD düzeyinde mimariye dâhil edilmesi. 189

Bununla birlikte mevcut bilgiler, UnifiedBus ile NVLink arasında bant genişliği, gecikme, yazılım ekosisteminin olgunluğu, güvenilirlik, maliyet veya gerçek eğitim verimi bakımından doğrudan ve adil bir karşılaştırma kurmaya yetmiyor. Ayrıca UnifiedBus, açık hızlandırıcı bağlantı girişimlerinin yönetişim ya da çok üreticili birlikte çalışabilirlik hedefleriyle kıyaslanabilecek açık bir standart olarak sunulmuyor. Huawei bunu kendi mimarisi ve ürün ekosistemi olarak tanıtıyor. 18

Stratejinin işe yaradığını ne gösterecek?

Huawei’nin duyurusu, yapay zekâ altyapısı stratejisinde işlemcinin yanı sıra ara bağlantıyı, optiği, ağ topolojisini ve bellek semantiğini merkeze koyması bakımından önemli. Bir iş yükü, tek tek çiplerin hesaplama kapasitesi kadar veri iletişimi ve bellek kapasitesiyle de sınırlanıyorsa bu yaklaşım stratejik bir avantaj sağlayabilir.

Belirleyici kanıtlar daha sonra ortaya çıkacak: Ascend 960 ve Atlas 960E sistemlerinin sevkiyatı, gerçek iş yüklerinde ölçülebilir eğitim verimi ve kullanım oranı, kullanılabilir yazılım araçları, büyük ölçekte güvenilirlik ve bu sistemlerin yüksek hacimde tedarik edilebilmesi. O zamana kadar 4.096 NPU’lu SuperPoD ve milyon-NPU’lu SuperCluster rakamları, bağımsız biçimde gösterilmiş sonuçlardan çok iddialı mimari hedefler olarak değerlendirilmelidir. 91118