Platformun ardındaki fikir, ham veri depolamadan model dağıtımına ve AI ajanlarına kadar tüm AI yaşam döngüsünü entegre bir yığın içinde birbirine bağlamak. Huawei, parçalanmış altyapının AI benimsenmesini yavaşlattığını savunuyor ve bu nedenle veri boru hatları, çıkarım altyapısı ve orkestrasyon katmanlarının sıkı bir şekilde entegre edildiği bir sistem tasarladı.

Beş Katmanlı Mimari

Huawei platformu, her biri kurumsal AI hattının farklı bir bölümünü destekleyen beş katmanlı bir yığın olarak tanımlıyor.

1. Depolama Katmanı

Temel, büyük AI veri kümelerini ve vektör yerleştirmelerini depolamak için tasarlanmış, Huawei'nin dağıtık ölçeklenebilir depolama platformu olan OceanStor Pacific'tir. Sistem, AI eğitimi ve çıkarım ortamlarında tipik olan yüksek yoğunluklu kapasite ve büyük ölçekli veri işleme iş yükleri için optimize edilmiştir.

Huawei, OceanStor Pacific'in 2U'luk bir kasada 11 petabayta kadar depolama kapasitesine ulaşabileceğini ve büyük AI veri merkezleri için yüksek yoğunluk sunarken toplam sahip olma maliyetini (TCO) düşürmeyi hedeflediğini bildiriyor.

2. Veri Yönetimi Katmanı

Depolamanın üzerinde, birleşik bir veri yönetimi platformu olarak işlev gören DME Omni-Dataverse bulunur. Platform, ortamlar arasında verileri toplar ve yöneterek aşağıdakilere olanak tanır:

• Çok modlu (multimodal) veri alımı
• Çapraz site veri yönetimi
• Küresel veri görünürlüğü ve kontrolü
• Son derece büyük vektör veri kümelerinden hızlı erişim

Huawei ve ilgili haberlere göre platform, yüz milyarlarca vektör arasında saniye düzeyinde arama yaparak AI modellerinin bilgi tabanlarına ve yerleştirmelere ölçekte erişmesini sağlayabiliyor.

3. Model Dağıtımı ve Çıkarım Katmanı

Bir sonraki katman, AI modellerini verimli bir şekilde dağıtmaya ve çalıştırmaya odaklanıyor.

Temel teknolojiler şunları içerir:

• Context Memory Storage (CMS) – büyük çıkarım kümeleri için tasarlanmış bir bellek mimarisi
• ModelEngine – AI modellerini dağıtmak ve yönetmek için Huawei'nin çalışma zamanı ortamı

CMS, heterojen bilgi işlem ortamlarını destekler ve büyük KV-önbellek bellek kaynaklarını havuzlayarak çıkarım iş yüklerini hızlandırmaya yardımcı olur. Huawei, bu mimarinin çıkarım sırasında ilk token'ı oluşturma gecikmesini önemli ölçüde azaltabileceğini iddia ediyor.

ModelEngine ise model ağ geçidi yetenekleri ve minimum konfigürasyonla yeni modellerin hızlı bir şekilde dağıtılması için araçlar sağlıyor.

4. AI Ajan Orkestrasyon Katmanı

Huawei ayrıca, iş akışları genelinde AI ajanlarını düzenlemek için ModelEngine ile birlikte çalışan Nexent kurumsal AI ajan platformunu da tanıttı.

Amaç, kuruluşların AI modellerini operasyonel görevlere (otomasyon, karar desteği veya müşteri etkileşimi gibi) birden çok modeli ve aracı koordine eden ajan sistemleri aracılığıyla doğrudan bağlamasını sağlamaktır.

Huawei'nin mimarisinde bu katman, dağıtılan modelleri verilerle, uygulamalarla ve kullanıcılarla etkileşime girebilen pratik kurumsal AI ajanlarına dönüştürüyor.

5. Veri Dayanıklılığı Katmanı

Son katman, güvenlik, güvenilirlik ve veri korumasına odaklanıyor. Huawei, bunu AI verilerini ve altyapısını arızalara ve siber saldırılara karşı koruyan uçtan uca bir dayanıklılık çerçevesi olarak tanımlıyor.

Haberlerde vurgulanan yetenekler şunları içeriyor:

• Değişmez anlık görüntüler ve yedek kopyalar
• Uçtan uca veri koruması
• Olağanüstü durum kurtarma ve dayanıklılık araçları

Bu özellikler, AI operasyonlarını aksatabilecek fidye yazılımı saldırıları ve diğer veri bütünlüğü risklerine karşı savunma sağlamak için tasarlanmıştır. Bazı raporlar, dayanıklılık katmanını AI boru hatlarındaki veri kalitesi tehditlerine karşı daha geniş korumalarla ilişkilendirse de, belirli teknik detaylar sınırlıdır.

Performans ve Verimlilik İddiaları

Huawei, platformu kurumsal AI dağıtımını hızlandırmanın ve çıkarım performansını iyileştirmenin bir yolu olarak sundu.

Haberlerde belirtilen örnekler şunları içeriyor:

• CMS ve bellek yönetimi optimizasyonları sayesinde bazı çıkarım senaryolarında 10 kata kadar daha hızlı token oluşturma.
• Entegre orkestrasyon ve platform araçları sayesinde AI uygulama dağıtımının haftalardan günlere düşürülmesi.
• KV-önbellek bellek optimizasyonu ve birleşik önbellek yönetimi gibi tekniklerle çıkarım hızlandırma.

Çoğu satıcı kıyaslamasında olduğu gibi, bu rakamlar Huawei'nin dahili testlerini veya belirli iş yüklerini yansıtmaktadır, evrensel performans sonuçlarını değil.

Erken Kurumsal Dağıtımlar

Huawei ayrıca altyapısının kurumsal ortamlarda erken benimsenmesini vurguladı.

Örneğin, Fransız perakendeci Auchan, modernizasyon çabalarının bir parçası olarak Fransa'daki üç veri merkezinde Huawei donanımı ve veri merkezi altyapı kümeleri dağıttı.

Raporlar Huawei altyapısının dağıtımını doğrularken, kamuya açık kaynaklar Auchan'ın bulut maliyeti düşüşlerini açıkça Huawei'nin platformuna atfetmemektedir. Kanıtlar bunun yerine, birden çok teknolojiyi ve bulut sağlayıcısını içerebilecek perakendecinin BT ortamının daha geniş bir modernizasyonunu göstermektedir.

Huawei Neden Full-Stack AI Altyapısı Kuruyor?

Bu duyuru, sektörün dikey olarak entegre AI altyapısına doğru daha geniş bir kaymasını yansıtıyor. Satıcılar, depolama, model dağıtımı ve orkestrasyon için ayrı araçlar yerine, bunları aşağıdakiler için tasarlanmış birleşik platformlarda birleştiriyor:

• Büyük ölçekli AI çıkarım kümeleri
• Kurumsal AI ajanları
• Veri merkezli AI boru hatları

Huawei'nin yaklaşımı büyük ölçüde veri altyapısına odaklanıyor; veri depolama, vektör erişimi, bellek önbelleğe alma ve orkestrasyonu ikincil bileşenler olarak değil, AI performansının temel unsurları olarak ele alıyor.

İşletmeler bu mimariyi yaygın olarak benimserse, platform, ham verileri, AI modellerini ve ajan sistemlerini tek bir yığın içinde birbirine bağlayarak AI odaklı veri merkezleri için operasyonel omurga görevi görebilir.

Platformun ardındaki fikir, ham veri depolamadan model dağıtımına ve AI ajanlarına kadar tüm AI yaşam döngüsünü entegre bir yığın içinde birbirine bağlamak. Huawei, parçalanmış altyapının AI benimsenmesini yavaşlattığını savunuyor ve bu nedenle veri boru hatları, çıkarım altyapısı ve orkestrasyon katmanlarının sıkı bir şekilde entegre edildiği bir sistem tasarladı.

Beş Katmanlı Mimari

Huawei platformu, her biri kurumsal AI hattının farklı bir bölümünü destekleyen beş katmanlı bir yığın olarak tanımlıyor.

1. Depolama Katmanı

Temel, büyük AI veri kümelerini ve vektör yerleştirmelerini depolamak için tasarlanmış, Huawei'nin dağıtık ölçeklenebilir depolama platformu olan OceanStor Pacific'tir. Sistem, AI eğitimi ve çıkarım ortamlarında tipik olan yüksek yoğunluklu kapasite ve büyük ölçekli veri işleme iş yükleri için optimize edilmiştir.

Huawei, OceanStor Pacific'in 2U'luk bir kasada 11 petabayta kadar depolama kapasitesine ulaşabileceğini ve büyük AI veri merkezleri için yüksek yoğunluk sunarken toplam sahip olma maliyetini (TCO) düşürmeyi hedeflediğini bildiriyor.

2. Veri Yönetimi Katmanı

Depolamanın üzerinde, birleşik bir veri yönetimi platformu olarak işlev gören DME Omni-Dataverse bulunur. Platform, ortamlar arasında verileri toplar ve yöneterek aşağıdakilere olanak tanır:

• Çok modlu (multimodal) veri alımı
• Çapraz site veri yönetimi
• Küresel veri görünürlüğü ve kontrolü
• Son derece büyük vektör veri kümelerinden hızlı erişim

Huawei ve ilgili haberlere göre platform, yüz milyarlarca vektör arasında saniye düzeyinde arama yaparak AI modellerinin bilgi tabanlarına ve yerleştirmelere ölçekte erişmesini sağlayabiliyor.

3. Model Dağıtımı ve Çıkarım Katmanı

Bir sonraki katman, AI modellerini verimli bir şekilde dağıtmaya ve çalıştırmaya odaklanıyor.

Temel teknolojiler şunları içerir:

• Context Memory Storage (CMS) – büyük çıkarım kümeleri için tasarlanmış bir bellek mimarisi
• ModelEngine – AI modellerini dağıtmak ve yönetmek için Huawei'nin çalışma zamanı ortamı

CMS, heterojen bilgi işlem ortamlarını destekler ve büyük KV-önbellek bellek kaynaklarını havuzlayarak çıkarım iş yüklerini hızlandırmaya yardımcı olur. Huawei, bu mimarinin çıkarım sırasında ilk token'ı oluşturma gecikmesini önemli ölçüde azaltabileceğini iddia ediyor.

ModelEngine ise model ağ geçidi yetenekleri ve minimum konfigürasyonla yeni modellerin hızlı bir şekilde dağıtılması için araçlar sağlıyor.

4. AI Ajan Orkestrasyon Katmanı

Huawei ayrıca, iş akışları genelinde AI ajanlarını düzenlemek için ModelEngine ile birlikte çalışan Nexent kurumsal AI ajan platformunu da tanıttı.

Amaç, kuruluşların AI modellerini operasyonel görevlere (otomasyon, karar desteği veya müşteri etkileşimi gibi) birden çok modeli ve aracı koordine eden ajan sistemleri aracılığıyla doğrudan bağlamasını sağlamaktır.

Huawei'nin mimarisinde bu katman, dağıtılan modelleri verilerle, uygulamalarla ve kullanıcılarla etkileşime girebilen pratik kurumsal AI ajanlarına dönüştürüyor.

5. Veri Dayanıklılığı Katmanı

Son katman, güvenlik, güvenilirlik ve veri korumasına odaklanıyor. Huawei, bunu AI verilerini ve altyapısını arızalara ve siber saldırılara karşı koruyan uçtan uca bir dayanıklılık çerçevesi olarak tanımlıyor.

Haberlerde vurgulanan yetenekler şunları içeriyor:

• Değişmez anlık görüntüler ve yedek kopyalar
• Uçtan uca veri koruması
• Olağanüstü durum kurtarma ve dayanıklılık araçları

Bu özellikler, AI operasyonlarını aksatabilecek fidye yazılımı saldırıları ve diğer veri bütünlüğü risklerine karşı savunma sağlamak için tasarlanmıştır. Bazı raporlar, dayanıklılık katmanını AI boru hatlarındaki veri kalitesi tehditlerine karşı daha geniş korumalarla ilişkilendirse de, belirli teknik detaylar sınırlıdır.

Performans ve Verimlilik İddiaları

Huawei, platformu kurumsal AI dağıtımını hızlandırmanın ve çıkarım performansını iyileştirmenin bir yolu olarak sundu.

Haberlerde belirtilen örnekler şunları içeriyor:

• CMS ve bellek yönetimi optimizasyonları sayesinde bazı çıkarım senaryolarında 10 kata kadar daha hızlı token oluşturma.
• Entegre orkestrasyon ve platform araçları sayesinde AI uygulama dağıtımının haftalardan günlere düşürülmesi.
• KV-önbellek bellek optimizasyonu ve birleşik önbellek yönetimi gibi tekniklerle çıkarım hızlandırma.

Çoğu satıcı kıyaslamasında olduğu gibi, bu rakamlar Huawei'nin dahili testlerini veya belirli iş yüklerini yansıtmaktadır, evrensel performans sonuçlarını değil.

Erken Kurumsal Dağıtımlar

Huawei ayrıca altyapısının kurumsal ortamlarda erken benimsenmesini vurguladı.

Örneğin, Fransız perakendeci Auchan, modernizasyon çabalarının bir parçası olarak Fransa'daki üç veri merkezinde Huawei donanımı ve veri merkezi altyapı kümeleri dağıttı.

Raporlar Huawei altyapısının dağıtımını doğrularken, kamuya açık kaynaklar Auchan'ın bulut maliyeti düşüşlerini açıkça Huawei'nin platformuna atfetmemektedir. Kanıtlar bunun yerine, birden çok teknolojiyi ve bulut sağlayıcısını içerebilecek perakendecinin BT ortamının daha geniş bir modernizasyonunu göstermektedir.

Huawei Neden Full-Stack AI Altyapısı Kuruyor?

Bu duyuru, sektörün dikey olarak entegre AI altyapısına doğru daha geniş bir kaymasını yansıtıyor. Satıcılar, depolama, model dağıtımı ve orkestrasyon için ayrı araçlar yerine, bunları aşağıdakiler için tasarlanmış birleşik platformlarda birleştiriyor:

• Büyük ölçekli AI çıkarım kümeleri
• Kurumsal AI ajanları
• Veri merkezli AI boru hatları

Huawei'nin yaklaşımı büyük ölçüde veri altyapısına odaklanıyor; veri depolama, vektör erişimi, bellek önbelleğe alma ve orkestrasyonu ikincil bileşenler olarak değil, AI performansının temel unsurları olarak ele alıyor.

İşletmeler bu mimariyi yaygın olarak benimserse, platform, ham verileri, AI modellerini ve ajan sistemlerini tek bir yığın içinde birbirine bağlayarak AI odaklı veri merkezleri için operasyonel omurga görevi görebilir.