Multiverse Computing & Qualcomm: AI Modelleri Dragonfly Hızlandırıcılarda Yüzde 93 Daha Hızlı

Gerçek zamanlı acil tıbbi raporlama (sıkıştırılmış büyük dil modeli):

• Yanıt sürelerinde yüzde 93'e varan hızlanma
• Verimde yüzde 44'e varan artış
• Bellek kullanımında yüzde 45'e varan azalma
• Güç tüketiminde yüzde 21'e varan düşüş
• Doğruluk kaybı yok

Gizli finansal belge RAG sohbet robotu:

• Yanıt sürelerinde yüzde 35'e varan hızlanma
• Verimde yüzde 54'e varan artış
• Bellek kullanımında yüzde 45'e varan azalma
• Güç tüketiminde yüzde 14'e varan düşüş
• Doğruluk kaybı yok

Tıbbi kullanım senaryosu için sonuçlar birden fazla yayın tarafından bağımsız olarak doğrulandı ve yüzde 93 daha hızlı yanıt süresi, yüzde 45 bellek tasarrufu ve yüzde 21 güç azaltımı teyit edildi . Multiverse Computing, daha yeni Dragonfly AI200/AI250 hızlandırıcılarda doğrudan çalıştırmanın daha da iyi sonuçlar vermesinin beklendiğini belirtti .

Nasıl Çalışıyor?

Multiverse Computing, yapay zeka modellerini dağıtımdan önce optimize ederek her modelin ihtiyaç duyduğu hesaplama ve bellek miktarını küçültüyor. Bu, mevcut donanımda boş alan yaratarak veri merkezi operatörlerinin yeni hızlandırıcılar eklemeden veya altyapıyı genişletmeden daha fazla çıkarım isteğine hizmet etmesine veya aynı anda daha fazla model çalıştırmasına olanak tanıyor .

Sektördeki Daha Geniş Dönüşüm

Bu işbirliği, veri merkezi sektöründe verimlilik odaklı yapay zeka altyapısına doğru yaşanan temel bir dönüşü yansıtıyor. Bu değişimin önemli sinyalleri:

• Qualcomm'un verimlilik DNA'sı: Qualcomm, mobil ve nesnelerin interneti (IoT) alanındaki liderliğini, katı güç ve ısı kısıtlamaları altında maksimum performans sağlama prensibi üzerine kurdu. Bu prensipler şimdi doğrudan yapay zeka veri merkezlerine uygulanıyor .
• Donanım seviyesinde yenilik: Qualcomm'un Dragonfly AI250'si, kart başına 133 TB/s etkin bellek bant genişliği sunan (AI200'den 18 kat daha fazla) Yüksek Bant Genişlikli Hesaplama (HBC) Nesil 1'i tanıtıyor. Bu, yapay zekanın maliyet ve enerji israfının büyük bir kısmını oluşturan çıkarım bellek darboğazına doğrudan müdahale ediyor .
• Orantılı maliyet olmadan ölçeklenme: Yapay zeka benimsenmesi hızlandıkça, operatörlerin donanım, enerji ve maliyette orantılı bir artış olmadan dağıtımları ölçeklendirmesi gerekiyor. Verimli donanımı optimize edilmiş modellerle birleştirmek bunu yapmanın pratik bir yolunu sunuyor .
• Sektör onayı: Her iki şirket de işbirliğini açıkça "performans, maliyet ve enerji verimliliğinde ölçekte çığır açan iyileştirmeler" olarak çerçeveledi. Qualcomm'dan Dino Flore, kurumsal ve bulut altyapısında yapay zeka benimsenmesi hızlandıkça "müşterilerin daha yüksek verimlilikle yüksek performans sunan çözümlere ihtiyaç duyduğunu" belirtti .

Bu ortaklık, sektörün "daha fazla GPU" zihniyetinden uzaklaşıp, sürdürülebilir yapay zeka ölçeklendirmesi için birincil kaldıracın yazılım-donanım ortak optimizasyonu olduğu performans-per-watt ve toplam sahip olma maliyeti (TCO) odaklı bir yaklaşıma geçişinin somut bir örneğidir.