Zhipu AI’nin GLM-5.3-FlashX’i ne sunuyor?

GLM-5.3-FlashX’i yeni bir model mimarisinden çok, GLM-5.3-Flash’in daha hızlı yanıt vermesi için sunulan API seçeneği olarak okumak gerekiyor. Temel Flash modeli açık ağırlıklı; FlashX içinse ayrı bir açık ağırlık yayını veya mimari değişiklik belgelenmiş değil. 14

Hız iddiası ne anlama geliyor?

GLM-5.3-Flash, görüntü ve metin gibi farklı veri türleriyle çalışabilen bir uzmanlar karışımı modeli. Toplam 320 milyar parametresinin 18 milyarı işlem sırasında etkinleşiyor; Zhipu ayrıca 1 milyon tokenlık bir bağlam penceresi sunulduğunu belirtiyor. 17

Şirket, FlashX’in saniyede 200 çıktı tokenına kadar ulaşabildiğini söylüyor. Bu bir üst hız iddiası; aynı koşullarda Flash ile yapılmış, FlashX’in sürekli olarak ne kadar hızlı olduğunu gösteren bağımsız bir karşılaştırma değil. 14

100 bin hızlandırıcı ve Infra Agent

Zhipu’ya göre Flash’in üretim trafiği, Çin’de üretilmiş 100 binden fazla yapay zekâ hızlandırıcısında çalışıyor. Şirket, GLM-5.3 ile çalışan Infra Agent adlı yazılım aracısının darboğazları saptamaya, kod değişikliklerine ve modeli kullanıcılara sunan sistemin optimizasyonuna yardımcı olduğunu anlatıyor. Aktarılan çalışmalar arasında KV verisi aktarımındaki eşzamanlılık sorununun hafifletilmesi ve çıktı üretiminde kullanılan bir çekirdeğin iyileştirilmesi var. 67

Zhipu, ilk çalışır sürümden üretim trafiğini taşıyan sisteme geçişin iki haftadan kısa sürdüğünü ve uçtan uca işlem kapasitesinin başlangıç düzeyinin 3,2 katına çıktığını bildiriyor. Bu, sistemin toplam işleme kapasitesine ilişkin bir rakam; tek bir kullanıcının saniyede aldığı token sayısıyla karıştırılmamalı. 1315

Verimlilik, müşteriye daha düşük fiyat demek mi?

Şirket, donanım kullanım veriminin ve sunucu tarafındaki token başına maliyetin yaygın Nvidia GPU kurulumlarıyla karşılaştırılabilir olduğunu savunuyor. Alıntılanan haberlerde bu karşılaştırmayı doğrulayan bağımsız, aynı koşullarda yapılmış bir maliyet denetimi bulunmuyor. 67

Müşterinin ödediği API fiyatı ise ayrı bir konu: Liste fiyatlarında milyon giriş/çıkış tokenı için FlashX 0,37/1,25 ABD doları, Flash 0,15/0,50 ABD doları. Dolayısıyla FlashX’in çıktı tokenı fiyatı 2,5 kat yüksek. 45

Açık kalan soru, bu rakamların gerçek kullanımda ne kadar tekrarlanabildiği. FlashX’in yoğun eşzamanlı trafikte sürdürülebilir hızı, gecikmesi ve güvenilirliği; hızlandırıcı sayısı ve trafiğin kapsamı; Infra Agent’ın insan mühendislerden bağımsız katkısı; 3,2 katlık artışın ölçüm koşulları ve Nvidia ile maliyet karşılaştırması bağımsız doğrulama gerektiriyor. Mevcut anlatımların büyük bölümü Zhipu’nun beyanlarını aktarıyor. 1613