Xiaowei’nin arkasındaki WeLM: WeChat yapay zekâyı neden uygulamanın içine yerleştiriyor?

WeChat’in Xiaowei’sini yalnızca “yeni bir sohbet botu” olarak görmek, projenin asıl yönünü ıskalayabilir. Tencent’in sınırlı kullanıcı grubuyla yürüttüğü testteki asistan; metin ve ses komutlarını anlayarak WeChat’in yerleşik işlevlerine, kişi ağlarına ve mini programlarına erişmeyi hedefliyor. Kullanıcıların ayrı bir yapay zekâ uygulamasına geçmek yerine mesaj göndermek, arama başlatmak, bilgi aramak veya bir hizmeti açmak için WeChat’in içinden Xiaowei’ye seslenmesi bekleniyor. 151719

Bu yönüyle Xiaowei, Yuanbao gibi bağımsız bir yapay zekâ uygulamasına rakip olacak ayrı bir “hedef” oluşturmaktan çok, WeChat’in mevcut ekosistemine doğal dille erişim sağlayan bir komut katmanı olarak konumlanıyor.

WeLM ailesinin gelişimi

WeLM’in geçmişi, 2022’de yayımlanan 10 milyar parametreli Çince dil modeline kadar uzanıyor. Bu erken modelin 18 görevde güçlü sonuçlar verdiği aktarılıyor; ancak söz konusu kıyaslama ayrıntılarını erişilen kaynaklarla bağımsız olarak doğrulamak mümkün değil. 4

Kamuya açık bilgilerdeki güncel ve üretime dönük aşama ise WeLM-80B. Modelin öne çıkan özellikleri şöyle:

• Toplam parametre: 80 milyar
• Token başına etkin parametre: yaklaşık 3 milyar
• Eğitim verisi: 14 trilyon tokenın altında
• Bildirilmiş yetenekler: akıl yürütme, çok dilli anlama ve 128K bağlam penceresi 711

WeLM-80B’nin Xiaowei’ye güç verdiği; asistanın sohbet ve aramanın yanı sıra WeChat’in temel işlevlerini çağırabildiği ve mini program hizmetlerini açabildiği bildiriliyor. 89

Bir sonraki seviye olan WeLM-617B ise toplam 617 milyar parametreye ve token başına yaklaşık 23 milyar etkin parametreye sahip seyrek bir MoE modeli olarak tanımlanıyor. Ancak bu model hâlâ geliştirme aşamasında; tamamen kullanıma sunulmuş bir Xiaowei modeli olarak görülmemeli. Daha güçlü genel anlama ve mantıksal çıkarımın yanı sıra akıllı mini program geliştirme ve Xiaowei için araç üretimi gibi daha karmaşık ekosistem görevlerine ayrılması planlanıyor. 8912

Seyrek MoE mimarisi neden önemli?

MoE, yani Uzmanların Karışımı mimarisinde model tek bir dev ağ gibi her istekte bütün parametrelerini çalıştırmaz. Bir yönlendirici, her token için yalnızca belirli uzman ağlarını seçer. Böylece modelin toplam kapasitesi büyük tutulurken, her adımda yapılan hesaplama daha sınırlı kalır.

Bu mantık WeLM-80B’de açıkça görülüyor: modelin toplam kapasitesi 80 milyar parametre olsa da her token için yaklaşık 3 milyar parametre etkinleşiyor. WeLM-617B’de de 617 milyar parametrenin tamamı her token için hesaplanmıyor; etkin bölüm yaklaşık 23 milyar parametreyle sınırlı tutuluyor. 78

Bu fark, WeChat ölçeğinde kritik olabilir. Bir asistanın aynı anda arama, mesajlaşma, hizmet yönlendirme ve araç çağırma gibi tek tek bakıldığında basit görünen fakat çok sık tekrarlanan görevleri yüz milyonlarca kullanıcı için yerine getirmesi gerekir. Token başına etkin hesaplamayı düşürmek:

• daha yüksek işlem hacmi,
• daha düşük gecikme,
• daha verimli sunucu kullanımı,
• ve istek başına daha yönetilebilir maliyet

sağlayabilir. Üstelik model, ihtiyaç duyulduğunda daha geniş uzman kapasitesine erişmeye devam eder. 78

Yine de “3 milyar etkin parametre” ifadesi, 80 milyar parametreli bir modelin yoğun 3 milyar parametreli bir modelle birebir aynı maliyete sahip olduğu anlamına gelmez. Tüm uzman ağırlıklarının bellekte tutulması; ağırlıkların cihazlara dağıtılması, yönlendirme ve cihazlar arası iletişim gibi ek maliyetler yaratır. Kazanç esas olarak token başına yapılan aritmetik işlemlerin azalmasından gelir. Yani MoE yüksek hacimli kullanımı daha uygulanabilir kılar; maliyeti ortadan kaldırmaz.

Hidden Decoding daha fazla “gizli düşünme” alanı açabilir mi?

WeLM ekibinin araştırdığı Hidden Decoding, model kapasitesini artırmak için Transformer katmanlarını doğrudan derinleştirmek veya genişletmek yerine farklı bir yol izliyor. Yöntemde her girdi tokenı, ayrı gömme tablolarına sahip birden fazla iç akışa genişletiliyor. Bu akışların ara anahtar-değer (KV) durumları bağlam olarak korunuyor. Sonuç olarak model, dışarıya tek bir token üretirken içeride daha fazla hesaplama gerçekleştirebiliyor.

Bu yaklaşımın amacı, ana Transformer omurgasını büyütmeden token başına daha fazla gizli hesaplama ve dolayısıyla daha güçlü temsil ya da akıl yürütme elde etmek. Tencent’in eşleştirilmiş deneylerinde, dört akışlı WeLM-HD4-80B ve WeLM-HD4-617B sürümlerinin kendi Hidden Decoding içermeyen temel modellerinden daha iyi sonuç verdiği bildirildi. 16

Ancak her tokenı doğrudan çok sayıda akışa ayırmak, akışlar arasındaki dikkat hesaplamasını hızla pahalılaştırabilir. Akış sayısı (n) olduğunda, tüm akışlar arasında yoğun etkileşim kurulması ek maliyetin kabaca karesel büyümesine yol açabilir.

Burada Stream-Factorized Attention devreye giriyor. Tasarımın temelinde, katmanların çoğunda dikkati aynı akış içinde tutmak; yalnızca az sayıdaki katmanda akışlar arası bilgi alışverişine izin vermek var. Böylece ek dikkat maliyetinin büyümesi karesel yapıdan yaklaşık doğrusal bir yapıya yaklaştırılıyor. Tencent, bu tasarımın Hidden Decoding’i 100 milyar parametrenin üzerindeki MoE modellerinde eğitilebilir ve sunulabilir hâle getiren önemli sistem fikri olduğunu belirtiyor.

WeChat için olası stratejik sonuç

Seyrek MoE ile Hidden Decoding birlikte düşünüldüğünde, WeChat için kademeli bir yapay zekâ işletim modeli ortaya çıkıyor:

1. Günlük ve yüksek hacimli işler: WeLM-80B-A3B sınıfı verimli yönlendirme; arama, kısa sorular, mesajlar ve basit hizmet çağrıları.
2. Daha karmaşık işler: Daha güçlü model kapasitesi veya daha fazla gizli hesaplama; planlama, araç seçimi, çok adımlı görevler ve mini program geliştirme.
3. Ekosistem eylemleri: Kullanıcının doğal dildeki niyetini WeChat içindeki bir işleve dönüştürme: bulma, karar verme, çağırma ve tamamlamaya yardım etme.

Bu senaryoda kullanıcı, “hangi menüye girmeliyim?” diye düşünmek zorunda kalmaz; isteğini ifade eder ve asistan uygun WeChat hizmetini bulup çağırır. Xiaowei’nin gerçek etkisi de yanıt kalitesinden çok, bu yanıtları izinler, kimlik doğrulama, ödeme sistemleri, mini program API’leri, güvenilirlik kontrolleri ve kullanıcı onayıyla güvenli eylemlere dönüştürme becerisine bağlı olacaktır.

Dolayısıyla WeChat’in olası hamlesi, yeni bir bağımsız “AI süper uygulaması” kurmak değil; zaten mesajlaşma, hizmetler ve mini programlardan oluşan dev bir yüzeyin üzerine doğal dil tabanlı bir erişim katmanı eklemek. Xiaowei’nin bu vizyonu ne ölçüde gerçekleştireceği henüz kesinleşmiş değil; bu değerlendirme doğrulanmış bir ürün yol haritasından ziyade mevcut model ve entegrasyon yönelimlerinden çıkarılan stratejik bir sonuçtur.