Naive-N0.5-Flash: 309 milyar parametre, 1 milyon token bağlam

Naive-N0.5-Flash, NaiveAI’nin kodlama ve yapay zekâ araştırma-geliştirme (Ar-Ge) çalışmaları için geliştirdiği açık ağırlıklı bir model. Öne çıkan özellikleri; toplam 309 milyar parametreli karışık uzmanlar (MoE) mimarisi, token başına etkinleşen 15,5 milyar parametresi, şirketin belirttiği yerel 1 milyon tokenlık bağlam penceresi ve NaiveRT adlı özel çıkarım sistemi.24

Buradaki önemli ayrım, modelin toplam kapasitesiyle her token için kullanılan hesaplama miktarı arasında: 15,5 milyar etkin parametre, modelin toplamda yalnızca bu kadar parametreden oluştuğu anlamına gelmiyor. NaiveAI, model ağırlıklarını ve çıkarım kodunu MIT lisansı altında yayımladığını da belirtiyor.47

309 milyar parametreli MoE yapısı nasıl çalışıyor?

Karışık uzmanlar (MoE) mimarisinde, model her tokenı işlerken parametrelerinin yalnızca bir bölümünü etkinleştirir. Model kartına göre Naive-N0.5-Flash’in toplam parametre sayısı 309 milyar; token başına etkin parametre sayısı ise 15,5 milyar.2 İkinci sayı toplam ağırlık miktarını değil, hesaplamanın seyrek biçimde yürütülmesini anlatıyor.

NaiveAI modeli kodlama ve yapay zekâ Ar-Ge’si için konumlandırıyor. Model sıfırdan geliştirilmiş olarak sunulmuyor; Xiaomi’nin MiMo-V2.5 temel modeli üzerine ek eğitimle oluşturulmuş.12

Tam dikkat katmanları olmadan 1 milyon token bağlam

NaiveAI, modelin yerel olarak 1 milyon tokenlık bağlam penceresini desteklediğini söylüyor. Bu yapı, kayan pencere dikkati (SWA) ile hafif DeepSeek Seyrek Dikkat’i (DSA) bir araya getiriyor ve tam dikkat katmanları içermiyor. Model belgelerinde düzen, ağırlıklı olarak 5:1 SWA–DSA katman oranı şeklinde tarif ediliyor.27

Basitçe söylemek gerekirse SWA, dikkati yakın çevredeki tokenlara yöneltirken DSA daha uzaktaki bağlamı seyrek bir dikkat mekanizmasıyla ele alıyor. Bu tasarım, tam dikkat katmanlarına dayanmadan uzun bağlamları işlemeyi hedefliyor. Ancak 1 milyon tokenlık pencere, tek başına modelin bu uzunluktaki her görevi aynı başarıyla yerine getireceğini göstermez.

NaiveRT hız rakamları ne ifade ediyor?

Modelle birlikte yayımlanan çıkarım sistemi NaiveRT. NaiveAI, sistemde mega-kernel birleştirme, Programmatic Dependent Launch (PDL) ve spekülatif kod çözme gibi teknikler kullandığını belirtiyor. Şirketin bildirdiği hız, Standart modda kullanıcı başına saniyede 50 token; Ultrafast modda ise saniyede 2.000 tokene kadar.2

Bunlar üreticinin paylaştığı sunum hızlarıdır; her donanımda ve her iş yükünde görülecek performansın garantisi değildir. Ayrıca Standart moddaki kullanıcı başına hız ile Ultrafast mod için verilen üst sınır farklı ölçümlerdir; ikisini tek bir beklenen hız gibi değerlendirmemek gerekir.2

Öne çıkan nokta

Naive-N0.5-Flash’i dikkat çekici kılan, NaiveAI’nin birlikte sunduğu özellikler: MIT lisanslı açık ağırlıklar, seyrek etkinleşen 309 milyar parametreli MoE mimarisi, tam dikkat katmanları olmadan yerel 1 milyon token bağlam ve modele özel bir çıkarım sistemi.247 Yine de teknik özellikleri, belirli bir kodlama ya da araştırma iş akışındaki sonuçlardan ayrı değerlendirmek gerekir. Kaynaklardaki bilgiler modelin belirtilen kabiliyetlerini ve şirketin hız iddialarını aktarıyor; bunlar tek başına belirli bir kullanım senaryosundaki başarıyı kanıtlamıyor.