Apa itu Naive-N0.5-Flash? Memahami model 309 bilion parameter keluaran NaiveAI

Naive-N0.5-Flash ialah model dengan pemberat terbuka daripada NaiveAI, yang disasarkan untuk pengekodan serta penyelidikan dan pembangunan (R&D) kecerdasan buatan. Tarikan utamanya ialah gabungan seni bina campuran pakar (MoE) dengan 309 bilion parameter, konteks asli yang didakwa mencecah 1 juta token, dan sistem inferens tersendiri bernama NaiveRT.24

Perbezaan pentingnya: 15.5 bilion parameter aktif bagi setiap token bukan bermakna keseluruhan model hanya mempunyai 15.5 bilion parameter. Angka itu merujuk kepada bahagian parameter yang diaktifkan untuk pengiraan bagi setiap token. NaiveAI menyatakan pemberat model dan kod inferensnya dikeluarkan di bawah lesen MIT.247

Bagaimana model MoE 309 bilion ini berfungsi?

Model MoE mengaktifkan sebahagian daripada keseluruhan set parameternya untuk memproses sesuatu token. Menurut kad modelnya, Naive-N0.5-Flash mempunyai 309 bilion parameter keseluruhan dan 15.5 bilion parameter aktif bagi setiap token.2 Jadi, angka 15.5 bilion itu menerangkan pengiraan jarang model, bukannya jumlah keseluruhan pemberatnya.

NaiveAI menyasarkan model ini untuk kerja pengekodan dan R&D AI. Model tersebut dibangunkan lanjut daripada model asas MiMo-V2.5 keluaran Xiaomi, dan bukan dibina sepenuhnya dari awal.12

Konteks sejuta token tanpa lapisan perhatian penuh

NaiveAI menyatakan model ini menyokong konteks asli 1 juta token melalui gabungan Sliding-Window Attention (SWA) dan DeepSeek Sparse Attention (DSA) yang ringan, tanpa menggunakan lapisan perhatian penuh. Bahan modelnya menerangkan susunan itu sebagai gabungan SWA–DSA yang kebanyakannya mengikut nisbah 5:1.27

Secara ringkas, SWA menumpukan perhatian pada lingkungan setempat, manakala DSA menggunakan kaedah perhatian jarang untuk membantu mengendalikan konteks yang lebih jauh. Reka bentuk ini bertujuan menyokong konteks panjang tanpa bergantung pada lapisan perhatian penuh. Namun, dakwaan sokongan sejuta token tidak dengan sendirinya membuktikan bahawa prestasinya sama baik untuk setiap tugasan yang melibatkan konteks panjang.

Apakah maksud angka kelajuan NaiveRT?

NaiveRT ialah sistem inferens yang dilancarkan bersama model ini. NaiveAI menyenaraikan gabungan teknik seperti cantuman mega-kernel, Programmatic Dependent Launch (PDL) dan penyahkodan spekulatif. Syarikat itu melaporkan kelajuan 50 token sesaat bagi setiap pengguna dalam mod Standard dan sehingga 2,000 token sesaat dalam mod Ultrafast.2

Angka ini ialah kelajuan yang dilaporkan oleh NaiveAI, bukan jaminan bahawa setiap pengguna akan mendapat prestasi yang sama dalam semua keadaan. Bahan model membezakan angka Standard bagi setiap pengguna daripada angka maksimum Ultrafast; kedua-duanya bukan ukuran yang setara dan tidak wajar dianggap sebagai satu kadar kelajuan yang dijangka.2

Ringkasnya

Naive-N0.5-Flash menonjol melalui gabungan ciri yang didakwanya: pemberat terbuka berlesen MIT, pengaktifan jarang dalam model MoE 309 bilion parameter, konteks asli sejuta token tanpa lapisan perhatian penuh, serta sistem penyajian khusus.247 Bagi pembangun dan penyelidik yang mahu menilainya, spesifikasi tersebut perlu dibezakan daripada mutu prestasi yang telah dibuktikan dan kelajuan dalam penggunaan sebenar. Bahan pelancaran yang dirujuk menerangkan keupayaan serta dakwaan kelajuan model, tetapi tidak dengan sendirinya membuktikan hasil untuk sesuatu aliran kerja pengekodan atau penyelidikan tertentu.