Moonshot AI memosisikan Kimi K3 sebagai taruhan pada dua arah penskalaan: membangun model yang jauh lebih besar sebelum digunakan, lalu memberi model itu komputasi yang cukup saat digunakan untuk bernalar, memakai alat, menelusuri web, menulis kode, dan memperbaiki kesalahan. Tantangan utamanya adalah ekonomi. Model tidak bisa sekadar dibuat lebih padat dan lebih dalam bila biaya penyajian konteks panjang membuat kemampuan tersebut tidak praktis. Desain K3 ditujukan untuk menaikkan kapasitas total sambil membatasi komputasi dan memori yang dipakai setiap token yang dihasilkan. 
1
Bedakan kapasitas total dan komputasi aktif
Kimi K3 dijelaskan sebagai model mixture-of-experts (MoE) multimodal bawaan dengan 2,8 triliun parameter total, sekitar 104 miliar parameter yang diaktifkan per token, serta jendela konteks hingga satu juta token. 117
Dua angka parameter itu menjawab pertanyaan yang berbeda:
- Parameter total menunjukkan besarnya kapasitas yang tersedia di seluruh kumpulan pakar (experts).
- Parameter aktif per token menunjukkan bagian model yang digunakan untuk token tertentu setelah proses perutean.
Di situlah daya tarik praktis MoE. K3 dapat berukuran jauh lebih besar secara agregat daripada model padat dengan jejak komputasi per token yang sebanding. Ini bukan berarti penyajiannya murah—104 miliar parameter aktif tetap sangat besar—tetapi K3 tidak perlu membayar biaya inferensi jaringan padat berparameter 2,8 triliun pada setiap token. 1
Jadi, argumen Moonshot bukan sekadar bahwa lebih banyak parameter selalu lebih baik. Argumennya adalah komputasi bersyarat dapat membuat kapasitas model pada skala baru menjadi layak digunakan untuk tugas yang berjalan lama.
Mengapa inferensi konteks panjang membutuhkan tumpukan atensi berbeda
Konteks satu juta token sulit bukan hanya ketika pelatihan, tetapi juga ketika inferensi. Atensi konvensional dapat menumpuk kebutuhan memori dan komputasi seiring urutan teks bertambah panjang. K3 memakai desain hibrida yang menggabungkan Kimi Delta Attention (KDA) dan Gated Multi-head Latent Attention (Gated MLA). Komposisi backbone yang dilaporkan mencakup 69 lapisan KDA dan 24 lapisan Gated MLA, terutama dengan pola tiga KDA untuk satu MLA. 1
12
KDA untuk memproses urutan secara berkelanjutan
KDA merupakan komponen atensi linear pada model ini. Alih-alih menyimpan key-value cache konvensional yang terus membesar sepanjang seluruh riwayat pada setiap lapisan tersebut, KDA menggunakan keadaan rekuren berukuran tetap. Manfaat yang dituju adalah memori dan pekerjaan decode tidak bertumbuh mengikuti konteks sebelumnya seperti pada atensi penuh. 1
Laporan itu juga menjelaskan adanya batas bawah pada laju peluruhan KDA. Ini bukan semata pilihan pemodelan: batas tersebut mencegah nilai peluruhan yang sangat kecil dan bermasalah bagi komputasi numerik yang efisien, sekaligus memungkinkan implementasi berbasis blok yang cocok untuk eksekusi tensor core. 1
Gated MLA mengembalikan pengambilan informasi global
Rekurensi linear saja mungkin tidak memberi perilaku pencarian global yang selektif seperti atensi atas konteks penuh. Karena itu, K3 tetap mempertahankan lapisan Gated MLA di seluruh jaringan. Dalam desain hibrida ini, KDA menyediakan pemrosesan berkelanjutan yang lebih murah, sedangkan MLA menyediakan pengambilan informasi global secara berkala. 1
Desain tersebut penting karena memperlakukan kemampuan konteks panjang sebagai persoalan sistem, bukan hanya persoalan arsitektur. Jendela konteks besar baru bernilai ketika model masih mampu menemukan informasi relevan dan menghasilkan jawaban dengan biaya yang layak.
AttnRes berupaya menjaga informasi melewati 93 lapisan
Komponen arsitektur kedua K3 adalah Attention Residuals (AttnRes). Model ini memiliki 93 lapisan, dan laporan K3 menggunakan AttnRes agar lapisan yang lebih akhir dapat mengambil representasi terkompresi dari blok kedalaman yang lebih awal, alih-alih memaksa seluruh informasi mengalir ketat satu lapisan demi satu lapisan. 1
Secara konseptual, KDA menangani aliran informasi sepanjang urutan, sedangkan AttnRes menangani aliran informasi melintasi kedalaman model. Kombinasi ini penting dalam model yang dalam dan banyak memakai atensi linear: mengganti atensi global yang mahal hanya bermanfaat jika informasi penting tidak hilang atau terisolasi saat aktivasi melewati jaringan. 1
Stable LatentMoE menyediakan kapasitas bersyarat
Lapisan MoE K3 dilaporkan menggunakan 896 pakar yang dirutekan, dengan 16 pakar dipilih per token. 1
6 Mekanisme inilah yang menciptakan selisih besar antara parameter total dan parameter aktif.
Pendekatan Stable LatentMoE dalam laporan berfokus menjaga perutean tetap stabil dan seimbang. Penugasan pakar pada tingkat batch dipandang sebagai masalah optimasi dan menggunakan penyeimbangan berbasis kuantil. Laporan tersebut menurunkan solusi optimum eksak berdasarkan asumsi yang ditetapkannya; namun saat digunakan, perutean memakai bias pakar tetap dengan pemilihan top-k biasa, bukan menyelesaikan masalah penyeimbangan baru untuk setiap batch inferensi. 1
Pembedaan ini penting. Ekuilibrium yang diklaim optimal merupakan hasil untuk formulasi perutean dalam laporan, bukan jaminan bahwa setiap beban kerja produksi akan membagi token secara sempurna dan merata ke seluruh pakar.
MoonEP membuat perutean spars lebih layak dioperasikan
Model MoE besar juga menimbulkan persoalan jaringan. Token yang dipilih kerap perlu dikirim antardevice untuk mencapai pakar yang ditugaskan kepadanya. Jika beberapa pakar menerima permintaan jauh lebih tinggi, jalur komunikasi paling lambat dapat menentukan latensi.
Moonshot memosisikan MoonEP sebagai lapisan sistem pelengkap untuk komunikasi paralel-pakar. Tugasnya adalah mengurangi ketimpangan pada pertukaran all-to-all yang dihasilkan perutean spars, sehingga kumpulan pakar besar ini tetap dapat dilatih dan disajikan. 1
Ini merupakan bagian penting dari klaim K3 yang lebih luas. Arsitektur, perutean, dan komunikasi tidak dapat dinilai sebagai penjelasan kinerja yang berdiri sendiri; model membutuhkan ketiganya untuk mengubah kapasitas spars teoretis menjadi throughput nyata.
Separuh strategi setelah peluncuran: komputasi untuk kerja agentik
Arah kedua dalam tesis K3 adalah apa yang terjadi setelah prapelatihan. Moonshot menjelaskan infrastruktur untuk lintasan reinforcement learning (RL) yang melibatkan tugas berdurasi panjang, penggunaan alat, pemrograman, penelusuran web, dan pemecahan masalah secara iteratif. Laporan itu juga menjelaskan distilasi sejumlah pengajar dari berbagai domain dan penalaran ke dalam satu sistem. 1
Lingkungan pendukungnya adalah sistem sandbox mesin virtual ringan yang dirancang untuk membuat, mengambil snapshot, dan melanjutkan lingkungan tugas dalam skala besar. Angka yang dilaporkan mencakup 51,2 juta instans sandbox, waktu snapshot 133 ms, dan waktu pemulihan 49 ms. 1
Tujuan strategisnya sederhana: jika model diharapkan menggunakan lebih banyak komputasi saat inferensi untuk merencanakan, memanggil alat, memeriksa pekerjaan, atau meneruskan tugas panjang, maka lingkungan pelatihannya harus mengekspos model pada lintasan semacam itu. Kemampuan menjeda, membuat cabang, dan memulihkan lingkungan dengan murah membuat lebih banyak simulasi pelatihan tersebut menjadi layak.
Ini bukan berarti satu respons model otomatis memakai komputasi inferensi tanpa batas. Sebaliknya, laporan K3 mengusulkan sistem yang dapat mengubah langkah tambahan dan konteks tambahan menjadi kinerja tugas yang lebih baik, alih-alih hanya mengandalkan model pralatih yang lebih besar.
Apa yang didukung skor BrowseComp—dan apa yang tidak dapat dipisahkan
Kimi K3 dilaporkan meraih 91,2% pada BrowseComp, sebuah benchmark untuk pencarian informasi berdurasi panjang. Papan peringkat pihak ketiga juga mencatat K3 pada 91,2%, walaupun peringkat dan konfigurasi pelaporan dapat berubah seiring waktu. 
18
Hasil itu selaras dengan sasaran produknya: model yang dirancang untuk konteks panjang, pascapelatihan agentik, dan penalaran saat inferensi memang patut diuji pada tugas pencarian informasi yang kompleks. Namun, skor tersebut bukan uji ablation bersih untuk tiap komponen.
Satu skor benchmark tidak dapat menunjukkan seberapa besar kontribusi KDA, AttnRes, perutean pakar, infrastruktur komunikasi, lingkungan RL, distilasi, prompting, atau pengaturan inferensi terhadap hasilnya. Penafsiran yang paling kuat adalah sistem yang dilaporkan bekerja baik sebagai satu tumpukan terintegrasi—bukan bahwa satu inovasi arsitektur saja menjelaskan skor tersebut. 118
Perbandingan dengan DeepSeek terutama bersifat arsitektural
K3 kerap dibingkai sebagai penantang model terbuka besar lain, termasuk sistem DeepSeek. Namun, kesimpulan yang dapat dipertahankan dari laporan ini bukanlah klasemen final kemajuan model terbuka, melainkan penekanan desain yang berbeda: Moonshot mendorong tumpukan yang memadukan kapasitas spars sangat besar, pemrosesan konteks panjang yang efisien, dan infrastruktur pascapelatihan untuk agen. 117
Makalahnya sendiri mendukung spesifikasi dan pilihan desain K3. Namun, makalah itu tidak dengan sendirinya membuktikan bahwa model terbuka lain telah mandek, ataupun mengisolasi keunggulan arsitektural yang menentukan atas pesaing tertentu. Klaim pasar yang lebih luas memerlukan perbandingan yang konsisten dan direproduksi secara independen.
Klaim biaya bergantung pada konfigurasi
Perbandingan harga per token dan biaya per tugas sangat mudah dibaca berlebihan. Angkanya dapat berubah bergantung pada prompt, tingkat upaya penalaran, panjang konteks, caching, penggunaan alat, asumsi throughput, tanggal harga, dan kerangka pengujian tugas.
Satu perbandingan yang dipublikasikan dalam materi tersedia memperkirakan biaya tugas tuntas sekitar US$0,94 untuk K3 dan US$1,04 untuk GPT-5.6 Sol. Angka ini mungkin menunjukkan keunggulan tipis dalam pengaturan tersebut, tetapi tidak membuktikan klaim universal bahwa K3 berbiaya “setengah harga Sol”. 
20
Kesimpulan yang lebih berguna dan tahan lama tidak terlalu dramatis: K3 adalah upaya untuk membuat kemampuan agentik dan konteks panjang menjadi masuk akal secara ekonomi pada skala model total yang jauh lebih besar. Apakah keunggulan itu benar-benar tercapai dalam praktik bergantung pada evaluasi yang dapat direproduksi serta perhitungan biaya yang spesifik terhadap penerapan.
Kesimpulan
Laporan teknis Kimi K3 mengajukan argumen penskalaan full-stack. Skala sebelum peluncuran datang dari MoE 2,8T parameter dengan sekitar 104B parameter aktif per token. Skala setelah peluncuran datang dari pelatihan dan penyajian model yang dapat memakai konteks panjang, alat, langkah penalaran, dan lintasan agentik. 117
KDA, Gated MLA, AttnRes, Stable LatentMoE, MoonEP, serta infrastruktur sandbox RL adalah bagian dari satu gagasan yang sama: perilaku agentik berkualitas tinggi tidak cukup membutuhkan model lebih besar, melainkan juga desain yang membuat konteks lebih banyak dan kerja inferensi lebih banyak benar-benar dapat digunakan. Klaim benchmark-nya merupakan bukti awal yang menjanjikan bagi pendekatan terintegrasi ini, tetapi sebaiknya dibaca sebagai hasil sistem yang dilaporkan, bukan bukti final atas kontribusi masing-masing komponen. 118
