Kimi K3: Moonshot AI Dorong Skala Model dan Komputasi Inferensi Sekaligus

Moonshot AI menempatkan Kimi K3 sebagai argumen bahwa kemajuan model frontier bergantung pada dua sumber daya yang harus tumbuh bersama: kapasitas model sebelum deployment dan komputasi yang dipakai setelah deployment, ketika model menalar panjang, memakai alat, menjelajah web, menulis kode, atau mengoreksi dirinya sendiri.

Intinya, model yang jauh lebih besar menyediakan lebih banyak kapasitas untuk menyimpan kemampuan. Namun, kemampuan itu baru dapat dimanfaatkan penuh apabila sistem sanggup menjalankan lebih banyak langkah inferensi—misalnya perencanaan, pemanggilan alat, pencarian informasi, dan rollout agen—dengan biaya yang masih masuk akal. K3 dirancang untuk menekan biaya pada kedua sisi tersebut. 1

Kapasitas besar tanpa biaya inferensi model padat

K3 dilaporkan sebagai model Mixture-of-Experts (MoE) multimodal native dengan 2,78 triliun parameter total, tetapi hanya 104,2 miliar parameter aktif per token, serta jendela konteks hingga 1 juta token. 1

Perbedaan antara parameter total dan parameter aktif adalah pusat gagasannya. Dalam MoE, token tidak perlu melewati seluruh 2,78 triliun parameter seperti pada model padat (dense model). Router memilih sebagian pakar yang relevan untuk setiap token. Dengan begitu, Moonshot berupaya memperoleh kapasitas model sangat besar tanpa harus membayar biaya komputasi inferensi setara model dense 2,78 triliun parameter pada tiap token. 1

Klaim konteksnya juga perlu dibaca tepat: laporan tersebut menyatakan ekstrapolasi native hingga 1 juta token, bukan 100.000 token. Pelatihan awal dilakukan pada panjang 8K token dan kemudian 64K token. K3 tidak menggunakan embedding posisi eksplisit; Moonshot menyatakan gerbang berulang dan mekanisme peluruhan pada Kimi Delta Attention (KDA) sudah cukup untuk menyandikan informasi posisi dan mendukung ekstrapolasi tanpa modifikasi RoPE. 1

Mengapa perhatian dan konteks panjang menjadi penting

Komputasi inferensi meningkat cepat saat agen harus membaca riwayat panjang atau mempertahankan konteks dari banyak langkah. Karena itu, K3 tidak semata-mata mengandalkan perhatian global standar.

K3 mencampurkan tiga lapisan KDA dengan satu lapisan Gated MLA, dengan rasio 3:1 di seluruh backbone model. 1 KDA menggantikan banyak operasi perhatian kuadratik dengan state berulang berukuran tetap. Secara praktis, ini dimaksudkan agar state per token dan biaya decoding tidak terus bertumbuh mengikuti panjang konteks seperti cache key-value penuh pada perhatian global.

Sementara itu, Gated MLA tetap menyediakan kemampuan pengambilan informasi global yang selektif. Kombinasi tersebut adalah kompromi: KDA membuat pemrosesan urutan panjang lebih murah, sedangkan MLA membantu model mengambil kembali bagian konteks yang relevan secara global. 1

Laporan juga menjelaskan bahwa batas bawah pada laju peluruhan KDA bukan sekadar pilihan pemodelan. Batas ini mencegah nilai peluruhan yang terlalu kecil dan bermasalah secara numerik, sekaligus memungkinkan komputasi blok yang lebih ramah bagi tensor core. 1

Attention Residuals dan jalur informasi lintas kedalaman

K3 memiliki 93 lapisan. Dalam jaringan dalam yang banyak memakai perhatian linear, informasi penting berisiko harus diteruskan secara ketat dari satu lapisan ke lapisan berikutnya. Attention Residuals (AttnRes) ditujukan untuk mengurangi masalah itu dengan memberi lapisan yang lebih akhir kemampuan mengambil representasi terkompresi dari blok kedalaman sebelumnya. 1

Dengan kata lain, AttnRes menambahkan jalur pengambilan informasi lintas kedalaman. Moonshot mengklaim pendekatan ini membantu mempertahankan kualitas sambil mengganti sebagian besar perhatian global yang mahal dengan KDA. 1

MoE besar hanya berguna jika routing dan jaringan tidak menjadi hambatan

Pada sisi lebar model, K3 memakai 896 expert dengan routing top-16. Desain ini memperbesar kapasitas kondisional: tiap token diarahkan ke sejumlah kecil pakar, bukan ke seluruh jaringan. 1

Metode Stable LatentMoE memakai penyeimbangan berbasis kuantil. Dalam asumsi optimisasi tingkat batch yang dipaparkan laporan, routing diperlakukan sebagai masalah penugasan seimbang dan diturunkan optimum eksaknya. Akan tetapi, saat deployment, router menggunakan bias pakar tetap dan pemilihan top-k biasa; solver penyeimbangan itu tidak dijalankan pada inferensi. 1

Karena itu, istilah “ekuilibrium sempurna” perlu dibaca hati-hati. Ia merupakan hasil untuk formulasi optimisasi dan asumsi batch tertentu, bukan jaminan bahwa setiap batch pada kondisi produksi akan selalu terdistribusi sempurna.

Lalu ada MoonEP, komponen komunikasi expert-parallel. MoE besar baru ekonomis jika token yang dirutekan dapat mencapai pakar pilihannya tanpa latensi jaringan atau ketimpangan beban menjadi penghambat utama. Peran MoonEP adalah membantu menyeimbangkan komunikasi all-to-all yang muncul ketika permintaan terhadap pakar tidak merata. 1 Artinya, klaim arsitektur model dan klaim sistem komputasinya saling menopang; keduanya bukan penjelasan terpisah atas hasil benchmark.

Inferensi sebagai sumber kemampuan, bukan sekadar biaya tambahan

Bagian kedua dari tesis Moonshot adalah bahwa kemampuan AI tidak hanya dibentuk saat prapelatihan. Model juga dapat menghasilkan hasil lebih baik jika diberi anggaran komputasi lebih besar saat menjalankan tugas.

Laporan menggambarkan armada sandbox berbasis VM ringan untuk menghasilkan banyak trajektori RL yang dapat diverifikasi dan berlangsung panjang. Snapshot memungkinkan proses bercabang atau dilanjutkan dengan biaya lebih rendah. Infrastruktur ini menjadi dasar pelatihan perilaku yang menggunakan lebih banyak langkah saat inferensi: perencanaan, browsing, coding, pemanggilan alat, dan koreksi mandiri. 1

K3 juga disebut melakukan distilasi beberapa pengajar khusus domain dan penalaran ke dalam satu sistem. Tujuannya adalah mentransfer perilaku terspesialisasi tanpa perlu melayani sembilan model terpisah saat digunakan. 1

Jadi, pesan strategisnya bukan hanya “buat model lebih besar.” Moonshot berargumen bahwa model terbuka perlu satu tumpukan desain model dan sistem yang memungkinkan mereka melampaui skala triliunan parameter serta mengubah konteks panjang dan inferensi agen menjadi kemampuan yang dapat dipakai secara praktis.

Hasil benchmark: kuat, tetapi tidak mengisolasi penyebabnya

K3 mencatat 91,2% pada BrowseComp menurut leaderboard pihak ketiga per 2 September 2026. BrowseComp dirancang untuk menilai perilaku riset web, bukan sekadar pengetahuan bawaan model, sehingga skor itu mendukung klaim bahwa K3 kuat pada agen pencari informasi berjangka panjang. 4

Namun, skor tersebut adalah hasil ujung ke ujung. Ia tidak membuktikan secara terpisah seberapa besar kontribusi KDA, AttnRes, routing MoE, lingkungan RL, distilasi, atau tambahan komputasi waktu-uji. Reproduksi independen dan ablation yang ketat tetap diperlukan untuk memisahkan dampak masing-masing komponen.

Perbandingan harga perlu diperlakukan dengan skeptis

Klaim biaya yang sangat spesifik—misalnya bahwa K3 berharga “setengah” dari GPT-5.6 Sol, atau selisih tertentu terhadap model lain pada biaya tertentu—tidak dapat dipastikan hanya dari laporan teknis ini. Salah satu perbandingan yang dikutip memperkirakan biaya per tugas selesai sekitar US$0,94 untuk K3 dan US$1,04 untuk GPT-5.6 Sol, selisih yang jelas bukan 50%. 8

Angka biaya sangat bergantung pada konfigurasi agen, panjang prompt dan output, jumlah langkah penalaran, harga API pada tanggal tertentu, serta metode penghitungan tugas. Tanpa harness evaluasi dan akuntansi biaya lengkap, perbandingan semacam itu sebaiknya dibaca sebagai indikasi yang bergantung pada kondisi, bukan fakta universal. 8

Kesimpulannya, K3 menyajikan taruhan arsitektural: MoE berkapasitas sangat besar membuat skala pradeployment lebih terjangkau, sedangkan perhatian hibrida, routing, komunikasi, dan infrastruktur RL dimaksudkan agar lebih banyak komputasi inferensi dapat benar-benar diterjemahkan menjadi kemampuan agen. Bukti benchmarknya menjanjikan, tetapi tidak dengan sendirinya membuktikan komponen mana yang paling menentukan.