Inkling-Small: MoE 276B Parameter yang Menandingi Inkling dengan Kebutuhan GPU Jauh Lebih Rendah

Sebagai perbandingan, model pendahulunya, Inkling, memiliki 975 miliar parameter total dan 41 miliar parameter aktif. Meski berukuran kira-kira seperempat dari Inkling, Inkling-Small mampu menyamai atau melampaui model yang lebih besar itu dalam sejumlah pengujian penting—dengan kebutuhan perangkat keras yang jauh lebih rendah .

Inkling-Small mendukung input multimodal berupa teks, gambar, dan audio, memiliki jendela konteks hingga 1 juta token, serta menyediakan pengaturan thinking effort yang dapat disesuaikan untuk menukar kedalaman penalaran dengan latensi .

Perbandingan Benchmark dengan Inkling

Inkling-Small unggul dalam beberapa tugas penalaran, coding berbasis agen, dan pengetahuan sains. Namun, Inkling tetap lebih kuat dalam pengambilan fakta langsung dan matematika kompetisi .

Sumber:

Beberapa temuan penting dari hasil tersebut:

• Penalaran: Inkling-Small mencetak 31,6% pada Humanity’s Last Exam (HLE) versi teks, mengungguli Inkling yang meraih 29,7%. Keunggulan ini disebut tetap terlihat pada berbagai tingkat thinking budget .
• Coding berbasis agen: Model mencapai 80,2% pada SWE-Bench Verified, menggunakan bash-only harness dan trajektori 256K. Angka ini 2,6 poin persentase di atas Inkling .
• Sains tingkat lanjut: Skor 89,5% pada GPQA Diamond menempatkan Inkling-Small di atas Inkling yang memperoleh 87,2% .
• Matematika: Pada AIME 2026, Inkling masih unggul dengan skor 97,1%, dibandingkan 95,5% untuk Inkling-Small .
• Akurasi faktual: Perbedaan terbesar muncul pada SimpleQA Verified. Inkling-Small hanya mencetak 20,6%, sedangkan Inkling mencapai 43,9% . Ini menunjukkan adanya kompromi antara kemampuan penalaran dan penguasaan fakta yang tersimpan.
• Indeks pihak ketiga: Skor Inkling-Small sebesar 40 pada Artificial Analysis Intelligence Index v4.1 hanya terpaut satu poin dari Inkling yang meraih 41 .

Dengan kata lain, “lebih kecil” dalam nama Inkling-Small tidak otomatis berarti lebih lemah. Model ini lebih menjanjikan untuk pekerjaan yang membutuhkan penalaran dan pemecahan masalah, tetapi Inkling masih lebih cocok untuk tugas yang bergantung pada pengingatan fakta secara presisi.

Bagaimana Arsitektur MoE-nya Bekerja?

Inkling-Small menggunakan transformer MoE jarang (sparse) dengan 42 lapisan. Untuk setiap token, 6 dari 256 expert diaktifkan, ditambah 2 shared expert . Mekanisme ini membuat sebagian besar bobot model tetap tidak aktif pada satu waktu.

Model ini juga menggunakan perhatian hibrida, yaitu kombinasi full attention dan sliding-window attention. Pengembang dapat mengatur tingkat usaha berpikir agar memperoleh respons yang lebih cepat atau penalaran yang lebih mendalam .

Secara arsitektural, Inkling-Small masih berada dalam keluarga MoE yang sama dengan Inkling. Perbedaannya, Inkling-Small memiliki lebih sedikit expert—256 dibandingkan sekitar 576 pada Inkling—serta jumlah expert aktif yang lebih kecil di setiap lapisan. Hasilnya, beban komputasi saat inferensi lebih menyerupai model padat 12B, sementara bobotnya tetap menyimpan kapasitas model 276B .

Dua Tahap Pelatihan Pascapra-latih

Thinking Machines Lab menggunakan resep pascapelatihan dua tahap .

1. Distilasi on-policy dari Inkling

Pada tahap pertama, checkpoint awal Inkling-Small belajar dari Inkling sebagai guru. Berbeda dari distilasi biasa yang hanya meniru jawaban yang sudah dibuat guru, pendekatan on-policy distillation memungkinkan model siswa menghasilkan trajektorinya sendiri. Guru kemudian memberikan supervisi padat pada tingkat token, termasuk pada rangkaian langkah penalaran .

Pendekatan ini menggabungkan dua keunggulan: data yang lebih realistis karena berasal dari perilaku model siswa sendiri, serta umpan balik yang lebih kaya karena diberikan oleh model guru.

2. Dua minggu reinforcement learning untuk agen

Setelah distilasi, Thinking Machines melanjutkan pelatihan selama dua minggu dengan reinforcement learning yang berfokus pada agen, terutama tugas coding. Tahap tambahan ini disebut membantu Inkling-Small melewati Inkling pada benchmark penalaran dan coding .

Hasilnya menarik karena model yang jauh lebih kecil dapat melampaui model gurunya dalam sejumlah tugas setelah menjalani pelatihan lanjutan yang relatif singkat. Temuan ini sejalan dengan riset tentang weak-to-strong generalization menggunakan distilasi on-policy .

Kebutuhan Perangkat Keras Turun Sekitar Tiga Kali Lipat

Keuntungan praktis terbesar Inkling-Small adalah kebutuhan VRAM yang lebih rendah. Berikut konfigurasi resmi dari kartu modelnya :

Sebagai pembanding, checkpoint BF16 Inkling membutuhkan sekitar 1,9 TB VRAM gabungan, sedangkan varian Inkling yang dikuantisasi dalam NVFP4 membutuhkan sekitar 600 GB .

Pengurangan dari sekitar 1,9 TB menjadi 600 GB pada BF16 membuat Inkling-Small lebih realistis untuk dijalankan dan disesuaikan oleh tim berukuran menengah. Model ini mendukung format numerik BF16, MXFP8, dan NVFP4 .

Dampaknya untuk Fine-Tuning

• Fine-tuning seluruh parameter dalam BF16: Membutuhkan klaster 4× B300 atau 8× H200. Investasinya tetap besar, tetapi konfigurasi tersebut lebih masuk akal bagi startup yang memiliki pendanaan kuat atau laboratorium universitas .
• Fine-tuning LoRA dalam NVFP4: Dapat dilakukan dengan 2× H200. LoRA hanya melatih adapter berukuran kecil alih-alih mengubah seluruh bobot model, sehingga kebutuhan memori jauh lebih rendah .
• Inferensi dalam NVFP4: Mode W4A4 dapat berjalan pada satu GPU B300, dengan syarat GPU tersebut mendukung arsitektur SM100 atau yang lebih baru .

Meski demikian, angka 180 GB atau 600 GB tetap berada jauh di atas kemampuan kartu grafis konsumen biasa. Jadi, Inkling-Small lebih mudah diakses dibandingkan Inkling, tetapi masih merupakan model untuk infrastruktur pusat data atau penyedia komputasi khusus.

Ketersediaan dan Harga

Inkling-Small tersedia melalui beberapa jalur :

• Bobot lengkap: Tersedia di Hugging Face dengan lisensi Apache 2.0.
• Tinker Playground: Dapat digunakan untuk percakapan berbasis teks, gambar, dan audio.
• Tinker API: Mendukung fine-tuning menggunakan LoRA.
• Harga keluaran API: 1,20 dolar AS per 1 juta token .

Lisensi Apache 2.0 juga memberi keleluasaan bagi pengembang untuk mempelajari, memodifikasi, dan mengintegrasikan bobot model ke dalam berbagai aplikasi, dengan tetap mematuhi ketentuan lisensinya.

Konteks Kepemimpinan Thinking Machines Lab

Thinking Machines Lab didirikan oleh Mira Murati, mantan CTO OpenAI, setelah ia meninggalkan perusahaan tersebut. John Schulman, salah satu mantan pendiri OpenAI dan anggota tim yang mengembangkan RLHF, juga menjadi salah satu pendiri Thinking Machines Lab .

Lilian Weng, yang pada awalnya menjadi bagian dari tim pendiri, kemudian meninggalkan Thinking Machines Lab dan kembali ke OpenAI. Dengan demikian, Murati dan Schulman disebut sebagai dua pendiri yang tersisa di startup tersebut .

Kesimpulan

Inkling-Small menunjukkan bahwa jumlah parameter bukan satu-satunya penentu kemampuan model AI. Dengan arsitektur MoE yang hanya mengaktifkan 12B parameter per token dan resep pascapelatihan yang menggabungkan distilasi on-policy dengan reinforcement learning untuk agen, model 276B ini mampu melampaui Inkling 975B dalam penalaran, coding, dan beberapa tugas sains.

Keunggulan itu datang dengan kompromi: kemampuan mengambil fakta secara langsung turun cukup tajam pada SimpleQA Verified, dan Inkling masih lebih baik dalam AIME 2026. Namun, untuk pengembang yang memprioritaskan coding, penalaran, dan kustomisasi model, Inkling-Small lebih praktis daripada Inkling.

Kebutuhan sekitar 600 GB VRAM dalam BF16 atau 180 GB dalam NVFP4 juga membuatnya lebih dekat ke jangkauan tim menengah—meski belum menjadi model yang bisa dijalankan secara nyaman di komputer pribadi. Pada Juli 2026, Inkling-Small menjadi salah satu contoh paling jelas bahwa model open-weight yang lebih kecil dapat menawarkan rasio kemampuan terhadap biaya komputasi yang lebih menarik.