Inkling-Small Mengatasi Inkling dalam Penaakulan dan Pengekodan — Dengan Keperluan GPU Jauh Lebih Rendah

Sebagai perbandingan, model terdahulunya, Inkling, mempunyai 975 bilion parameter keseluruhan dan 41 bilion parameter aktif. Walaupun saiz Inkling-Small kira-kira satu perempat daripada Inkling, ia menyamai atau mengatasi model lebih besar itu dalam beberapa ujian penaakulan, sains dan pengekodan.

Inkling-Small turut menyokong input teks, imej dan audio, konteks sehingga 1 juta token, serta tetapan thinking effort yang boleh diubah suai untuk menyeimbangkan kelajuan dengan kedalaman penaakulan.

Prestasi: lebih baik dalam penaakulan, bukan semua perkara

Inkling-Small tidak menang dalam setiap kategori. Kelebihannya paling ketara dalam tugasan yang memerlukan penaakulan berbilang langkah dan tindakan seperti ejen pengekodan, manakala Inkling masih jauh lebih baik dalam ingatan fakta terus.

Sumber:

Antara dapatan utama:

• Penaakulan: Inkling-Small memperoleh 31.6% dalam Humanity’s Last Exam (HLE), berbanding 29.7% untuk Inkling. Kelebihan ini dikekalkan merentasi tahap usaha berfikir yang diuji.
• Pengekodan ejen: Skor 80.2% dalam SWE-Bench Verified, menggunakan konfigurasi penilaian bash-only dengan trajektori 256K, mengatasi Inkling sebanyak 2.6 mata peratusan.
• Sains: Skor 89.5% dalam GPQA Diamond, berbanding 87.2% untuk Inkling.
• Panggilan fakta: Dalam SimpleQA Verified, Inkling mencatat 43.9%, jauh lebih tinggi daripada 20.6% Inkling-Small. Ini menunjukkan pertukaran antara keupayaan penaakulan dan hafalan fakta yang lebih tepat.
• Indeks pihak ketiga: Skor 40 dalam Artificial Analysis Intelligence Index v4.1 hanya satu mata di belakang Inkling yang memperoleh 41.

Ringkasnya, Inkling-Small lebih menarik untuk kerja pengekodan, penaakulan dan penggunaan alat, tetapi Inkling kekal pilihan yang lebih kukuh apabila ketepatan fakta asas menjadi keutamaan.

Bagaimana MoE 276B dengan 12B aktif berfungsi?

Inkling-Small ialah model MoE jarang dengan 42 lapisan. Bagi setiap token, sistem mengaktifkan 6 daripada 256 pakar, di samping 2 pakar dikongsi.

Dalam seni bina MoE, semua parameter model masih disimpan dalam pemberat, tetapi hanya sebahagian pakar digunakan untuk memproses token tertentu. Oleh itu, Inkling-Small mempunyai kapasiti model 276B, sedangkan beban pengiraan ketika inferens lebih hampir kepada model padat 12B berbanding model padat 276B.

Model ini menggunakan perhatian hibrid — gabungan perhatian penuh dan perhatian tetingkap gelongsor — serta thinking effort yang boleh dikawal. Pembangun boleh memilih sama ada mahu respons lebih pantas dengan penaakulan yang lebih ringan atau memberi model lebih banyak ruang untuk menyelesaikan tugasan kompleks.

Berbanding Inkling, keluarga seni binanya sama tetapi Inkling-Small menggunakan jumlah pakar yang lebih sedikit: 256 berbanding kira-kira 576, selain mengaktifkan lebih sedikit pakar pada setiap lapisan.

Resipi latihan dua peringkat

Thinking Machines Lab menggunakan proses pascalatihan dua peringkat yang menggabungkan peniruan daripada model guru dengan pembelajaran pengukuhan berfokuskan ejen.

1. Penyulingan atas dasar polisi sendiri daripada Inkling — Dalam pendekatan on-policy distillation, model pelajar menghasilkan trajektorinya sendiri, manakala model guru memberikan panduan padat pada aras token. Ini berbeza daripada latihan biasa yang hanya mengajar model pelajar meniru jawapan yang telah dijana oleh model guru.
2. Dua minggu lagi pembelajaran pengukuhan berfokuskan ejen — Thinking Machines kemudian meneruskan penskalaan pembelajaran pengukuhan untuk tugasan pengekodan berasaskan ejen. Fasa ini membantu Inkling-Small mengatasi Inkling dalam beberapa penanda aras penaakulan dan pengekodan.

Keputusan ini penting kerana model pelajar berjaya mengatasi model gurunya dalam beberapa tugasan selepas hanya dua minggu tambahan pembelajaran pengukuhan. Hasil tersebut selari dengan penyelidikan terkini tentang generalisasi lemah-ke-kuat melalui penyulingan atas dasar polisi sendiri.

Keperluan perkakasan: VRAM turun kira-kira tiga kali ganda

Inkling-Small masih bukan model yang boleh dijalankan pada komputer riba biasa. Namun, keperluan perkakasannya jauh lebih rendah berbanding Inkling. Konfigurasi rasmi daripada kad model adalah seperti berikut:

Sebagai perbandingan, titik semak Inkling dalam BF16 memerlukan kira-kira 1.9TB VRAM terkumpul. Varian Inkling NVFP4 pula memerlukan kira-kira 600GB.

Pengurangan ini menjadikan Inkling-Small lebih munasabah untuk dijalankan dan ditala oleh pasukan pertengahan, walaupun jumlah perkakasan yang diperlukan masih besar dan lazimnya melibatkan GPU pusat data. Model ini menyokong numerik BF16, MXFP8 dan NVFP4.

Apa maknanya untuk penalaan model?

• Penalaan semua parameter dalam BF16: Memerlukan kluster 4× B300 atau 8× H200. Ini kekal sebagai pelaburan besar, tetapi lebih mudah dicapai oleh syarikat pemula yang dibiayai kukuh atau makmal universiti.
• Penalaan LoRA dalam NVFP4: Boleh dilakukan dengan 2× H200. LoRA (Low-Rank Adaptation) hanya melatih penyesuai kecil tanpa mengubah semua pemberat asal, lalu mengurangkan halangan kos untuk menyesuaikan model.
• Inferens dalam NVFP4: Mod W4A4 boleh dijalankan pada satu GPU B300, dengan syarat seni bina SM100 atau lebih baharu digunakan.

Ketersediaan dan harga

Inkling-Small boleh digunakan melalui beberapa saluran:

• Pemberat penuh: Disediakan di Hugging Face di bawah lesen Apache 2.0.
• Tinker Playground: Membolehkan pengguna berinteraksi dengan model melalui teks, imej dan audio.
• Tinker API: Menyokong penalaan LoRA. Harga output yang dinyatakan ialah AS$1.20 bagi setiap 1 juta token.
• Penalaan melalui Tinker: Pembangun boleh menyesuaikan model menggunakan platform Tinker.

Siapa di sebalik Thinking Machines Lab?

Thinking Machines Lab diasaskan oleh bekas ketua pegawai teknologi OpenAI, Mira Murati, selepas beliau meninggalkan OpenAI pada 2024. John Schulman, yang pernah menjadi pengasas bersama OpenAI dan anggota penting pasukan RLHF, turut menjadi pengasas bersama syarikat itu.

Lilian Weng, yang pada awalnya merupakan sebahagian daripada pasukan pengasas, kemudiannya meninggalkan Thinking Machines Lab dan kembali ke OpenAI. Dengan perkembangan itu, Mira Murati dan John Schulman kekal sebagai pengasas bersama yang masih berada dalam syarikat tersebut.

Kesimpulan

Inkling-Small menunjukkan bahawa model yang lebih kecil dari segi jumlah parameter tidak semestinya lebih lemah dalam semua tugasan. Dengan 276B parameter keseluruhan tetapi hanya 12B aktif bagi setiap token, ia mengatasi Inkling 975B dalam HLE, SWE-Bench Verified dan GPQA Diamond.

Namun, kelebihan itu datang bersama pertukaran. Inkling-Small ketinggalan besar dalam SimpleQA Verified, jadi ia bukan pengganti menyeluruh untuk Inkling apabila ketepatan fakta menjadi faktor utama.

Bagi pasukan yang tidak mampu menyediakan kira-kira 1.9TB VRAM untuk Inkling, Inkling-Small menawarkan pilihan yang lebih praktikal pada sekitar 600GB dalam BF16 atau 180GB dalam NVFP4. Ia masih memerlukan perkakasan pusat data, tetapi penurunan kos ini membuka ruang yang lebih luas untuk pengekodan ejen, penaakulan dan penyesuaian model melalui LoRA.