JawabanDipublikasikan20 sumber
StartLux 27B Mendekati Model 1,6 Triliun Parameter dalam Uji AI Agent
StartLux V1.0 27B Preview meraih peringkat kedua dalam uji khusus MCP CAICT dengan skor 39,25, hanya 1,30 poin di bawah DeepSeek V4 Pro berukuran 1,6 triliun parameter. Model 27B tersebut mengungguli DeepSeek V4 Flash 0731 berukuran 284B dan Step 3.7 Flash berukuran 198B.
Diterbitkan olehDiedit dengan GPT-5.6 LunaGambar dibuat dengan GPT Image 1.5
Jawaban penelitian
Poin-poin penting
- StartLux V1.0 27B Preview meraih peringkat kedua dalam uji khusus MCP CAICT dengan skor 39,25, hanya 1,30 poin di bawah DeepSeek V4 Pro berukuran 1,6 triliun parameter.
- Model 27B tersebut mengungguli DeepSeek V4 Flash 0731 berukuran 284B dan Step 3.7 Flash berukuran 198B.
- Hasil ini memperkuat gagasan bahwa reliabilitas penggunaan alat, biaya penerapan, privasi data, dan keberhasilan menyelesaikan alur kerja sama pentingnya dengan jumlah parameter.
AI Perintah
openai.comCreate a landscape editorial hero image for this Studio Global article: How did Shanghai-based StartLux’s StartLux-V1.0-27B-Preview, a 27-billion-parameter model built on Qwen3.6-27B with targeted post-training a. Article summary: StartLux-V1.0-27B-Preview was a notable outlier in CAICT’s MCP special test: it placed second overall with a 39.25 score despite having 27 billion parameters. It trailed the 1.6-trillion-parameter DeepSeek-V4-Pro by 1.30. Topic tags: general, general web, user generated, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks,
Model lokal StartLux-V1.0-27B-Preview asal Shanghai mencatat salah satu hasil paling menarik dalam persaingan AI agent terbaru. Dalam uji khusus MCP pada Trusted AI Large Model Benchmark yang diselenggarakan oleh China Academy of Information and Communications Technology (CAICT), model dengan 27 miliar parameter itu menempati peringkat kedua dengan skor 39,25—hanya terpaut 1,30 poin dari DeepSeek-V4-Pro yang memiliki 1,6 triliun parameter. 10
3
Namun, hasil ini tidak berarti model 27B secara umum telah mengungguli sistem berukuran triliunan parameter. Maknanya lebih spesifik: model yang dioptimalkan untuk pemanggilan alat, perencanaan bertahap, dan penyelesaian tugas di lingkungan nyata dapat bersaing ketat dengan model yang jauh lebih besar pada beban kerja AI agent tertentu.
Apa yang diuji dalam benchmark MCP CAICT?
Uji tersebut mencakup enam kategori tugas khusus:
- navigasi lokasi;
- pencarian web;
- otomatisasi browser;
- analisis keuangan;
- pengelolaan repositori kode; dan
- desain 3D.
Keenam kategori itu dilengkapi penilaian gabungan sehingga total terdapat tujuh komponen evaluasi. Fokusnya bukan sekadar kemampuan menjawab pertanyaan, melainkan kemampuan model memahami tujuan, menyusun rencana, memilih alat yang tepat, menjalankan beberapa langkah, dan berinteraksi dengan lingkungan nyata. Laporan mengenai pengujian tersebut menyebutkan bahwa nilai rata-rata dihitung dari tiga putaran pengujian lengkap. 10
7
Perbedaan fokus ini penting. Benchmark MCP atau penggunaan alat tidak sama dengan papan peringkat model bahasa umum. Bagi perusahaan yang ingin menerapkan AI agent, kemampuan menyelesaikan operasi secara konsisten bisa jadi lebih relevan daripada skor pada pertanyaan pengetahuan atau penalaran yang berdiri sendiri.
StartLux mengungguli model dengan parameter jauh lebih besar
Posisi keseluruhan yang dilaporkan menempatkan StartLux di atas sejumlah model dengan jumlah parameter berkali-kali lipat lebih besar:
- StartLux-V1.0-27B-Preview: 27B parameter; skor keseluruhan 39,25
- DeepSeek-V4-Pro: 1,6T parameter; peringkat pertama, unggul 1,30 poin
- DeepSeek-V4-Flash-0731: 284B parameter; skor 38,24, berada di bawah StartLux
- Step-3.7-Flash: 198B parameter; berada di bawah StartLux
Dalam perbandingan dengan model berukuran sama, StartLux juga dilaporkan unggul 5,34 poin atas Qwen-3.6-27B. Set pengujian yang dipublikasikan turut mencantumkan AgentCPM-Explore, tetapi bukti yang tersedia tidak memberikan skor agregat yang dapat diandalkan untuk setiap model pembanding tersebut. 2
3
10
Pada tingkat kategori, performa paling menonjol terlihat dalam tugas-tugas praktis. StartLux menempati posisi pertama untuk navigasi lokasi dan dilaporkan menyamai atau memimpin DeepSeek-V4-Pro dalam otomatisasi browser serta analisis keuangan. 4
6
7
Mengapa hasil ini penting—dan apa batasannya?
Angka 39,25 terutama merupakan cerita tentang efisiensi parameter, bukan bukti bahwa ukuran model sudah tidak penting. Model besar tetap dapat menawarkan kemampuan yang lebih luas, performa lebih kuat pada berbagai tugas sulit, serta ruang lebih besar untuk penalaran tingkat lanjut.
Hasil CAICT justru menunjukkan bahwa pascapelatihan dan spesialisasi tugas dapat memberikan dampak besar ketika evaluasi menitikberatkan pada eksekusi yang andal. StartLux menggambarkan modelnya sebagai AI agent yang dapat dijalankan secara lokal dan mempromosikan pendekatan Auto Research “AI trains AI”. Keduanya merupakan penjelasan dari perusahaan mengenai cara model tersebut dikembangkan. Benchmark membuktikan performa yang diamati, tetapi tidak dengan sendirinya membuktikan metode mana yang menjadi penyebabnya.
Kesimpulan yang paling hati-hati adalah bahwa optimasi terarah untuk penggunaan alat, perencanaan, dan penyelesaian alur kerja dapat mempersempit jarak dengan model yang jauh lebih besar pada tugas perusahaan tertentu.
Potensi perubahan jika model dijalankan secara lokal
Model 27B secara umum lebih realistis untuk diterapkan di infrastruktur privat dibandingkan model 1,6T, terutama jika tersedia versi terkuantisasi dan perangkat keras yang sesuai. Bagi organisasi yang menjalankan AI agent secara berulang dan dalam volume tinggi, penerapan lokal berpotensi menawarkan beberapa keuntungan:
- Kontrol data: perintah, dokumen, dan hasil penggunaan alat yang sensitif dapat tetap berada di lingkungan perusahaan, tanpa selalu dikirim ke API eksternal.
- Pengendalian biaya: inferensi dalam jumlah besar dapat mengurangi sebagian biaya API berulang. Meski demikian, biaya perangkat keras, listrik, operasional, dan rekayasa tetap harus dihitung dalam total biaya kepemilikan.
- Latensi dan ketersediaan: sistem lokal dapat mengurangi ketergantungan pada koneksi jaringan dan kapasitas penyedia layanan.
- Kustomisasi: perusahaan dapat menyesuaikan alat, kebijakan akses, dan proses evaluasi dengan alur kerja yang lebih sempit.
Semua itu merupakan potensi, bukan jaminan otomatis. Penerapan AI lokal juga memindahkan tanggung jawab kepada pelanggan untuk pengadaan perangkat keras, pembaruan model, kontrol akses, pencatatan aktivitas, pemantauan, dan keamanan. Model yang lebih kecil mungkin lebih mudah dijalankan, tetapi belum tentu lebih mudah diatur dan diawasi.
StartLux mengikuti tren model agent berukuran ringkas
StartLux bukan satu-satunya model yang menempatkan efisiensi di atas jumlah parameter maksimum. NVIDIA menyebut Nemotron 3.5 Lightning sebagai model mixture-of-experts (MoE) terbuka berukuran 30B dengan hanya 3B parameter aktif, yang ditujukan untuk eksekusi volume tinggi pada AI agent yang terus berjalan. Dokumentasi dukungan model NVIDIA juga mencantumkan varian Gemma 4 berukuran 12B dan 31B. 25
26
Sumber sekunder dan katalog model turut menempatkan Muse Glimmer dari Meta dalam kategori AI agent lokal, tetapi bukti yang tersedia di sini belum memverifikasi secara independen dokumentasi rilis asli dari Meta. 27
33
Meski demikian, polanya cukup jelas: pengembang semakin memperhatikan jumlah parameter aktif, throughput, kuantisasi, keandalan pemanggilan alat, dan kemampuan beroperasi secara lokal—bukan hanya ukuran total model.
Apa yang perlu diukur pembeli enterprise di China?
Hasil StartLux dapat mendorong strategi pengadaan AI yang lebih tersegmentasi bagi perusahaan di China:
- Gunakan model ringkas secara privat atau lokal untuk alur kerja yang sensitif, berulang, dan bervolume tinggi.
- Gunakan model cloud terdepan untuk tugas yang luas, jarang dilakukan, atau sangat sulit ketika kemampuan maksimum lebih penting daripada kesederhanaan penerapan.
- Uji seluruh alur kerja, termasuk akurasi pemanggilan alat, kemampuan pulih dari kesalahan, tingkat penyelesaian tugas, performa bahasa Mandarin, kecocokan domain, latensi, dan biaya operasional.
- Nilai tata kelola sebelum peluncuran, termasuk izin, retensi data, observabilitas, pembaruan model, serta mekanisme eskalasi ke manusia.
Pendekatan ini mengganti pertanyaan “Model mana yang memiliki parameter paling banyak?” dengan pertanyaan yang lebih berguna: “Model mana yang dapat menyelesaikan pekerjaan ini secara andal dengan biaya dan risiko yang dapat diterima?”
Perlombaan parameter berubah menjadi perlombaan alur kerja
StartLux-V1.0-27B-Preview tidak mengakhiri persaingan antara model kecil dan besar. Namun, hasilnya membuat kompromi tersebut semakin sulit diabaikan. Untuk perusahaan yang memprioritaskan privasi, biaya yang dapat diprediksi, latensi, dan penerapan privat, model ringkas yang mampu menyelesaikan tugas berbasis alat secara konsisten bisa menjadi pembelian yang lebih masuk akal daripada model terbesar yang tersedia.
Fase berikutnya dalam pengadaan AI kemungkinan tidak akan berpusat pada satu pemenang universal. Perusahaan akan lebih sering mencocokkan ukuran model dan cara penerapannya dengan jenis pekerjaan yang harus diselesaikan. Dalam konteks itu, skor StartLux sebesar 39,25 penting bukan karena jumlah parameter menjadi tidak relevan, melainkan karena skor tersebut menunjukkan seberapa banyak kemampuan yang dapat dipadatkan ke dalam model yang cukup kecil untuk dipertimbangkan dalam operasi lokal.
Studio Global AI
Lanjutkan penelitian Anda
Halaman ini berisi jawaban yang didukung sumber yang dapat Anda lanjutkan di dalam Studio Global.
Orang-orang juga bertanya
Apa jawaban singkat untuk "StartLux 27B Mendekati Model 1,6 Triliun Parameter dalam Uji AI Agent"?
StartLux V1.0 27B Preview meraih peringkat kedua dalam uji khusus MCP CAICT dengan skor 39,25, hanya 1,30 poin di bawah DeepSeek V4 Pro berukuran 1,6 triliun parameter.
Apa poin penting yang harus divalidasi terlebih dahulu?
StartLux V1.0 27B Preview meraih peringkat kedua dalam uji khusus MCP CAICT dengan skor 39,25, hanya 1,30 poin di bawah DeepSeek V4 Pro berukuran 1,6 triliun parameter. Model 27B tersebut mengungguli DeepSeek V4 Flash 0731 berukuran 284B dan Step 3.7 Flash berukuran 198B.
Apa yang harus saya lakukan selanjutnya dalam latihan?
Hasil ini memperkuat gagasan bahwa reliabilitas penggunaan alat, biaya penerapan, privasi data, dan keberhasilan menyelesaikan alur kerja sama pentingnya dengan jumlah parameter.