Bagaimana Xiaowei dan WeLM Mengubah WeChat Menjadi Platform AI

Xiaowei bukan sekadar chatbot baru

Tencent sedang menguji Xiaowei secara terbatas sebagai asisten AI native yang tertanam langsung di dalam WeChat. Pengguna dapat berinteraksi melalui teks atau suara, berkomunikasi dengan kontak, menjalankan fungsi bawaan WeChat, serta membuka layanan mini-program tanpa berpindah ke aplikasi AI mandiri. 151719

Di sinilah letak perbedaan strategisnya dengan aplikasi standalone seperti Yuanbao. Xiaowei diposisikan bukan sebagai tujuan AI terpisah, melainkan sebagai antarmuka percakapan untuk mengakses jaringan orang, layanan, dan mini-program yang sudah ada di WeChat. Dengan kata lain, pengguna cukup menyampaikan maksud—mencari sesuatu, mengirim pesan, atau menggunakan sebuah layanan—lalu Xiaowei membantu menavigasi dan mengeksekusinya.

Dari WeLM 10B ke WeLM-80B

Keluarga WeLM berawal dari model bahasa Mandarin berukuran 10 miliar parameter yang diperkenalkan pada 2022. Model tersebut dilaporkan memiliki performa kuat pada 18 tugas, tetapi detail angka benchmark tersebut belum dapat diverifikasi secara independen dari sumber yang tersedia. 4

Perkembangan yang lebih jelas terlihat pada WeLM-80B. Model ini memiliki total 80 miliar parameter, dengan sekitar 3 miliar parameter yang aktif pada setiap token. WeLM-80B dilatih menggunakan kurang dari 14 triliun token dan dilaporkan memiliki kemampuan penalaran, pemahaman multibahasa, serta jendela konteks 128K. 711

Menurut laporan yang mengutip materi WeChat, WeLM-80B telah diterapkan untuk mendukung Xiaowei dalam percakapan dan pencarian, pemanggilan fungsi native WeChat, serta akses ke berbagai layanan mini-program. 8912

WeLM-617B: lebih besar, tetapi belum menjadi mesin Xiaowei yang sepenuhnya digunakan

WeLM-617B membawa skala model jauh lebih besar: 617 miliar parameter secara total, dengan sekitar 23 miliar parameter aktif untuk setiap token. Model ini menggunakan arsitektur sparse Mixture-of-Experts atau MoE, tetapi masih disebut berada dalam tahap pengembangan dan tidak boleh dianggap sebagai model Xiaowei yang sudah diterapkan sepenuhnya. 812

Targetnya juga berbeda. WeLM-617B diarahkan untuk kebutuhan ekosistem WeChat yang lebih rumit, seperti pemahaman umum dan penalaran yang lebih kuat, pengembangan mini-program secara cerdas, serta pembuatan alat bantu untuk Xiaowei. 8912

Pemisahan ini menunjukkan kemungkinan pola bertingkat: WeLM-80B menangani interaksi yang sering terjadi dan relatif rutin, sementara model yang lebih besar disiapkan untuk perencanaan, pembuatan kode, pemilihan alat, dan alur kerja multi-langkah yang lebih kompleks. Namun, pembagian tersebut merupakan pembacaan strategis atas arah teknologinya, bukan roadmap produk yang telah dikonfirmasi.

Mengapa sparse MoE penting untuk layanan berskala WeChat?

Pada model MoE, sebuah router memilih sebagian kecil jaringan “ahli” untuk memproses setiap token. Karena itu, WeLM-80B dapat memiliki kumpulan kapasitas hingga 80 miliar parameter, tetapi komputasi aktifnya per token lebih dekat ke jalur sekitar 3 miliar parameter. Prinsip yang sama berlaku pada WeLM-617B: tidak semua 617 miliar parameter harus dijalankan untuk setiap token. 78

Hal ini penting untuk asisten yang harus menangani permintaan berfrekuensi tinggi—seperti pencarian, pesan, navigasi layanan, dan pemanggilan alat—dari basis pengguna yang sangat besar. Jumlah parameter aktif yang lebih rendah berpotensi meningkatkan throughput, mengurangi latensi, dan menekan biaya penyajian model, sembari tetap menyediakan kapasitas spesialisasi yang lebih luas di dalam kumpulan parameter tersebut.

Namun, “3 miliar parameter aktif” bukan berarti biaya WeLM-80B sama persis dengan model dense berukuran 3 miliar parameter. Bobot seluruh expert tetap perlu disimpan dan ditempatkan di infrastruktur. Sistem juga harus menanggung biaya memori, routing, penyeimbangan beban, dan komunikasi ant perangkat. Keuntungan utamanya adalah berkurangnya operasi aritmetika per token—bukan berarti inferensi menjadi gratis.

Hidden Decoding menambah komputasi laten tanpa memperbesar backbone

Selain sparse MoE, tim WeLM mengeksplorasi pendekatan bernama Hidden Decoding. Alih-alih sekadar membuat Transformer lebih dalam atau lebih lebar, metode ini mengembangkan setiap token masukan menjadi beberapa aliran internal dengan tabel embedding terpisah. Cache key-value dari aliran antara kemudian dipertahankan sebagai konteks. 2

Dengan mekanisme tersebut, satu token dapat memperoleh lebih banyak komputasi internal sebelum menghasilkan token keluaran berikutnya. Backbone Transformer utama tidak perlu ditambah lapisan atau diperlebar, sehingga kapasitas penalaran laten dapat ditingkatkan tanpa mengikuti seluruh biaya memori dan komputasi dari model yang lebih besar secara konvensional.

Dalam eksperimen yang membandingkan model secara berpasangan, tim melaporkan bahwa WeLM-HD4-80B dan WeLM-HD4-617B mengungguli baseline masing-masing yang tidak menggunakan Hidden Decoding pada benchmark yang sama. 16

Peran Stream-Factorized Attention

Tantangan utamanya adalah biaya perhatian. Jika setiap token diperbanyak menjadi (n) aliran dan seluruh aliran saling memperhatikan di setiap lapisan, biaya interaksi lintas aliran dapat tumbuh mendekati kuadratik terhadap (n). Pada skala MoE di atas 100 miliar parameter, pendekatan naif seperti itu akan sulit dilatih dan disajikan kepada pengguna.

Stream-Factorized Attention mengatasi masalah ini dengan mempertahankan sebagian besar attention di dalam aliran masing-masing. Hanya sejumlah kecil lapisan yang mengizinkan pencampuran informasi antarialiran. Dengan demikian, biaya tambahan attention dapat ditekan agar lebih mendekati pertumbuhan linear, bukan kuadratik. Desain inilah yang disebut sebagai salah satu kunci agar Hidden Decoding tetap dapat dilatih dan disajikan pada skala MoE besar. 1

AI sebagai “lapisan operasi” WeChat

Jika digabungkan, sparse MoE dan Hidden Decoding mengarah pada visi yang lebih luas daripada sekadar chatbot dengan skor benchmark tinggi. WeChat dapat menggunakan model yang efisien untuk permintaan rutin, lalu mengalokasikan kapasitas model atau komputasi laten yang lebih besar untuk tugas yang membutuhkan penalaran dan perencanaan.

Dalam skenario ideal, pengguna tidak perlu mengetahui mini-program mana yang harus dibuka, menu apa yang harus dipilih, atau layanan mana yang menyediakan fungsi tertentu. Mereka cukup menyampaikan tujuan dalam bahasa alami. Xiaowei kemudian dapat membantu menjalankan rangkaian: menemukan, memutuskan, memanggil, lalu menyelesaikan.

Potensi tersebut bergantung pada hal-hal nonmodel yang sama pentingnya: izin pengguna, identitas, pembayaran, API mini-program, keandalan eksekusi, perlindungan data, dan mekanisme konfirmasi sebelum tindakan berisiko dilakukan. Jika lapisan-lapisan itu dirancang dengan baik, AI dapat menjadi cara baru untuk mengoperasikan ekosistem WeChat yang sudah ada—bukan alasan bagi pengguna untuk pindah ke aplikasi super-AI yang berdiri sendiri.

Untuk saat ini, Xiaowei masih berada dalam pengujian terbatas dan WeLM-617B masih dalam pengembangan. Jadi, gambaran WeChat sebagai sistem operasi berbasis AI merupakan arah teknologi dan inferensi strategis, bukan konfirmasi bahwa seluruh roadmap tersebut sudah diwujudkan. 1215