GLM-5.3-FlashX: Versi Lebih Cepat dari Zhipu AI, Bukan Model Baru

GLM-5.3-FlashX adalah layanan API berkecepatan lebih tinggi yang berbasis pada GLM-5.3-Flash, model berbobot terbuka dari Zhipu AI. Perbedaan yang ditonjolkan Zhipu terletak pada kecepatan inferensi—proses menghasilkan jawaban—dan cara model dilayani oleh infrastrukturnya. FlashX tidak dipaparkan sebagai arsitektur model baru atau rilis bobot terbuka yang terpisah. 14

Apa bedanya dengan GLM-5.3-Flash?

Model dasarnya, GLM-5.3-Flash, merupakan model multimodal dengan arsitektur mixture-of-experts: totalnya 320 miliar parameter, dengan 18 miliar parameter aktif saat digunakan. Zhipu juga menyebut kapasitas konteks hingga 1 juta token, yakni batas jumlah token yang dapat diproses dalam satu konteks. Untuk FlashX, perusahaan mengiklankan kecepatan hingga 200 token keluaran per detik. Angka itu adalah klaim kecepatan maksimum dari penyedia, bukan bukti bahwa FlashX selalu lebih cepat daripada Flash dalam pengujian dengan kondisi identik. 17

Dari mana klaim peningkatan kecepatannya?

Zhipu mengatakan lalu lintas produksi GLM-5.3-Flash berjalan pada lebih dari 100.000 akselerator AI buatan China. Menurut perusahaan, sebuah Infra Agent yang ditenagai GLM-5.3 membantu menemukan hambatan kinerja, mengubah kode, dan mengoptimalkan sistem yang melayani permintaan pengguna. Pekerjaan yang dilaporkan mencakup pengurangan hambatan konkurensi saat pemindahan KV cache—data yang dipakai ulang selama inferensi—serta perbaikan komponen komputasi pada tahap menghasilkan keluaran (decode). 56

Zhipu mengaitkan proses penerapan tersebut dengan throughput ujung-ke-ujung yang naik 3,2 kali dari titik awalnya dalam waktu kurang dari dua minggu. Throughput berarti kapasitas sistem memproses beban kerja secara keseluruhan; angka ini bukan kecepatan token yang diterima seorang pengguna saat memakai FlashX. 613

Efisien bagi penyedia belum tentu lebih murah bagi pelanggan

Zhipu mengklaim tingkat pemanfaatan perangkat keras dan biaya penyajian per tokennya sebanding dengan penerapan menggunakan GPU Nvidia yang umum dipakai. Namun, laporan yang tersedia belum menunjukkan audit independen dengan perbandingan setara untuk membuktikan klaim itu. 67

Dari sisi pelanggan API, harga yang tercantum justru lebih tinggi untuk FlashX: US$0,37 per sejuta token masukan dan US$1,25 per sejuta token keluaran, dibandingkan US$0,15 dan US$0,50 untuk Flash. Dengan demikian, harga token keluaran FlashX sekitar 2,5 kali harga Flash. Biaya yang diklaim efisien untuk menjalankan layanan tidak sama dengan harga yang dibayar pengguna. 45

Yang masih perlu diverifikasi: apakah FlashX mampu mempertahankan 200 token per detik dengan latensi dan keandalan yang baik ketika banyak pengguna mengaksesnya sekaligus; jumlah akselerator dan cakupan lalu lintas produksi yang disebut Zhipu; seberapa besar kontribusi Infra Agent dibandingkan pekerjaan insinyur manusia; dasar pengukuran kenaikan throughput 3,2 kali; serta perbandingan biaya per token dengan GPU Nvidia. Sejauh ini, laporan yang tersedia terutama meneruskan angka dari Zhipu, bukan menguji seluruh klaim tersebut secara independen. 156