GLM-5.3-FlashX: Lebih pantas, tetapi apa yang sudah terbukti?

GLM-5.3-FlashX ialah cara lebih pantas untuk menggunakan model GLM-5.3-Flash Zhipu AI melalui API, iaitu antara muka yang membolehkan aplikasi menghantar permintaan kepada model. Model asas Flash telah dikeluarkan secara terbuka; Zhipu menampilkan FlashX sebagai peningkatan pada kelajuan inferens dan cara model itu disajikan kepada pengguna, bukannya sebagai seni bina baharu yang didokumenkan atau keluaran pemberat terbuka yang berasingan. 14

Apa bezanya dengan model asas?

GLM-5.3-Flash ialah model multimodal berasaskan mixture-of-experts: daripada 320 bilion parameter keseluruhan, 18 bilion diaktifkan untuk sesuatu pemprosesan. Zhipu turut menyatakan model itu menyokong tetingkap konteks sehingga satu juta token, iaitu jumlah maklumat yang boleh dipertimbangkan dalam satu permintaan. 17

Bagi FlashX, angka yang diketengahkan ialah sehingga 200 token output sesaat. Token ialah unit teks yang dijana model, dan angka ini merupakan kelajuan maksimum yang diiklankan oleh Zhipu—bukan bukti bahawa FlashX sentiasa mencapai kadar tersebut atau terbukti lebih pantas daripada Flash dalam ujian yang menggunakan keadaan serupa. 14

Di sebalik kelajuan: perkakasan dan Infra Agent

Menurut Zhipu, trafik pengeluaran Flash berjalan pada lebih 100,000 pemecut AI buatan China. Syarikat itu berkata Infra Agent, ejen AI yang dikuasakan GLM-5.3, membantu mengenal pasti kesesakan, mengubah kod dan mengoptimumkan sistem yang menjalankan model. Kerja yang dilaporkan termasuk mengurangkan kesesakan apabila data KV dipindahkan serentak dan menambah baik komponen pengiraan semasa penjanaan output. 56

Zhipu mengaitkan usaha penggunaan dan pengoptimuman itu dengan peningkatan daya pemprosesan hujung ke hujung sebanyak 3.2 kali ganda berbanding garis asas awal, dalam tempoh kurang dua minggu. Daya pemprosesan merujuk kepada keupayaan sistem mengendalikan beban kerja keseluruhan; ia bukan kadar token sesaat yang akan diterima oleh setiap pengguna FlashX. 136

Cekap untuk dikendalikan, tetapi lebih mahal untuk dibeli

Zhipu mendakwa penggunaan perkakasan dan kos menyajikan setiap token sudah setanding dengan sistem yang menggunakan GPU Nvidia arus perdana. Namun, laporan yang dirujuk tidak menyediakan audit bebas yang membandingkan kedua-duanya dalam keadaan setara. 76

Kos dalaman pengendali juga tidak sama dengan harga yang dibayar pelanggan API. Kadar yang dilaporkan bagi setiap satu juta token ialah US$0.37 untuk input dan US$1.25 untuk output bagi FlashX, berbanding US$0.15 dan US$0.50 bagi Flash. Dengan kadar itu, token output FlashX berharga kira-kira 2.5 kali ganda harga Flash. 45

Kesimpulannya: FlashX menawarkan pilihan akses yang diiklankan lebih pantas, tetapi beberapa dakwaan penting masih menunggu pengesahan bebas: sama ada kadar 200 token sesaat dapat dikekalkan ketika ramai pengguna mengaksesnya serentak, termasuk dari segi kependaman dan kebolehpercayaan; jumlah pemecut serta skop trafik pengeluaran; sumbangan khusus Infra Agent berbanding kerja jurutera manusia; asas perbandingan bagi peningkatan 3.2 kali ganda; dan dakwaan kos per token setanding GPU Nvidia. Setakat laporan yang tersedia, angka-angka ini sebahagian besarnya bersumberkan Zhipu, bukan ukuran bebas. 156