GLM-5.3-FlashX: nhanh hơn ở khâu phục vụ mô hình, nhưng các con số vẫn cần kiểm chứng

Nếu đang cân nhắc dùng hai phiên bản này qua API, điểm cần phân biệt là FlashX không được giới thiệu như một mô hình mở trọng số mới. Zhipu AI định vị GLM-5.3-FlashX là cách cung cấp GLM-5.3-Flash với tốc độ suy luận nhanh hơn nhờ hạ tầng phục vụ và các tối ưu vận hành. Flash là mô hình nền đã được mở trọng số; chưa có công bố về một kiến trúc mới hay bản phát hành trọng số riêng cho FlashX. 14

200 token/giây nói lên điều gì?

GLM-5.3-Flash là mô hình đa phương thức sử dụng kiến trúc mixture-of-experts (MoE), với 320 tỷ tham số tổng cộng, 18 tỷ tham số được kích hoạt và cửa sổ ngữ cảnh được công bố ở mức 1 triệu token. Zhipu quảng bá FlashX có thể tạo tối đa 200 token đầu ra mỗi giây. Token là đơn vị văn bản mà mô hình xử lý hoặc tạo ra; con số 200 phản ánh tốc độ tạo đầu ra được nhà cung cấp công bố, không chứng minh FlashX nhanh hơn Flash bao nhiêu trong một phép thử cùng điều kiện. 174

Hơn 100.000 bộ tăng tốc và vai trò của Infra Agent

Theo Zhipu, lưu lượng vận hành thực tế của GLM-5.3-Flash được phục vụ trên hơn 100.000 bộ tăng tốc AI sản xuất tại Trung Quốc. Công ty cho biết một Infra Agent — tác nhân AI chạy bằng GLM-5.3 — đã hỗ trợ tìm điểm nghẽn, sửa mã và tối ưu hệ thống phục vụ mô hình. Những hạng mục được tường thuật gồm giảm nghẽn khi truyền dữ liệu KV và cải thiện một thành phần tính toán ở giai đoạn giải mã. 67

Zhipu quy quá trình triển khai, tối ưu hoàn tất trong chưa đầy hai tuần với mức tăng 3,2 lần thông lượng đầu cuối so với mốc ban đầu. Thông lượng ở đây là năng lực xử lý của cả hệ thống phục vụ, không phải tốc độ tạo token mà từng người dùng FlashX sẽ luôn nhận được. Con số này cũng không tự xác định phần đóng góp riêng của Infra Agent so với công việc của kỹ sư. 13156

Chi phí vận hành không đồng nghĩa giá API rẻ hơn

Zhipu tuyên bố hiệu suất sử dụng phần cứng và chi phí phục vụ trên mỗi token đã ở mức tương đương các hệ thống dùng GPU Nvidia phổ biến. Tuy nhiên, những nguồn được dẫn chưa đưa ra cuộc kiểm toán độc lập với điều kiện so sánh tương ứng để xác nhận nhận định đó. 713

Với khách hàng API, bảng giá được tường thuật lại cho thấy FlashX có giá 0,37 USD cho mỗi triệu token đầu vào và 1,25 USD cho mỗi triệu token đầu ra; Flash lần lượt là 0,15 USD và 0,50 USD. Như vậy, giá mua mỗi triệu token đầu ra của FlashX cao khoảng 2,5 lần bản Flash. Chi phí Zhipu bỏ ra để phục vụ một token và mức giá khách hàng trả là hai thước đo khác nhau. 45

Điều còn chờ kiểm chứng: Cần phép thử độc lập để xác định FlashX có duy trì được 200 token/giây hay không, độ trễ và độ ổn định khi nhiều người dùng truy cập đồng thời; đồng thời đối chiếu số lượng bộ tăng tốc, phạm vi lưu lượng vận hành thực tế, mốc so sánh của mức tăng 3,2 lần, vai trò cụ thể của Infra Agent và phép so sánh chi phí với GPU Nvidia. Các tường thuật hiện có chủ yếu dẫn lại số liệu từ Zhipu, chưa xác nhận độc lập toàn bộ những tuyên bố này. 15613