GLM-5.3-FlashX: що стоїть за обіцянкою 200 токенів за секунду

Для користувача різниця між двома назвами насамперед практична: GLM-5.3-Flash має відкриті ваги, а GLM-5.3-FlashX Zhipu AI пропонує як швидший варіант через API — інтерфейс, через який розробники звертаються до моделі. Компанія пов’язує FlashX із пришвидшенням виконання запитів та оптимізацією сервісу, а не представляє його як окрему нову архітектуру чи новий випуск відкритих ваг. 14

Що саме обіцяють пришвидшити

Базова GLM-5.3-Flash — мультимодальна модель архітектури «суміш експертів»: вона має 320 млрд параметрів загалом, з яких 18 млрд активуються під час роботи. Заявлений розмір контекстного вікна — до 1 млн токенів, тобто одиниць тексту, які модель може враховувати в одному запиті. Для FlashX Zhipu вказує швидкість до 200 вихідних токенів за секунду. Це заявлений максимум, а не незалежно доведена перевага над базовою версією за однакових умов. 17

Звідки, за словами Zhipu, взялася швидкість

Компанія стверджує, що робочі запити до Flash обробляються на понад 100 тисячах ШІ-прискорювачів китайського виробництва. За її описом, агент Infra Agent на базі GLM-5.3 допомагав знаходити вузькі місця, змінювати код і налаштовувати систему обслуговування запитів. Серед описаних робіт — усунення проблеми одночасної передачі KV-даних і вдосконалення обчислень на етапі генерації відповіді. 56

Zhipu пов’язує це розгортання, виконане менш ніж за два тижні, зі зростанням наскрізної пропускної здатності системи у 3,2 раза від початкового рівня. Ідеться про те, скільки роботи здатен виконати сервіс загалом, не про швидкість відповіді FlashX для кожного окремого користувача. 613

Ефективність для компанії — не те саме, що ціна для клієнта

Zhipu також заявляє, що використання обладнання й собівартість обробки одного токена стали порівнянними з показниками поширених систем на GPU Nvidia. Незалежного зіставлення за однакових умов наведені матеріали не дають. Водночас зазначені ціни API для покупця вищі: FlashX — $0,37 за мільйон вхідних і $1,25 за мільйон вихідних токенів; Flash — $0,15 і $0,50 відповідно. Отже, вихідний токен у FlashX коштує приблизно у 2,5 раза дорожче. 745

Що ще треба перевірити незалежно: чи тримається швидкість 200 токенів/с за одночасного навантаження і якими є затримка та стабільність; скільки прискорювачів фактично задіяно й який обсяг запитів вони обробляють; якою була роль агента порівняно з роботою інженерів; від якого саме рівня відраховано приріст у 3,2 раза; і чи справді собівартість зіставна з Nvidia. Наявні повідомлення переважно передають показники Zhipu, а не вимірюють їх самостійно. 156