Кількість токенів — базових одиниць тексту або даних, які обробляє мовна модель, — допомагає вимірювати попит, але не відображає однакове навантаження. Просту й дешеву відповідь можна доручити доступнішому обладнанню. Водночас якісна відповідь потужнішої моделі, довгий ланцюжок міркувань або серія викликів інструментів потребують більше обчислень і можуть мати вищу цінність для клієнта.
Саме тому загальне зростання кількості токенів здатне приховувати ще гостріший дефіцит преміального інференсу. Ринок може генерувати більше токенів загалом, але водночас відчувати нестачу обладнання для надійних результатів у складних завданнях. На цю різницю вказує, зокрема, інтерес до виробництва високоякісних токенів і систем, що поєднують різні типи обчислювальних ресурсів.
У березні 2026 року середньодобова кількість токен-викликів у Китаї перевищила 140 трильйонів. На початку 2024-го цей показник становив близько 100 мільярдів — зростання перевищило тисячу разів, згідно з даними, оприлюдненими з посиланням на Національне управління даних Китаю.
Ця динаміка свідчить про зміну способу використання ШІ. Моделі виходять за межі експериментів і поодиноких запитів, переходячи в асистентів, корпоративне програмне забезпечення та агентів, які виконують реальні робочі процеси. Відтак інференс стає одним із головних споживачів обчислювальних потужностей, а не другорядним етапом після навчання.
Нарощувати парк потужних процесорів складно через обмеження на доступ до сучасних продуктів Nvidia, дефіцит поставок і високу вартість заміни апаратно-програмної екосистеми. Крім того, китайські розробники вже побудували моделі, інструменти та робочі процеси навколо усталених програмних платформ, тому перехід на іншу архітектуру потребує значних витрат.
Оптимізація програмного забезпечення не створює нових чипів, але дає змогу отримувати більше корисної роботи від кожного доступного процесора. На практиці компанії можуть:
Ці заходи допомагають скоротити розрив між стрімким попитом і обмеженою пропозицією. Проте вони не є повноцінною заміною передовому обладнанню, особливо коли якість критично важлива, а складні завдання залишаються залежними від вузького набору процесорів.
Проблему ускладнює тиск на ціни інференсу. Аналітики Jefferies оцінюють, що китайські моделі в середньому коштують приблизно одну шосту від ціни токена в пропозиціях провідних американських компаній.
Низькі ціни можуть пришвидшувати поширення ШІ, але водночас обмежують виручку, якою можна оплачувати дефіцитні преміальні потужності. При цьому асистенти для програмування та агентні продукти споживають значно більше ресурсів, ніж простий чат. Китайські компанії опинилися в складній ситуації: попит швидко зростає, клієнти очікують недорогого доступу, а найпотужніші інференс-ресурси важко розширити або замінити.
Ця напруга вже позначилася на доступності сервісів. За повідомленнями з ринку, великі китайські розробники моделей і хмарні провайдери обмежували швидкість роботи, нормували доступ або підвищували ціни, коли попит перевищував доступні обчислювальні ресурси. Особливо гостро проблема проявлялася у вимогливих асистентах для програмування.
Інфраструктурний виклик Китаю — це не просто нестача чипів. Йдеться про дефіцит правильної комбінації передових процесорів, сумісного програмного забезпечення та економічно виправданих потужностей для високоякісного інференсу.
У міру вдосконалення програмного забезпечення локальне обладнання зможе брати на себе більшу частину навантаження, а самі сервіси можна буде проєктувати з урахуванням його сильних сторін. Але нинішня стратегія радше перехідна: оптимізувати кожен рівень інференсу, використовувати китайські чипи там, де вони ефективні, і берегти обмежені потужності Nvidia для найскладніших завдань.
Це може продовжити ресурс уже наявної інфраструктури. Та стале зростання агентного ШІ зрештою залежатиме від того, чи зможе Китай одночасно наростити постачання обладнання та розвинути програмну екосистему, яка зробить різні процесорні архітектури практичними для спільної роботи.