ОтветыОпубликовано18 источники
Как Huawei предлагает устранить узкое место KV-кэша в ИИ-инференсе
На конференции Advanced Storage Conference в октябре 2026 года Huawei заявила, что выгрузка KV кэша дала в лабораторном сценарии с GLM 5.2 пропускную способность инференса в 7,3 раза выше; согласованное планирование о... KV кэш сохраняет уже вычисленные данные Key и Value, чтобы использовать их повторно.
ОпубликовалОтредактировано с помощью GPT-6 LunaИзображения созданы с помощью GPT Image 2
Ответ на исследование
Ключевые выводы
- На конференции Advanced Storage Conference в октябре 2026 года Huawei заявила, что выгрузка KV кэша дала в лабораторном сценарии с GLM 5.2 пропускную способность инференса в 7,3 раза выше; согласованное планирование о...
- KV кэш сохраняет уже вычисленные данные Key и Value, чтобы использовать их повторно.
- Подход Huawei объединяет прямой доступ ускорителей к кэшу с координацией хранения и сети.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: What storage-network convergence approach did Huawei present at the ODCC-organized Advanced Storage Conference in Shanghai on October 22, 20. Article summary: Huawei presented storage–network convergence as a way to reduce the cost of moving KV Cache between compute, storage, and network during agentic AI inference at the October 22, 2026 ASC session in Shanghai; ODCC organize. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
На конференции Advanced Storage Conference (ASC), организованной ODCC и прошедшей 22 октября 2026 года в Шанхае, Huawei представила координацию хранения и сети как способ смягчить узкие места KV-кэша при инференсе ИИ. Компания сообщила, что в лабораторном сценарии с GLM-5.2 выгрузка KV-кэша обеспечила пропускную способность в 7,3 раза выше, а согласованное планирование операций ввода-вывода между хранилищем и сетью добавило ещё 20% к эффективности. Это результаты, заявленные самой Huawei; полную конфигурацию теста компания не раскрыла.5
8
Почему KV-кэш становится проблемой инфраструктуры
При инференсе модель формирует данные Key и Value по мере обработки токенов. KV-кэш сохраняет уже вычисленные данные, чтобы при генерации следующих токенов их можно было использовать повторно, а не пересчитывать заново.47
48
Чем длиннее контекст, тем больше становится кэш. В диалогах из нескольких ходов системе также может потребоваться хранить или повторно использовать состояние предыдущих бесед. Когда запросы и кэш распределены по кластеру, передача данных между вычислительными ресурсами, хранилищем и сетью увеличивает трафик и нагрузку на доступную память. В материалах о конференции Huawei описала совокупный рост кэша на запрос, постоянно хранимого кэша и межузлового трафика как фактор, подталкивающий общий объём KV-кэша кластера к петабайтному масштабу.5
Huawei свела возникающие ограничения к трём «стенам»: недостаточной пропускной способности ввода-вывода со стороны вычислительных ресурсов, задержкам при передаче данных между уровнями и нехватке IOPS — операций ввода-вывода в секунду — для эффективной обработки множества запросов к кэшу.5
Подход, объединяющий вычисления, хранение и сеть
Предложение Huawei охватывает ускорители, хранилище и сеть: компания рассматривает KV-кэш не только как вопрос объёма памяти. В описании конференции говорится о прямом инициировании операций ввода-вывода процессорами на стороне вычислений: от доступа через AI CPU и векторные ядра к более мелкозернистому вводу-выводу на уровне SIMT. В более широком подходе также задействованы координация хранилища и сети.5
Заявленные показатели связаны с двумя шагами: прямой выгрузкой KV-кэша и последующим согласованным планированием операций ввода-вывода между хранением и сетью. Доступные материалы о конференции не раскрывают достаточно деталей, чтобы проверить все элементы реализации или установить, что именно конкретная конфигурация планирования Hyper-Converged Fabric (HCF) обеспечила прирост. Поэтому эти цифры следует воспринимать как результаты описанного Huawei лабораторного сценария, а не как полную спецификацию архитектуры, доступную для независимой проверки.5
7
Что заявила Huawei — и чего мы пока не знаем
В лабораторном сценарии с GLM-5.2 прямая выгрузка KV-кэша, по заявлению Huawei, обеспечила в 7,3 раза более высокую пропускную способность инференса, чем традиционный подход на основе памяти. После добавления согласованного планирования операций ввода-вывода между хранилищем и сетью компания сообщила о дополнительном повышении эффективности инференса на 20%.5
К этим цифрам стоит относиться с осторожностью. Huawei не опубликовала полную конфигурацию теста, поэтому внешним наблюдателям трудно оценить нагрузку, базовый сценарий сравнения и вклад каждого элемента решения. Доступные материалы о конференции также не подтверждают отдельное заявление о приросте производительности операций ввода-вывода хранилища более чем на 30%; считать эту цифру проверенной на их основе нельзя.5
7
Октябрьские результаты в контексте более раннего направления Huawei
Октябрьская презентация состоялась после того, как Huawei представила обновлённую Stellar AI Fabric на HUAWEI CONNECT в сентябре. Согласно материалам о конференции, в октябре компания раскрыла измерения, связанные с выгрузкой KV-кэша. В сентябрьских материалах Huawei также представила OceanStor M900 Context Memory Storage — систему хранения контекстной памяти, предназначенную для расширения KV-кэша за пределы памяти на кристалле и DRAM в общий многоуровневый пул для инференса.10
15
16
Это различие важно: октябрьские цифры дополняют заявления Huawei о развитии хранения и сети, но доступные источники не показывают, что все технические детали октябрьского выступления полностью совпадали с сентябрьским проектом. Они также не описывают отдельный запуск нового продукта на октябрьской конференции.5
10
16
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Как Huawei предлагает устранить узкое место KV-кэша в ИИ-инференсе»?
На конференции Advanced Storage Conference в октябре 2026 года Huawei заявила, что выгрузка KV кэша дала в лабораторном сценарии с GLM 5.2 пропускную способность инференса в 7,3 раза выше; согласованное планирование о...
Какие ключевые моменты необходимо проверить в первую очередь?
На конференции Advanced Storage Conference в октябре 2026 года Huawei заявила, что выгрузка KV кэша дала в лабораторном сценарии с GLM 5.2 пропускную способность инференса в 7,3 раза выше; согласованное планирование о... KV кэш сохраняет уже вычисленные данные Key и Value, чтобы использовать их повторно.
Что мне делать дальше на практике?
Подход Huawei объединяет прямой доступ ускорителей к кэшу с координацией хранения и сети.