ОтветыОпубликовано13 источники
Общий KV-кэш Supermicro, IBM и NVIDIA: что означает заявление об ускорении в 56 раз
5 ноября 2026 года Supermicro, IBM и NVIDIA объявили о совместном решении с хранилищем KV кэша для инференса ИИ. В платформу входят флеш серверы Supermicro Petascale на процессорах AMD EPYC 9005, ПО IBM Storage Scale, фреймворк NVIDIA Dynamo и сеть NVIDIA Spectrum X Ethernet.[6] Речь идёт о более быстром начале отве...
ОпубликовалОтредактировано с помощью GPT-6 LunaИзображения созданы с помощью GPT Image 2
Ответ на исследование
Ключевые выводы
- 5 ноября 2026 года Supermicro, IBM и NVIDIA объявили о совместном решении с хранилищем KV кэша для инференса ИИ.
- В платформу входят флеш серверы Supermicro Petascale на процессорах AMD EPYC 9005, ПО IBM Storage Scale, фреймворк NVIDIA Dynamo и сеть NVIDIA Spectrum X Ethernet.[6]
- Речь идёт о более быстром начале ответа, а не о том, что модель выдаёт весь ответ в 56 раз быстрее.
Промпт ИИ
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Supermicro, IBM and NVIDIA announce on November 5, 2026, about a shared-flash AI key-value (KV) cache stored outside GPU memory; ho. Article summary: On November 5, 2026, Supermicro announced a joint KV-cache storage solution with IBM and NVIDIA that keeps reusable, previously computed AI context in shared storage beyond GPU memory.[5][7] The advertised up-to-56× gain. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Supermicro, IBM и NVIDIA 5 ноября 2026 года объявили о совместном решении для инференса ИИ с общим хранилищем key-value (KV) кэша. Оно предназначено для повторного использования уже обработанного контекста вместо его повторных вычислений. По данным компаний, в совместном тестировании на запросе длиной 130 000 токенов время до первого токена (TTFT) удалось сократить до 56 раз.5
13
Важно понимать, что именно измеряет этот показатель: TTFT — это время ожидания до появления первого токена ответа. Заявление об ускорении в 56 раз не означает, что модель генерирует весь ответ с такой же скоростью.
Из чего состоит платформа
Решение объединяет серверы хранения Supermicro Petascale с флеш-накопителями и процессорами AMD EPYC 9005 Series, ПО IBM Storage Scale, программный фреймворк для инференса NVIDIA Dynamo и сетевое оборудование NVIDIA Spectrum-X Ethernet.6
Идея KV-кэша — хранить промежуточные данные, полученные при обработке контекста, за пределами локальной памяти графических процессоров (GPU). Тогда подходящая рабочая нагрузка может использовать эти данные повторно, а не выполнять часть вычислений заново. Это особенно актуально для длинных запросов и сценариев с повторяющимися инструкциями, документами или историей диалога.
В объявлении перечислены компоненты платформы, однако доступные сведения не раскрывают подробно, как именно кэш передаётся между узлами и координируется работа системы.
Что означает результат «до 56 раз»
Речь идёт о сравнении задержки до начала ответа с KV-кэшированием и без него для длинного контекста. В опубликованных описаниях теста упоминаются модель на 120 млрд параметров и запрос длиной 130 000 токенов.5
13
Меньшее время до первого токена может помочь системе быстрее начать отвечать. Но оно само по себе не показывает, насколько быстро затем генерируется весь текст. Кроме того, результат конкретного теста нельзя автоматически переносить на любую модель, запрос или конфигурацию.
Почему результат зависит от повторного использования
Кэш полезен, когда новый запрос содержит контекст, который система уже обрабатывала и может использовать повторно. Если контекст новый или не подходит для повторного использования, его всё равно придётся обработать. Поэтому фактический эффект зависит от того, насколько часто удаётся находить нужные данные в кэше, а также от работы хранилища и сети.
Заявленные показатели — результат тестирования, о котором сообщили компании, а не гарантия такого же прироста для любой рабочей нагрузки.5
13 При оценке решения важно выяснить не только наличие общего кэша, но и то, как часто конкретная система сможет его использовать и улучшит ли это нужный показатель — например, скорость первого ответа или общую пропускную способность.
Studio Global AI
Продолжайте свое исследование
На этой странице есть ответ, подтвержденный источником, который вы можете продолжить внутри Studio Global.
Люди также спрашивают
Каков краткий ответ на вопрос «Общий KV-кэш Supermicro, IBM и NVIDIA: что означает заявление об ускорении в 56 раз»?
5 ноября 2026 года Supermicro, IBM и NVIDIA объявили о совместном решении с хранилищем KV кэша для инференса ИИ.
Какие ключевые моменты необходимо проверить в первую очередь?
5 ноября 2026 года Supermicro, IBM и NVIDIA объявили о совместном решении с хранилищем KV кэша для инференса ИИ. В платформу входят флеш серверы Supermicro Petascale на процессорах AMD EPYC 9005, ПО IBM Storage Scale, фреймворк NVIDIA Dynamo и сеть NVIDIA Spectrum X Ethernet.[6]
Что мне делать дальше на практике?
Речь идёт о более быстром начале ответа, а не о том, что модель выдаёт весь ответ в 56 раз быстрее.