Multiverse Computing та Qualcomm: AI-моделі працюють на 93% швидше на прискорювачах Dragonfly

Екстрена медична звітність у реальному часі (стиснена велика мовна модель):

• До 93% швидший час відповіді
• До 44% вища пропускна здатність
• До 45% зменшення використання пам'яті
• До 21% зниження енергоспоживання
• Без втрати точності

Чат-бот RAG для конфіденційних фінансових документів:

• До 35% швидший час відповіді
• До 54% вища пропускна здатність
• До 45% зменшення використання пам'яті
• До 14% зниження енергоспоживання
• Без втрати точності

Результати для медичного сценарію були незалежно підтверджені кількома джерелами, які засвідчили 93% пришвидшення, 45% економії пам'яті та 21% зниження енергоспоживання . У Multiverse Computing зазначають, що робота безпосередньо на новіших прискорювачах Dragonfly AI200/AI250, ймовірно, дасть ще кращі результати .

Як це працює

Multiverse Computing оптимізує AI-моделі перед їхнім розгортанням, зменшуючи обчислювальні ресурси та обсяг пам'яті, необхідних кожній моделі. Це вивільняє потужності на наявному обладнанні, дозволяючи операторам дата-центів обслуговувати більше запитів на інференцію або запускати більше моделей одночасно без придбання нових прискорювачів чи розширення інфраструктури .

Ширший галузевий зсув

Ця співпраця є відображенням фундаментальної зміни в індустрії дата-центрів у бік інфраструктури AI, орієнтованої на ефективність. Основні сигнали цього зсуву:

• ДНК Qualcomm в ефективності: Qualcomm здобув лідерство в мобільному та IoT-сегментах, де необхідно максимізувати продуктивність у жорстких рамках енергоспоживання та тепловиділення — ці принципи тепер безпосередньо застосовано до дата-центрів .
• Інновації на рівні апаратного забезпечення: Прискорювач Qualcomm Dragonfly AI250 впроваджує технологію High Bandwidth Compute (HBC) Gen 1, яка забезпечує 133 ТБ/с ефективної пропускної здатності пам'яті на карту (у 18 разів більше, ніж у AI200), безпосередньо атакуючи вузьке місце пам'яті, яке спричиняє значну частину витрат та енергетичних втрат AI .
• Масштабування без пропорційного зростання витрат: З прискоренням впровадження AI операторам потрібно масштабувати розгортання без пропорційного збільшення обладнання, енергії та витрат. Поєднання ефективного апаратного забезпечення та оптимізованих моделей пропонує практичний шлях до цього .
• Визнання галузі: Обидві компанії чітко окреслили співпрацю навколо «проривних покращень продуктивності, вартості та енергетичної ефективності в масштабі», а Діно Флор (Dino Flore) з Qualcomm зазначив, що «клієнтам потрібні рішення, які забезпечують високу продуктивність із більшою ефективністю», оскільки темпи впровадження AI прискорюються як у корпоративній, так і хмарній інфраструктурі .

Це партнерство є конкретним прикладом того, як індустрія відходить від менталітету «більше графічних процесорів» до фокусу на продуктивність на ват та сукупну вартість володіння, де спільна оптимізація програмного забезпечення та апаратного забезпечення є головним важелем для сталого масштабування AI.