Multiverse Computing et Qualcomm : les modèles d’IA tournent 93 % plus vite sur les accélérateurs Dragonfly

Rapport médical d'urgence en temps réel (LLM compressé) :

• Temps de réponse jusqu'à 93 % plus rapides
• Débit jusqu'à 44 % plus élevé
• Réduction de la mémoire jusqu'à 45 %
• Réduction de la consommation électrique jusqu'à 21 %
• Aucune perte de précision

Chatbot RAG pour documents financiers confidentiels :

• Temps de réponse jusqu'à 35 % plus rapides
• Débit jusqu'à 54 % plus élevé
• Réduction de la mémoire jusqu'à 45 %
• Réduction de la consommation électrique jusqu'à 14 %
• Aucune perte de précision

Pour le cas médical, les résultats ont été corroborés de manière indépendante par plusieurs médias, confirmant le temps de réponse 93 % plus rapide, les 45 % d'économie de mémoire et les 21 % de réduction de la consommation . Multiverse Computing a noté que l'exécution directe sur les accélérateurs Dragonfly AI200/AI250 plus récents est en mesure d'offrir des résultats encore meilleurs .

Comment cela fonctionne

Multiverse Computing optimise les modèles d'IA avant leur déploiement, en réduisant la puissance de calcul et la mémoire nécessaires à chaque modèle. Cela libère de la marge sur le matériel existant, permettant aux opérateurs de centres de données de traiter davantage de requêtes d'inférence ou d'exécuter plus de modèles simultanément, sans ajouter de nouveaux accélérateurs ni étendre l'infrastructure .

Un virage sectoriel plus large

Cette collaboration reflète un changement fondamental dans l'industrie des centres de données, qui s'oriente vers une infrastructure IA priorisant l'efficacité. Voici les signes clés de cette évolution :

• L'ADN de Qualcomm dans l'efficacité : Qualcomm a bâti son leadership dans le mobile et l'Internet des objets, où maximiser les performances dans des contraintes strictes de puissance et de thermique est essentiel — des principes désormais appliqués directement aux centres de données IA .
• L'innovation au niveau matériel : L'accélérateur Dragonfly AI250 de Qualcomm introduit le High Bandwidth Compute (HBC) Gen 1, offrant 133 To/s de bande passante mémoire effective par carte (18 fois plus que l'AI200), s'attaquant directement au goulot d'étranglement de la mémoire d'inférence qui est à l'origine d'une grande partie des coûts et du gaspillage énergétique de l'IA .
• Passer à l'échelle sans coût proportionnel : Alors que l'adoption de l'IA s'accélère, les opérateurs doivent pouvoir étendre leurs déploiements sans augmentation proportionnelle du matériel, de l'énergie et des coûts. La combinaison d'un matériel efficace et de modèles optimisés offre une voie pratique pour y parvenir .
• Validation par l'industrie : Les deux entreprises ont explicitement présenté cette collaboration autour d'« améliorations révolutionnaires en matière de performance, de coût et d'efficacité énergétique à grande échelle », Dino Flore de Qualcomm déclarant que « les clients ont besoin de solutions offrant de hautes performances avec une plus grande efficacité » à mesure que l'adoption de l'IA s'accélère dans l'infrastructure d'entreprise et de cloud .

Ce partenariat est un exemple concret du passage de l'industrie d'un état d'esprit « plus de GPU » à une focalisation sur la performance par watt et le coût total de possession, où la co-optimisation logiciel-matériel devient le levier principal d'un passage à l'échelle durable de l'IA.