Multiverse Computing y Qualcomm logran que los modelos de IA funcionen hasta un 93 % más rápido en los aceleradores Dragonfly

Informes médicos de emergencia en tiempo real (LLM comprimido):

• Hasta un 93 % más rápido en tiempos de respuesta
• Hasta un 44 % más de rendimiento (throughput)
• Hasta un 45 % menos de uso de memoria
• Hasta un 21 % menos de consumo energético
• Sin pérdida de precisión

Chatbot RAG para documentos financieros confidenciales:

• Hasta un 35 % más rápido en tiempos de respuesta
• Hasta un 54 % más de rendimiento
• Hasta un 45 % menos de uso de memoria
• Hasta un 14 % menos de consumo energético
• Sin pérdida de precisión

Para el caso médico, los resultados fueron corroborados de forma independiente por varios medios, confirmando el 93 % de mejora en tiempo de respuesta, el 45 % de ahorro de memoria y el 21 % de reducción de energía . Multiverse Computing señaló que ejecutar estos modelos directamente en los aceleradores Dragonfly AI200/AI250, más recientes, podría ofrecer resultados aún mejores .

Cómo funciona

Multiverse Computing optimiza los modelos de IA antes de su despliegue, reduciendo la capacidad de cómputo y memoria que cada modelo requiere. Esto libera espacio en el hardware existente, permitiendo a los operadores de centros de datos atender más solicitudes de inferencia o ejecutar más modelos simultáneamente sin tener que añadir nuevos aceleradores ni ampliar la infraestructura .

Un cambio profundo en la industria

Esta colaboración refleja un giro fundamental en el sector de los centros de datos hacia una infraestructura de IA que prioriza la eficiencia. Las señales clave de este cambio son:

• El ADN de eficiencia de Qualcomm: Qualcomm forjó su liderazgo en el ámbito móvil y del Internet de las Cosas (IoT), donde maximizar el rendimiento dentro de estrictos límites de energía y temperatura es esencial. Esos principios ahora se aplican directamente a los centros de datos de IA .
• Innovación a nivel de hardware: El acelerador Dragonfly AI250 de Qualcomm incorpora la tecnología High Bandwidth Compute (HBC) Gen 1, que ofrece 133 TB/s de ancho de banda de memoria efectivo por tarjeta (18 veces más que el AI200). Esto ataca directamente el cuello de botella de memoria en la inferencia, que es el principal causante del alto costo y desperdicio energético de la IA .
• Escalabilidad sin coste proporcional: A medida que se acelera la adopción de la IA, los operadores necesitan escalar sus despliegues sin que el hardware, la energía y los costes aumenten en la misma proporción. Combinar hardware eficiente con modelos optimizados ofrece un camino práctico para lograrlo .
• Validación de la industria: Ambas empresas enmarcaron explícitamente la colaboración como "mejoras revolucionarias en rendimiento, coste y eficiencia energética a escala". Dino Flore, de Qualcomm, declaró que "los clientes necesitan soluciones que ofrezcan alto rendimiento con mayor eficiencia" a medida que la adopción de la IA se acelera en infraestructuras empresariales y en la nube .

La alianza es un ejemplo concreto de cómo la industria está pasando de una mentalidad de "más GPUs" a un enfoque centrado en el rendimiento por vatio y el coste total de propiedad, donde la co-optimización de software y hardware se convierte en la palanca principal para una escalabilidad sostenible de la IA.