Multiverse Computing e Qualcomm: modelli AI fino al 93% più veloci sugli acceleratori Dragonfly

Refertazione medica d'emergenza in tempo reale (modello linguistico compresso):

• Tempi di risposta fino al 93% più rapidi
• Throughput fino al 44% superiore
• Riduzione dell'uso di memoria fino al 45%
• Riduzione del consumo energetico fino al 21%
• Nessuna perdita di accuratezza

Chatbot RAG per documenti finanziari riservati:

• Tempi di risposta fino al 35% più rapidi
• Throughput fino al 54% superiore
• Riduzione dell'uso di memoria fino al 45%
• Riduzione del consumo energetico fino al 14%
• Nessuna perdita di accuratezza

Per il caso medico, i risultati sono stati confermati in modo indipendente da più fonti, che hanno verificato il 93% di miglioramento nei tempi di risposta, il 45% di risparmio di memoria e il 21% di riduzione dei consumi . Multiverse Computing ha fatto notare che l'esecuzione diretta sui più recenti acceleratori Dragonfly AI200/AI250 dovrebbe produrre risultati ancora migliori .

Come funziona

Multiverse Computing ottimizza i modelli AI prima del deployment, riducendo la potenza di calcolo e la memoria necessari a ciascun modello. Questo libera spazio sull'hardware esistente, consentendo agli operatori di data center di gestire più richieste di inferenza o di far funzionare più modelli contemporaneamente, senza dover aggiungere nuovi acceleratori o espandere l'infrastruttura .

Un cambiamento epocale per il settore

Questa collaborazione riflette una svolta fondamentale nel mondo dei data center, che si stanno orientando verso infrastrutture AI basate sull'efficienza. Ecco i segnali chiave di questo cambiamento:

• Il DNA di Qualcomm nell'efficienza: Qualcomm ha costruito la sua leadership nel mobile e nell'IoT, dove massimizzare le prestazioni entro rigidi vincoli di potenza e termici è essenziale: gli stessi principi ora applicati direttamente ai data center AI .
• Innovazione a livello hardware: Il Dragonfly AI250 di Qualcomm introduce la tecnologia High Bandwidth Compute (HBC) Gen 1, che offre 133 TB/s di larghezza di banda effettiva per scheda (18 volte in più rispetto all'AI200), aggredendo direttamente il collo di bottiglia della memoria durante l'inferenza, che è all'origine di gran parte dei costi e degli sprechi energetici dell'AI .
• Scalare senza costi proporzionali: Con l'accelerazione dell'adozione dell'AI, gli operatori devono scalare le implementazioni senza un aumento proporzionale di hardware, energia e costi. La combinazione di hardware efficiente e modelli ottimizzati offre una strada pratica per farlo .
• Validazione da parte del settore: Entrambe le aziende hanno inquadrato esplicitamente la collaborazione intorno a "miglioramenti rivoluzionari in termini di prestazioni, costi ed efficienza energetica su larga scala", con Dino Flore di Qualcomm che ha dichiarato che "i clienti hanno bisogno di soluzioni che offrano alte prestazioni con maggiore efficienza" mentre l'adozione dell'AI accelera nelle infrastrutture enterprise e cloud .

La partnership è un esempio concreto di come il settore si stia allontanando dalla mentalità del "più GPU" per abbracciare un focus su performance per watt e costo totale di proprietà, dove la co-ottimizzazione software-hardware diventa la leva principale per una crescita sostenibile dell'AI.