Multiverse Computing og Qualcomm: AI-modeller kjører opptil 93 % raskere på Dragonfly-akseleratorer

Sanntidsmedisinsk rapportering (komprimert LLM):

• Opptil 93 % raskere responstid
• Opptil 44 % høyere gjennomstrømning
• Opptil 45 % reduksjon i minnebruk
• Opptil 21 % reduksjon i strømforbruk
• Ingen tap av nøyaktighet

Fortrolig chatbot for finansdokumenter (RAG):

• Opptil 35 % raskere responstid
• Opptil 54 % høyere gjennomstrømning
• Opptil 45 % reduksjon i minnebruk
• Opptil 14 % reduksjon i strømforbruk
• Ingen tap av nøyaktighet

For medisinsk bruk ble resultatene bekreftet av flere uavhengige kilder, som bekreftet den 93 % raskere responstiden, 45 % minnebesparelsen og 21 % strømreduksjonen . Multiverse Computing bemerker at kjøring direkte på de nyere Dragonfly AI200-/AI250-akseleratorene forventes å gi enda bedre resultater .

Hvordan det fungerer

Multiverse Computing optimaliserer AI-modeller før utrulling, og krymper databehovet og minnet som hver modell krever. Dette frigjør kapasitet på eksisterende maskinvare, slik at datasenteroperatører kan betjene flere inferanseforespørsler eller kjøre flere modeller samtidig uten å legge til nye akseleratorer eller utvide infrastrukturen .

Bredere bransjeomstilling

Dette samarbeidet gjenspeiler et grunnleggende skifte i datasenterbransjen mot effektivitetsfokusert AI-infrastruktur. Viktige signaler på dette skiftet:

• Qualcomms DNA innen effektivitet: Qualcomm bygde sin lederskap innen mobil og IoT, der det er avgjørende å maksimere ytelse innenfor strenge strøm- og termiske begrensninger – prinsipper som nå anvendes direkte på AI-datasentre .
• Maskinvareinnovasjon: Qualcomms Dragonfly AI250 introduserer High Bandwidth Compute (HBC) Gen 1, som leverer 133 TB/s effektiv minnebåndbredde per kort (18 ganger mer enn AI200), og angriper direkte flaskehalsen i inferensminnet som driver mye av AI-kostnaden og energisvinnet .
• Skalering uten proporsjonal kostnad: Etter hvert som AI-adopsjonen akselererer, må operatører skalere utrullinger uten en proporsjonal økning i maskinvare, energi og kostnad. Å kombinere effektiv maskinvare med optimaliserte modeller gir en praktisk vei til dette .
• Bransjebekreftelse: Begge selskapene rammet inn samarbeidet rundt «banebrytende forbedringer i ytelse, kostnad og energieffektivitet i stor skala», med Qualcomms Dino Flore som uttalte at «kunder trenger løsninger som leverer høy ytelse med større effektivitet» etter hvert som AI-adopsjonen akselererer på tvers av bedrifts- og skyinfrastruktur .

Partnerskapet er et konkret eksempel på at bransjen beveger seg bort fra en «flere GPUer»-tankegang til et ytelse-per-watt- og totalkostnadseierskapsfokus, der programvare-maskinvare-samoptimalisering er hovedverktøyet for bærekraftig AI-skalering.