AI-modeller kör 93 % snabbare – Qualcomm och Multiverse Computing i nytt samarbete

Real-tids akut medicinsk rapportering (komprimerad LLM):

• Upp till 93 % snabbare svarstider
• Upp till 44 % högre genomströmning
• Upp till 45 % minskad minnesanvändning
• Upp till 21 % lägre strömförbrukning
• Ingen noggrannhetsförlust

Konfidentiell finansiell dokument-RAG-chatbot:

• Upp till 35 % snabbare svarstider
• Upp till 54 % högre genomströmning
• Upp till 45 % minskad minnesanvändning
• Upp till 14 % lägre strömförbrukning
• Ingen noggrannhetsförlust

För det medicinska användningsfallet bekräftades resultaten oberoende av flera källor, som verifierade 93 % snabbare svarstid, 45 % minnesbesparing och 21 % lägre strömförbrukning . Multiverse Computing påpekar att körning på de nyare Dragonfly AI200/AI250-acceleratorerna direkt förväntas ge ännu bättre resultat .

Så fungerar det

Multiverse Computing optimerar AI-modeller redan före driftsättning genom att krympa det beräknings- och minnesutrymme varje modell kräver. Detta frigör kapacitet på befintlig hårdvara, vilket låter datacenteroperatörer hantera fler inferensförfrågningar eller köra fler modeller samtidigt utan att lägga till nya acceleratorer eller bygga ut infrastrukturen .

Bredare branschskifte

Samarbetet speglar en grundläggande omställning inom datacenterindustrin mot effektivitetsförst AI-infrastruktur. Viktiga signaler på detta skifte:

• Qualcomms effektivitets-DNA: Qualcomm byggde sin ledande position inom mobil och IoT, där maximering av prestanda inom strikta energi- och termiska begränsningar är avgörande – principer som nu tillämpas direkt på AI-datacenter .
• Innovation på hårdvarunivå: Qualcomms Dragonfly AI250 introducerar High Bandwidth Compute (HBC) Gen 1, som levererar 133 TB/s effektiv minnesbandbredd per kort (18 gånger mer än AI200). Detta angriper direkt den minnesflaskhals som driver en stor del av AI:s kostnader och energislöseri .
• Skalning utan proportionell kostnad: I takt med att AI-användningen accelererar behöver operatörer skala ut sina installationer utan en proportionell ökning av hårdvara, energi och kostnad. Att kombinera effektiv hårdvara med optimerade modeller erbjuder en praktisk väg framåt .
• Branschvalidering: Båda företagen ramade uttryckligen in samarbetet kring ”banbrytande förbättringar av prestanda, kostnad och energieffektivitet i stor skala”, och Qualcomms Dino Flore sade att ”kunderna behöver lösningar som levererar hög prestanda med högre effektivitet” i takt med att AI-användningen accelererar inom företags- och molninfrastruktur .

Partnerskapet är ett konkret exempel på hur industrin rör sig bort från ett ”fler GPU:er”-tänkande mot ett fokus på prestanda per watt och total ägandekostnad, där mjukvaru- och hårdvaruoptimering är den primära hävstången för hållbar AI-skalning.