Multiverse Computing og Qualcomm får AI-modeller til at køre op til 93 % hurtigere på Dragonfly-acceleratorer

Realtidsmedicinsk rapportering (komprimeret LLM):

• Op til 93 % hurtigere svartider
• Op til 44 % højere gennemstrømning
• Op til 45 % reduktion i hukommelsesforbrug
• Op til 21 % reduktion i strømforbrug
• Intet tab af nøjagtighed

Fortrolig finansiel dokument-RAG-chatbot:

• Op til 35 % hurtigere svartider
• Op til 54 % højere gennemstrømning
• Op til 45 % reduktion i hukommelsesforbrug
• Op til 14 % reduktion i strømforbrug
• Intet tab af nøjagtighed

For den medicinske use case blev resultaterne uafhængigt bekræftet af flere medier, som bekræftede de 93 % hurtigere svartider, 45 % mindre hukommelsesforbrug og 21 % lavere strømforbrug . Multiverse Computing bemærkede, at kørsel direkte på de nyere Dragonfly AI200/AI250-acceleratorer forventes at give endnu bedre resultater .

Hvordan det virker

Multiverse Computing optimerer AI-modeller før implementering, hvilket mindsker den beregnings- og hukommelseskapacitet, hver model kræver. Dette frigør kapacitet på eksisterende hardware, så datacenteroperatører kan betjene flere inferensforespørgsler eller køre flere modeller samtidigt uden at tilføje nye acceleratorer eller udvide infrastrukturen .

Bredere brancheomlægning

Dette samarbejde afspejler et grundlæggende skift i datacenterindustrien mod effektivitets-first AI-infrastruktur. Vigtige signaler på denne ændring:

• Qualcomms DNA i effektivitet: Qualcomm opbyggede sit lederskab inden for mobil og IoT, hvor maksimering af ydeevne inden for strenge strøm- og termiske begrænsninger er afgørende – principper, der nu anvendes direkte på AI-datacentre .
• Hardwareinnovation: Qualcomms Dragonfly AI250 introducerer High Bandwidth Compute (HBC) Gen 1, der leverer 133 TB/s effektiv hukommelsesbåndbredde pr. kort (18 gange mere end AI200), hvilket direkte angriber den inferens-hukommelsesflaskehals, der driver meget af AI's omkostninger og energispild .
• Skalering uden proportionelle omkostninger: Efterhånden som AI-udrulningen accelererer, har operatører brug for at skalere uden en tilsvarende stigning i hardware, energi og omkostninger. Kombinationen af effektiv hardware med optimerede modeller tilbyder en praktisk vej til at gøre dette .
• Branchevalidering: Begge virksomheder rammesatte udtrykkeligt samarbejdet omkring "banebrydende forbedringer i ydeevne, omkostninger og energieffektivitet i stor skala", med Qualcomms Dino Flore, der udtalte, at "kunder har brug for løsninger, der leverer høj ydeevne med større effektivitet", efterhånden som AI-udrulningen accelererer på tværs af virksomheds- og cloudinfrastruktur .

Partnerskabet er et konkret eksempel på, at industrien bevæger sig væk fra en "flere GPU'er"-tankegang mod et fokus på ydeevne pr. watt og samlede ejeromkostninger, hvor software-hardware-co-optimering er det primære greb til bæredygtig AI-skalering.