Multiverse Computing en Qualcomm versnellen AI-modellen met 93% op Dragonfly-chips

Realtime medische spoedrapportage (gecomprimeerd LLM):

• Tot 93% snellere responstijden
• Tot 44% hogere doorvoer
• Tot 45% minder geheugengebruik
• Tot 21% lager stroomverbruik
• Geen verlies aan nauwkeurigheid

RAG-chatbot voor vertrouwelijke financiële documenten:

• Tot 35% snellere responstijden
• Tot 54% hogere doorvoer
• Tot 45% minder geheugengebruik
• Tot 14% lager stroomverbruik
• Geen verlies aan nauwkeurigheid

Voor de medische toepassing werden de resultaten onafhankelijk bevestigd door meerdere bronnen, die de 93% snellere responstijd, 45% geheugenbesparing en 21% stroomreductie bevestigden . Multiverse Computing gaf aan dat de resultaten naar verwachting nog beter zijn bij directe uitvoering op de nieuwere Dragonfly AI200/AI250-versnellers .

Hoe het werkt

Multiverse Computing optimaliseert AI-modellen vóór implementatie, waardoor de rekenkracht en het geheugen die elk model nodig heeft, afnemen. Dit creëert ruimte op bestaande hardware, zodat datacenters meer inferentieverzoeken kunnen afhandelen of meer modellen tegelijk kunnen draaien zonder nieuwe versnellers of uitbreiding van de infrastructuur .

De bredere verschuiving in de sector

Deze samenwerking weerspiegelt een fundamentele omslag in de datasector naar efficiëntiegerichte AI-infrastructuur. Belangrijke signalen van deze verschuiving:

• Qualcomm's efficiëntie-DNA: Qualcomm bouwde zijn leiderschap op in mobiel en IoT, waar het maximaliseren van prestaties binnen strikte stroom- en thermische grenzen essentieel is — principes die nu direct worden toegepast op AI-datacenters .
• Innovatie op hardwareniveau: Qualcomm's Dragonfly AI250 introduceert High Bandwidth Compute (HBC) Gen 1, met 133 TB/s effectieve geheugenbandbreedte per kaart (18x meer dan AI200), waarmee de inferentiegeheugenknelpunt wordt aangepakt die een groot deel van de AI-kosten en energieverspilling veroorzaakt .
• Opschalen zonder evenredige kosten: Naarmate de adoptie van AI versnelt, moeten operators hun inzet opschalen zonder een evenredige toename van hardware, energie en kosten. De combinatie van efficiënte hardware met geoptimaliseerde modellen biedt een praktische manier om dit te doen .
• Validatie door de sector: Beide bedrijven plaatsten de samenwerking expliciet in het kader van "baanbrekende verbeteringen in prestaties, kosten en energie-efficiëntie op schaal", waarbij Dino Flore van Qualcomm stelde dat "klanten oplossingen nodig hebben die hoge prestaties leveren met grotere efficiëntie" nu de adoptie van AI in bedrijfs- en cloudinfrastructuur versnelt .

Het partnerschap is een concreet voorbeeld van de verschuiving in de sector van een ‘meer GPU’s’-mentaliteit naar een focus op performance-per-watt en total cost of ownership, waarbij software-hardware-co-optimalisatie de belangrijkste hefboom is voor duurzame AI-schaalvergroting.