KI-Inferenz im Rechenzentrum: Multiverse und Qualcomm erzielen bis zu 93 % schnellere Antwortzeiten

Echtzeit-Notfallberichterstattung im Gesundheitswesen (komprimiertes LLM):

• Bis zu 93 % schnellere Antwortzeiten
• Bis zu 44 % höherer Durchsatz
• Bis zu 45 % weniger Speicherverbrauch
• Bis zu 21 % geringerer Stromverbrauch
• Keine Einbußen bei der Genauigkeit

Vertraulicher Finanzdokumenten-RAG-Chatbot:

• Bis zu 35 % schnellere Antwortzeiten
• Bis zu 54 % höherer Durchsatz
• Bis zu 45 % weniger Speicherverbrauch
• Bis zu 14 % geringerer Stromverbrauch
• Keine Einbußen bei der Genauigkeit

Für den medizinischen Anwendungsfall wurden die Ergebnisse von mehreren unabhängigen Quellen bestätigt – darunter die 93 % schnellere Antwortzeit, 45 % Speichereinsparungen und 21 % geringerer Stromverbrauch . Multiverse Computing betont, dass der direkte Betrieb auf den neueren Dragonfly AI200/AI250-Beschleunigern voraussichtlich noch bessere Ergebnisse liefern wird .

Funktionsweise

Multiverse Computing optimiert KI-Modelle bereits vor dem Einsatz und verkleinert so den Rechen- und Speicherbedarf jedes Modells. Dadurch entsteht auf der vorhandenen Hardware Spielraum: Rechenzentren können mehr Inferenzanfragen bedienen oder mehrere Modelle gleichzeitig ausführen, ohne neue Beschleuniger hinzuzufügen oder die Infrastruktur auszubauen .

Branchenweiter Wandel

Diese Zusammenarbeit spiegelt einen grundlegenden Wandel in der Rechenzentrumsbranche hin zu einer effizienzorientierten KI-Infrastruktur wider. Zentrale Signale dieses Wandels:

• Qualcomms Effizienz-DNA: Qualcomm hat seine Führungsrolle im Mobilfunk und IoT aufgebaut, wo die Maximierung der Leistung innerhalb strenger Leistungs- und thermischer Grenzen entscheidend ist – diese Prinzipien werden nun direkt auf KI-Rechenzentren angewendet .
• Innovation auf Hardware-Ebene: Qualcomms Dragonfly AI250 führt High Bandwidth Compute (HBC) Gen 1 ein, das 133 TB/s effektive Speicherbandbreite pro Karte liefert (18× mehr als AI200) und direkt den Inferenz-Speicher-Engpass adressiert, der einen großen Teil der KI-Kosten und Energieverschwendung verursacht .
• Skalierung ohne proportionale Kosten: Mit der zunehmenden Verbreitung von KI müssen Betreiber ihre Kapazitäten ausbauen, ohne dass Hardware, Energie und Kosten proportional steigen. Die Kombination aus effizienter Hardware und optimierten Modellen bietet einen praktischen Weg dorthin .
• Bestätigung durch die Branche: Beide Unternehmen haben die Zusammenarbeit explizit als „bahnbrechende Verbesserungen bei Leistung, Kosten und Energieeffizienz im großen Maßstab“ bezeichnet. Qualcomms Dino Flore erklärte: „Kunden brauchen Lösungen, die hohe Leistung bei größerer Effizienz liefern“ – insbesondere da die KI-Nutzung in Unternehmen und Cloud-Infrastrukturen immer schneller voranschreitet .

Die Partnerschaft ist ein konkretes Beispiel dafür, dass sich die Branche von einem „Mehr-GPUs“-Denken wegbewegt hin zu einem Fokus auf Leistung pro Watt und Gesamtbetriebskosten, bei dem die gemeinsame Optimierung von Software und Hardware der entscheidende Hebel für eine nachhaltige KI-Skalierung ist.