Multiverse Computing a Qualcomm ukazují, jak zrychlit AI modely o 93 % bez ztráty přesnosti

1. Urgentní lékařské zprávy (komprimovaný jazykový model)

• Až o 93 % rychlejší odezva
• Až o 44 % vyšší propustnost
• Až o 45 % nižší spotřeba paměti
• Až o 21 % nižší spotřeba energie
• Bez ztráty přesnosti

2. Důvěrný chatbot pro finanční dokumenty (RAG)

• Až o 35 % rychlejší odezva
• Až o 54 % vyšší propustnost
• Až o 45 % nižší spotřeba paměti
• Až o 14 % nižší spotřeba energie
• Bez ztráty přesnosti

Výsledky v lékařském scénáři nezávisle potvrdilo několik mediálních outletů – 93% zrychlení odezvy, 45% úspora paměti a 21% snížení spotřeby energie . Multiverse Computing dodává, že přímé spuštění na novějších akcelerátorech Dragonfly AI200/AI250 by mělo přinést ještě lepší výsledky .

Jak to funguje?

Multiverse Computing optimalizuje AI modely ještě před jejich nasazením – zmenšuje výpočetní a paměťovou stopu každého modelu. Tím se uvolní kapacita na stávajícím hardwaru a provozovatelé datacenter mohou obsloužit více inferenčních požadavků nebo spouštět více modelů současně, aniž by museli přidávat nové akcelerátory nebo rozšiřovat infrastrukturu .

Širší význam pro celý obor

Tato spolupráce není jen o jednom produktu – je to jasný signál zásadního posunu v datacentrovém průmyslu směrem k efektivitě na prvním místě. Odborníci i samotné firmy poukazují na několik klíčových bodů:

• Qualcommova DNA v efektivitě: Qualcomm vybudoval své vedoucí postavení v mobilních zařízeních a internetu věcí (IoT), kde je zásadní maximalizovat výkon při přísných omezeních na spotřebu a chlazení. Tyto principy nyní přímo aplikuje i v AI datacentrech .
• Hardwarová inovace: Akcelerátor Dragonfly AI250 přináší technologii High Bandwidth Compute (HBC) Gen 1, která dosahuje efektivní paměťové propustnosti 133 TB/s na kartu – to je 18krát více než u předchozí generace AI200. Tím přímo útočí na úzké hrdlo paměti při inferenci, které je hlavním zdrojem nákladů a energetických ztrát u AI .
• Škálování bez proporcionálního růstu nákladů: S tím, jak se AI nasazuje ve stále větším měřítku, potřebují operátoři škálovat bez proporcionálního nárůstu hardwaru, energie a nákladů. Kombinace efektivního hardwaru s optimalizovanými modely nabízí praktickou cestu, jak toho dosáhnout .
• Potvrzení od oboru: Obě společnosti výslovně rámují spolupráci jako „průlomové zlepšení výkonu, nákladů a energetické účinnosti ve škále“. Dino Flore z Qualcommu uvedl, že „zákazníci potřebují řešení, která poskytují vysoký výkon s větší efektivitou“, jak se AI stále více prosazuje v podnikové i cloudové infrastruktuře .

Toto partnerství je konkrétním příkladem odklonu od mentality „více GPU“ směrem k zaměření na výkon na watt a celkové náklady na vlastnictví (TCO). Klíčovou pákou pro udržitelné škálování AI je právě společná optimalizace softwaru a hardwaru.