Przełom w wydajności AI: modele działają o 93% szybciej na akceleratorach Qualcomm Dragonfly

Raportowanie medyczne w czasie rzeczywistym (skompresowany LLM):

• Nawet 93% szybsze czasy odpowiedzi
• Nawet 44% wyższa przepustowość
• Nawet 45% redukcja zużycia pamięci
• Nawet 21% redukcja zużycia energii
• Brak utraty dokładności

Poufny chatbot RAG do dokumentów finansowych:

• Nawet 35% szybsze czasy odpowiedzi
• Nawet 54% wyższa przepustowość
• Nawet 45% redukcja zużycia pamięci
• Nawet 14% redukcja zużycia energii
• Brak utraty dokładności

W przypadku medycznym wyniki zostały niezależnie potwierdzone przez kilka źródeł, potwierdzając 93% szybszy czas odpowiedzi, 45% oszczędności pamięci i 21% redukcję mocy . Multiverse Computing zaznacza, że uruchomienie bezpośrednio na nowszych akceleratorach Dragonfly AI200/AI250 powinno przynieść jeszcze lepsze rezultaty .

Jak to działa

Multiverse Computing optymalizuje modele AI przed ich wdrożeniem, zmniejszając zapotrzebowanie każdego modelu na moc obliczeniową i pamięć. To uwalnia zasoby na istniejącym sprzęcie, pozwalając operatorom centrów danych obsługiwać więcej zapytań inferencyjnych lub uruchamiać więcej modeli jednocześnie bez dodawania nowych akceleratorów czy rozbudowy infrastruktury .

Szerszy zwrot w branży

To partnerstwo odzwierciedla fundamentalną zmianę w branży centrów danych w kierunku infrastruktury AI stawiającej na wydajność. Kluczowe sygnały tej zmiany:

• DNA Qualcomm w efektywności: Qualcomm zbudował swoją pozycję lidera w urządzeniach mobilnych i IoT, gdzie maksymalizacja wydajności przy ścisłych ograniczeniach energetycznych i termicznych jest kluczowa — te same zasady są teraz bezpośrednio stosowane w centrach danych AI .
• Innowacje na poziomie sprzętu: Qualcomm Dragonfly AI250 wprowadza High Bandwidth Compute (HBC) Gen 1, zapewniając 133 TB/s efektywnej przepustowości pamięci na kartę (18 razy więcej niż AI200), co bezpośrednio atakuje wąskie gardło pamięci w inferencji, będące źródłem wysokich kosztów i strat energii .
• Skalowanie bez proporcjonalnego wzrostu kosztów: W miarę przyspieszania adopcji AI operatorzy muszą skalować wdrożenia bez proporcjonalnego wzrostu sprzętu, energii i kosztów. Połączenie wydajnego sprzętu z optymalizacją modeli oferuje praktyczną ścieżkę do tego celu .
• Walidacja branżowa: Obie firmy wyraźnie określiły współpracę jako „przełomowe ulepszenia w wydajności, kosztach i efektywności energetycznej na dużą skalę”, a Dino Flore z Qualcomm stwierdził, że „klienci potrzebują rozwiązań zapewniających wysoką wydajność przy większej efektywności” w miarę przyspieszania adopcji AI w infrastrukturze przedsiębiorstw i chmurze .

Partnerstwo jest konkretnym przykładem odejścia branży od myślenia „więcej układów GPU” w kierunku wydajności na wat i całkowitego kosztu posiadania, gdzie współoptymalizacja oprogramowania i sprzętu jest główną dźwignią zrównoważonego skalowania AI.