Multiverse Computing & Qualcomm: Model AI Berjalan 93% Lebih Pantas pada Pemecut Dragonfly

Pelaporan perubatan kecemasan masa nyata (LLM termampat):

• Masa respons sehingga 93% lebih pantas
• Pemprosesan sehingga 44% lebih tinggi
• Penggunaan memori sehingga 45% berkurang
• Penggunaan kuasa sehingga 21% berkurang
• Tiada kehilangan ketepatan

Chatbot RAG dokumen kewangan sulit:

• Masa respons sehingga 35% lebih pantas
• Pemprosesan sehingga 54% lebih tinggi
• Penggunaan memori sehingga 45% berkurang
• Penggunaan kuasa sehingga 14% berkurang
• Tiada kehilangan ketepatan

Bagi kes penggunaan perubatan, keputusan ini telah disahkan secara bebas oleh beberapa saluran media, mengesahkan masa respons 93% lebih pantas, penjimatan memori 45%, dan pengurangan kuasa 21% . Multiverse Computing menyatakan bahawa pelaksanaan terus pada pemecut Dragonfly AI200/AI250 yang lebih baharu dijangka memberikan hasil yang lebih baik .

Bagaimana Ia Berfungsi

Multiverse Computing mengoptimumkan model AI sebelum digunakan, mengecilkan saiz komputasi dan memori yang diperlukan oleh setiap model. Ini membebaskan ruang pada perkakasan sedia ada, membolehkan pengendali pusat data melayan lebih banyak permintaan inferens atau menjalankan lebih banyak model secara serentak tanpa menambah pemecut baharu atau mengembangkan infrastruktur .

Peralihan Industri yang Lebih Luas

Kerjasama ini mencerminkan perubahan asas dalam industri pusat data ke arah infrastruktur AI yang mementingkan kecekapan. Isyarat utama peralihan ini:

• DNA kecekapan Qualcomm: Qualcomm membina kepimpinannya dalam sektor mudah alih dan IoT, di mana memaksimumkan prestasi dalam kekangan kuasa dan terma yang ketat adalah penting — prinsip yang kini digunakan terus ke pusat data AI .
• Inovasi di peringkat perkakasan: Dragonfly AI250 Qualcomm memperkenalkan High Bandwidth Compute (HBC) Gen 1, menyampaikan 133 TB/s lebar jalur memori berkesan setiap kad (18x lebih daripada AI200), secara langsung menyerang kesesakan ingatan inferens yang menjadi punca utama kos dan pembaziran tenaga AI .
• Penskalaan tanpa kos berkadar: Apabila penggunaan AI semakin pantas, pengendali perlu meningkatkan skala tanpa peningkatan kos perkakasan, tenaga, dan perbelanjaan secara berkadar. Menggabungkan perkakasan cekap dengan model dioptimumkan menawarkan laluan praktikal untuk berbuat demikian .
• Pengesahan industri: Kedua-dua syarikat secara jelas merangka kerjasama ini sebagai "penambahbaikan terobosan dalam prestasi, kos, dan kecekapan tenaga pada skala," dengan Dino Flore dari Qualcomm menyatakan bahawa "pelanggan memerlukan penyelesaian yang menyampaikan prestasi tinggi dengan kecekapan yang lebih besar" apabila penggunaan AI semakin pantas merentas infrastruktur perusahaan dan awan .

Perkongsian ini adalah contoh konkrit industri yang beralih daripada minda "lebih banyak GPU" kepada fokus prestasi-per-watt dan jumlah kos pemilikan (TCO), di mana pengoptimuman bersama perisian-perkakasan menjadi tuil utama untuk penskalaan AI yang mampan.