Model AI Berjalan 93% Lebih Cepat Berkat Kolaborasi Multiverse Computing dan Qualcomm

Laporan medis darurat real-time (LLM terkompresi):

• Waktu respons hingga 93% lebih cepat
• Throughput hingga 44% lebih tinggi
• Penggunaan memori berkurang hingga 45%
• Konsumsi daya turun hingga 21%
• Tanpa kehilangan akurasi

Chatbot RAG dokumen keuangan rahasia:

• Waktu respons hingga 35% lebih cepat
• Throughput hingga 54% lebih tinggi
• Penggunaan memori berkurang hingga 45%
• Konsumsi daya turun hingga 14%
• Tanpa kehilangan akurasi

Untuk skenario medis, hasilnya telah diverifikasi secara independen oleh berbagai media, yang mengonfirmasi waktu respons 93% lebih cepat, penghematan memori 45%, dan pengurangan daya 21% . Multiverse Computing mencatat bahwa hasil yang lebih baik lagi diharapkan saat dijalankan langsung di akselerator Dragonfly AI200/AI250 yang lebih baru .

Bagaimana Cara Kerjanya?

Multiverse Computing mengoptimalkan model AI sebelum diterapkan, dengan cara mengecilkan kebutuhan komputasi dan memori setiap model. Hal ini memberikan ruang lebih pada perangkat keras yang sudah ada, sehingga operator data center dapat melayani lebih banyak permintaan inferensi atau menjalankan lebih banyak model secara bersamaan tanpa harus menambah akselerator baru atau memperluas infrastruktur .

Pergeseran Besar di Industri

Kolaborasi ini mencerminkan pergeseran fundamental di industri data center menuju infrastruktur AI yang mengutamakan efisiensi. Beberapa sinyal kunci dari perubahan ini:

• DNA efisiensi Qualcomm: Qualcomm membangun kepemimpinannya di sektor ponsel dan IoT (Internet of Things), di mana memaksimalkan performa di tengah keterbatasan daya dan panas adalah hal yang esensial — prinsip yang kini langsung diterapkan di data center AI .
• Inovasi di tingkat perangkat keras: Dragonfly AI250 dari Qualcomm menghadirkan High Bandwidth Compute (HBC) Generasi 1, yang memberikan bandwidth memori efektif sebesar 133 TB/s per kartu (18x lebih banyak dibanding AI200), secara langsung mengatasi hambatan memori yang menjadi penyebab utama mahalnya biaya dan borosnya energi AI .
• Skalabilitas tanpa biaya proporsional: Seiring dengan percepatan adopsi AI, operator perlu meningkatkan skala penerapan tanpa diikuti oleh peningkatan perangkat keras, energi, dan biaya yang proporsional. Kombinasi antara perangkat keras yang efisien dan model yang dioptimalkan menawarkan jalur praktis untuk mencapai hal tersebut .
• Validasi industri: Kedua perusahaan secara eksplisit membingkai kolaborasi ini seputar "perbaikan terobosan dalam performa, biaya, dan efisiensi energi dalam skala besar," dengan pernyataan Dino Flore dari Qualcomm bahwa "pelanggan membutuhkan solusi yang memberikan performa tinggi dengan efisiensi yang lebih besar" seiring dengan percepatan adopsi AI di infrastruktur perusahaan dan cloud .

Kemitraan ini adalah contoh nyata dari pergeseran industri dari pola pikir "tambah GPU" menuju fokus pada performa per watt dantotal biaya kepemilikan, di mana optimalisasi bersama antara perangkat lunak dan perangkat keras menjadi pengungkit utama untuk skalabilitas AI yang berkelanjutan.