Multiverse Computing và Qualcomm: Mô Hình AI Chạy Nhanh Hơn 93% Nhờ Bộ Tăng Tốc Dragonfly

Báo cáo y tế khẩn cấp thời gian thực (LLM được nén):

• Tốc độ phản hồi nhanh hơn tới 93%
• Thông lượng cao hơn tới 44%
• Giảm mức sử dụng bộ nhớ tới 45%
• Giảm mức tiêu thụ điện năng tới 21%
• Không làm giảm độ chính xác

Chatbot RAG cho tài liệu tài chính bảo mật:

• Tốc độ phản hồi nhanh hơn tới 35%
• Thông lượng cao hơn tới 54%
• Giảm mức sử dụng bộ nhớ tới 45%
• Giảm mức tiêu thụ điện năng tới 14%
• Không làm giảm độ chính xác

Đối với trường hợp y tế, kết quả đã được nhiều nguồn tin xác nhận độc lập, khẳng định tốc độ phản hồi nhanh hơn 93%, tiết kiệm bộ nhớ 45% và giảm điện năng 21% . Multiverse Computing lưu ý rằng việc chạy trực tiếp trên các bộ tăng tốc Dragonfly AI200/AI250 mới hơn dự kiến sẽ mang lại kết quả thậm chí còn tốt hơn .

Cách Thức Hoạt Động

Multiverse Computing tối ưu hóa các mô hình AI trước khi triển khai, thu nhỏ khối lượng tính toán và bộ nhớ mà mỗi mô hình yêu cầu. Điều này giải phóng tài nguyên trên phần cứng hiện có, cho phép các nhà khai thác trung tâm dữ liệu phục vụ nhiều yêu cầu suy luận hơn hoặc chạy nhiều mô hình đồng thời mà không cần thêm bộ tăng tốc hoặc mở rộng cơ sở hạ tầng .

Sự Dịch Chuyển Lớn Trong Ngành

Sự hợp tác này phản ánh một sự thay đổi cơ bản trong ngành công nghiệp trung tâm dữ liệu, hướng tới cơ sở hạ tầng AI ưu tiên hiệu suất. Những tín hiệu chính của sự thay đổi này:

• Bản chất hiệu quả của Qualcomm: Qualcomm đã xây dựng vị thế dẫn đầu trong lĩnh vực di động và IoT, nơi việc tối đa hóa hiệu suất trong các ràng buộc nghiêm ngặt về điện năng và nhiệt độ là điều cần thiết — những nguyên tắc này hiện được áp dụng trực tiếp cho các trung tâm dữ liệu AI .
• Đổi mới ở cấp độ phần cứng: Qualcomm Dragonfly AI250 giới thiệu High Bandwidth Compute (HBC) thế hệ 1, cung cấp băng thông bộ nhớ hiệu quả lên tới 133 TB/s mỗi thẻ (gấp 18 lần AI200), trực tiếp giải quyết nút thắt cổ chai về bộ nhớ trong suy luận, vốn là nguyên nhân chính gây ra chi phí và lãng phí năng lượng .
• Mở rộng quy mô mà không tăng chi phí tương ứng: Khi việc áp dụng AI tăng tốc, các nhà khai thác cần mở rộng quy mô triển khai mà không phải tăng tỷ lệ thuận về phần cứng, năng lượng và chi phí. Kết hợp phần cứng hiệu quả với các mô hình được tối ưu hóa là một con đường thực tế để đạt được điều này .
• Xác nhận từ ngành: Cả hai công ty đều đóng khung sự hợp tác xoay quanh "những cải tiến đột phá về hiệu suất, chi phí và hiệu quả năng lượng ở quy mô lớn", với Dino Flore của Qualcomm nhấn mạnh rằng "khách hàng cần các giải pháp mang lại hiệu suất cao với hiệu quả lớn hơn" khi việc áp dụng AI tăng tốc trên toàn bộ cơ sở hạ tầng doanh nghiệp và đám mây .

Sự hợp tác này là một ví dụ cụ thể cho thấy ngành công nghiệp đang rời xa tư duy "thêm nhiều GPU" và chuyển sang tập trung vào hiệu suất trên mỗi watt và tổng chi phí sở hữu, nơi sự kết hợp tối ưu giữa phần mềm và phần cứng là đòn bẩy chính để mở rộng AI bền vững.