Qualcomm đặt cược vào tính toán gần bộ nhớ để thách thức Nvidia trong hạ tầng AI

Qualcomm không tìm cách thay thế một GPU Nvidia bằng một con chip đơn lẻ. Hãng đang xây dựng cả một nền tảng hạ tầng AI mang tên Dragonfly, với trọng tâm là giảm chi phí và điện năng cần thiết để di chuyển các trọng số mô hình trong quá trình suy luận.

Mảnh ghép quan trọng nhất là High Bandwidth Compute (HBC) — kiến trúc tính toán gần bộ nhớ, đặt phần logic xử lý bên dưới các lớp bộ nhớ LPDDR xếp chồng. Cùng với CPU máy chủ, kết nối mạng, phần mềm có tính di động và khả năng triển khai từ đám mây đến thiết bị biên, HBC tạo thành một canh bạc dài hạn nhằm giảm sự phụ thuộc của khách hàng vào nền tảng Nvidia.

Tuy nhiên, phần khó nhất vẫn nằm ở phía trước: phần cứng sản xuất hàng loạt, năng suất đóng gói 3D, nhiệt, nguồn cung, benchmark độc lập và các hợp đồng triển khai thực tế.

HBC nhắm thẳng vào “bức tường bộ nhớ” của suy luận AI

Trong suy luận tự hồi quy, hệ thống phải liên tục đọc dữ liệu mô hình từ bộ nhớ mỗi khi tạo ra một token mới. Vì vậy, chi phí di chuyển dữ liệu, năng lượng truy cập bộ nhớ và độ trễ có thể trở thành yếu tố quyết định hiệu quả kinh tế của việc vận hành mô hình lớn.

HBC đưa phép tính đến gần dữ liệu hơn bằng cách liên kết một khuôn xử lý bên dưới các lớp bộ nhớ LPDDR xếp chồng. Các lớp này được kết nối bằng những đường xuyên qua silicon (TSV), giúp giảm lượng dữ liệu phải di chuyển giữa bộ nhớ và bộ xử lý chính. 245

Điểm cần phân biệt là Qualcomm không đơn giản tuyên bố LPDDR có băng thông đỉnh cao hơn mọi hệ thống HBM. Lập luận của hãng là một số phép tính phù hợp có thể được thực hiện ngay bên trong gói chip, qua đó giảm luồng dữ liệu qua lại và nâng băng thông hiệu dụng cho những tải suy luận nhất định. 29

Qualcomm cho biết HBC thế hệ đầu tiên, dự kiến tích hợp trong Dragonfly AI250, được thiết kế để đạt 133 TB/s băng thông bộ nhớ hiệu dụng trên mỗi card — cao hơn 18 lần so với AI200 dùng LPDDR5X. 4 Một số báo cáo khác mô tả tuyên bố của Qualcomm rằng HBC có thể đạt băng thông trên mỗi watt cao hơn tới 6 lần so với các triển khai HBM hiện nay. 813

Những con số này cần được đọc đúng ngữ cảnh. Băng thông hiệu dụng, băng thông trên mỗi card, băng thông ở cấp rack và băng thông của một stack HBM riêng lẻ là các phép đo khác nhau. So sánh hàng trăm TB/s với một con số HBM đơn lẻ không phải phép thử “táo với táo”. Do đó, các số liệu của Qualcomm hiện nên được xem là tuyên bố về kiến trúc và hiệu năng trên mỗi watt, cho đến khi có benchmark độc lập về số token tạo ra mỗi giây.

Samsung và SK hynix là một phần của bài toán sản xuất

Qualcomm thiết kế lớp tính toán và tích hợp toàn hệ thống, trong khi Samsung Electronics và SK hynix được cho là tham gia HBC với vai trò đối tác bộ nhớ. Theo các báo cáo hiện có, phần lớn công việc xếp chồng DRAM và bộ nhớ sẽ do các nhà cung cấp này đảm nhiệm; đóng gói tiên tiến cũng là yếu tố quan trọng của hệ thống. 15

Điều đó biến HBC thành một canh bạc về đóng gói và sản xuất, không chỉ là bài toán thiết kế bộ xử lý. Thành công thương mại sẽ phụ thuộc vào việc chứng nhận bộ nhớ, tỷ lệ thành phẩm của quy trình lắp ráp 3D, kiểm soát nhiệt, kiểm thử và khả năng sản xuất đủ hệ thống với chi phí chấp nhận được.

Một kiến trúc hấp dẫn trên giấy vẫn có thể thất bại nếu không đạt năng suất ổn định hoặc quá đắt để triển khai. Qualcomm đặt mục tiêu thương mại hóa HBC thế hệ đầu tiên vào năm 2027 và thế hệ thứ hai vào năm 2028. 14 Vì vậy, đây là quá trình chuyển đổi nền tảng qua nhiều chu kỳ sản phẩm, chứ chưa phải lời thay thế tức thời cho phần cứng Nvidia đang vận hành trong các trung tâm dữ liệu.

Dragonfly không chỉ là một bộ tăng tốc

Qualcomm đang giới thiệu Dragonfly như một danh mục trung tâm dữ liệu hoàn chỉnh, bao gồm hệ thống suy luận AI, HBC, CPU máy chủ C1000, giải pháp mạng và dịch vụ thiết kế silicon tùy biến. 1516

Dragonfly C1000 là bộ xử lý máy chủ dạng chiplet, được thiết kế cho AI tác vụ, các workload đa dụng và vai trò máy chủ điều phối AI. 7 Qualcomm và Meta đã công bố hợp tác CPU nhiều thế hệ, trong đó C1000 thế hệ đầu tiên dự kiến bắt đầu sản xuất vào nửa cuối năm 2028. 18

Đây là tín hiệu xác nhận đáng kể: Meta được công bố là khách hàng CPU và Qualcomm có một con đường để thâm nhập đội máy chủ của một nhà cung cấp dịch vụ đám mây quy mô lớn. Nhưng không nên diễn giải quá xa. Thỏa thuận này chưa chứng minh Meta sẽ triển khai bộ tăng tốc HBC ở quy mô lớn. Quyết định đó vẫn phụ thuộc vào hiệu năng, độ tin cậy, phần mềm, nguồn cung, kết nối mạng và tổng chi phí sở hữu.

Phần mềm là câu trả lời của Qualcomm trước “pháo đài” CUDA

Chỉ có phần cứng sẽ khó làm lung lay một nền tảng AI đã trưởng thành. Việc Qualcomm mua Modular giúp hãng bổ sung ngôn ngữ lập trình Mojo và nền tảng MAX vào chiến lược của mình. Qualcomm cho biết công nghệ kết hợp này nhằm hỗ trợ AI tạo sinh và AI tác vụ trên cả môi trường trung tâm dữ liệu lẫn thiết bị biên. 19

Mục tiêu chiến lược là khả năng di động của workload: nhà phát triển có thể chuyển mô hình giữa nhiều loại bộ xử lý mà không phải xây dựng lại toàn bộ phần mềm cho một nhà cung cấp duy nhất. Modular cũng thúc đẩy hệ sinh thái mở; các báo cáo từ hội nghị năm 2026 cho biết Mojo và trình biên dịch của nó đã được mở mã nguồn hoàn toàn. 46

Nếu thành công, cách tiếp cận này có thể giảm chi phí chuyển đổi cho khách hàng đang cân nhắc Qualcomm bên cạnh Nvidia, AMD và các bộ tăng tốc khác. Nhưng nó không tự động tái tạo được chiều sâu của thư viện CUDA, công cụ phát triển, cộng đồng lập trình viên và lịch sử triển khai sản xuất của Nvidia.

Các tuyên bố về mức tăng hiệu năng lớn so với triển khai gốc vẫn cần được xem là triển vọng nếu chưa có benchmark minh bạch và có thể tái lập. Tương tự, những thông tin cho rằng AMD đang đánh giá công nghệ này chưa đủ bằng chứng độc lập để xem là kết quả đã được xác nhận.

Qualcomm cũng đang mở rộng chiến lược CPU thông qua RISC-V. Thương vụ được các nguồn tài liệu xác nhận là mua lại Ventana Micro Systems, không phải công ty mang tên khác như trong câu hỏi nghiên cứu ban đầu. Qualcomm cho biết Ventana củng cố năng lực kỹ thuật RISC-V và các nỗ lực phát triển hệ sinh thái của hãng. 2354

Hugging Face mở rộng câu chuyện từ đám mây đến thiết bị biên

Quan hệ hợp tác giữa Qualcomm và Hugging Face nhằm đưa các workload của Hugging Face lên hệ thống trung tâm dữ liệu Dragonfly, hỗ trợ đưa mô hình vào nền tảng và điều phối lai giữa thiết bị với trung tâm dữ liệu. 21

Đây là nền tảng cho tham vọng rộng hơn của Qualcomm: phục vụ trung tâm dữ liệu, điện thoại, thiết bị nhúng và AI vật lý trong cùng một hệ sinh thái. Lợi thế tiềm năng là tạo ra con đường triển khai liền mạch hơn từ hạ tầng đám mây xuống thiết bị biên.

Nhưng danh mục sản phẩm rộng chỉ trở thành đối trọng thực sự với Nvidia nếu nhà phát triển có thể triển khai mô hình dễ dàng và nhà vận hành nhận được hiệu quả kinh tế tốt hơn trong môi trường sản xuất.

HBC nằm trong cuộc tái thiết kế bộ nhớ trên toàn ngành

Cách tiếp cận của Qualcomm là một phần trong xu hướng lớn hơn: giảm lượng dữ liệu phải di chuyển giữa bộ nhớ và phần xử lý, thay vì chỉ tiếp tục mở rộng băng thông HBM.

LPDDR5X-PIM của Samsung bổ sung logic xử lý vào DRAM công suất thấp, cho phép thực hiện một số phép tính gần nơi dữ liệu được lưu trữ. Samsung công bố hiệu năng suy luận cao hơn đáng kể so với LPDDR5X thông thường; các bài tường thuật về phần trình bày tại Hot Chips mô tả mức 81,3 token/giây so với 27 token/giây trong phép so sánh được trích dẫn. 313639

SK hynix lại tiếp cận vấn đề từ phía HBM. Công nghệ hybrid bonding và iHBM của hãng nhằm xử lý thách thức về nhiệt và mật độ khi các stack bộ nhớ ngày càng cao và băng thông ngày càng lớn. 32 Một báo cáo riêng cho biết SK hynix không kỳ vọng hybrid bonding sẵn sàng cho HBM4E, có thể đẩy quá trình chuyển đổi sang thế hệ HBM sau đó. 40

Trong khi đó, Samsung cho biết các mẫu HBM4E của hãng đạt băng thông tới 3,6 TB/s trên mỗi stack và tốc độ chân truyền lên tới 16 Gbps. 41 Lộ trình HBM đang thay đổi nhanh này rất quan trọng: HBC sẽ không cạnh tranh với một phiên bản HBM cố định của năm 2025 hoặc 2026, mà phải đối đầu với những công nghệ bộ nhớ cũng đang được cải tiến liên tục.

Các bằng chứng được cung cấp chưa xác lập đầy đủ những tuyên bố cụ thể về thiết bị MX1 dựa trên CXL của Samsung, việc DeepX áp dụng công nghệ này hoặc một cảnh báo chính xác của Micron về tình trạng nút thắt ngày càng xấu đi. Vì vậy, các chi tiết đó không nên được xem là đã được xác nhận trong phân tích này.

Qualcomm cần chứng minh điều gì tiếp theo?

Chiến lược của Qualcomm có một logic tương đối rõ ràng:

• Tập trung trước vào suy luận: HBC được thiết kế cho các workload giải mã, nơi di chuyển bộ nhớ có thể chi phối chi phí tạo token. 29
• Tích hợp toàn hệ thống: Dragonfly kết hợp bộ tăng tốc, CPU, mạng và silicon tùy biến thay vì chỉ dựa vào một con chip. 1516
• Giảm rào cản phần mềm: Mojo và MAX hướng đến việc giúp workload có thể chuyển đổi giữa nhiều nền tảng phần cứng. 1946
• Xây dựng uy tín với khách hàng: Thỏa thuận C1000 với Meta mang lại quan hệ CPU đã được công bố với một nhà cung cấp dịch vụ đám mây lớn; sản xuất dự kiến bắt đầu vào nửa cuối năm 2028. 18
• Mở rộng dấu chân triển khai: Hugging Face hỗ trợ mô hình chiến lược từ đám mây đến thiết bị biên của Qualcomm. 21

Các rủi ro cũng rất rõ. HBC phải đạt sản xuất hàng loạt với tỷ lệ thành phẩm và đặc tính nhiệt chấp nhận được. Qualcomm cần công bố các phép so sánh đáng tin cậy theo từng workload, tách biệt băng thông hiệu dụng với băng thông giao tiếp thô. Trình biên dịch và runtime phải hỗ trợ mô hình thực tế một cách ổn định. Các đối tác bộ nhớ phải cung cấp công nghệ ở quy mô lớn. Cuối cùng, khách hàng phải thấy lợi ích đủ lớn để chấp nhận thêm một nền tảng bên cạnh CUDA.

Kết luận

Qualcomm đã thiết kế một kiến trúc thay thế có cơ sở, nhắm vào một trong những giới hạn quan trọng nhất của hạ tầng AI: chi phí di chuyển dữ liệu trong suy luận. HBC có thể trở nên đáng chú ý nếu chứng minh được hiệu quả tốt hơn về token trên mỗi watt, độ trễ, dung lượng và tổng chi phí sở hữu so với mô hình bộ tăng tốc kết hợp HBM truyền thống. 45

Nhưng theo lộ trình hiện tại, HBC mới là một thách thức trong tương lai chứ chưa phải bằng chứng cho việc Nvidia bị thay thế. Các mốc cần theo dõi là phần cứng HBC thế hệ đầu tiên vào năm 2027, thời điểm C1000 dự kiến bắt đầu sản xuất vào nửa cuối năm 2028 và xác nhận độc lập từ khách hàng về hiệu năng cũng như tổng chi phí sở hữu.