Cambricon vào ban quản trị PyTorch: Nước đi vì hệ sinh thái phần mềm, không phải ra chip mới

Cambricon gia nhập PyTorch Foundation với tư cách thành viên Platinum nên được hiểu trước hết là một nước đi dài hạn về phần mềm và hệ sinh thái, chứ không phải công bố một sản phẩm silicon mới. Mục tiêu là để bộ tăng tốc MLU của hãng trở thành lựa chọn tự nhiên hơn trong toàn bộ vòng đời phát triển AI: viết và huấn luyện mô hình bằng PyTorch, rồi triển khai suy luận trong môi trường sản xuất. 5

Tại PyTorch Conference China ở Thượng Hải, Cambricon và Alibaba Cloud cùng gia nhập cấp Platinum, trong khi Ant Group tham gia ở cấp Gold. Cấp Platinum mang lại cho Cambricon một ghế trong Governing Board (ban quản trị) và một vị trí đại diện tại Technical Advisory Council – TAC (hội đồng tư vấn kỹ thuật). 156

Ghế trong ban quản trị có ý nghĩa gì?

Ghế trong ban quản trị không đồng nghĩa mọi đề xuất kỹ thuật của Cambricon sẽ được chấp nhận. Nhưng nó đưa công ty vào một vị trí chính thức trong các trao đổi về sứ mệnh, phạm vi, chính sách và định hướng kỹ thuật của Foundation.

Đại diện của Cambricon tại Governing Board là Jin Wang, Giám đốc cấp cao phụ trách AI Frameworks and Infrastructure. Sự tham gia tại TAC cũng giúp hãng đứng gần hơn với các thảo luận kỹ thuật có thể ảnh hưởng đến cách các backend cho bộ tăng tốc được tích hợp và duy trì trong PyTorch. 5

Đây là vấn đề quan trọng vì việc một bộ tăng tốc được đón nhận không chỉ phụ thuộc vào thông số của chip. Lập trình viên cần framework hỗ trợ đáng tin cậy, công cụ tương thích, tài liệu dễ dùng, giao diện ổn định và lộ trình triển khai suy luận. Nếu một hãng phần cứng phải duy trì một nhánh PyTorch riêng lớn, họ sẽ liên tục gánh chi phí tương thích mỗi khi dự án PyTorch gốc thay đổi.

“Upstream First”: tránh bài toán duy trì một ngăn xếp riêng

Cambricon gọi cách tiếp cận của mình là “Upstream First”. Hãng cho biết đã đóng góp vào nhiều mảng lõi của PyTorch, gồm torch.compile, các toán tử Eager, device runtime, điện toán phân tán, automatic mixed precision (AMP), DataLoader và Profiler. 5

Về chiến lược, điều này có nghĩa là Cambricon muốn đóng góp thông qua các lớp trừu tượng dùng chung của PyTorch, thay vì chỉ dựa vào một cách triển khai tách biệt, đặc thù cho nhà cung cấp. Nếu các đóng góp đó được chấp nhận và duy trì ở mã nguồn gốc (upstream), lợi ích thực tế có thể gồm:

• Giảm chi phí bảo trì: ít phải liên tục đồng bộ một backend riêng với từng phiên bản PyTorch mới.
• Quy trình làm việc quen thuộc hơn: lập trình viên có thể tiếp tục dùng API và công cụ PyTorch phổ biến, thay vì học một ngăn xếp khác biệt đáng kể.
• Tính linh động cao hơn: mã mô hình và hệ công cụ xung quanh có thể cần ít chỉnh sửa hơn khi đội ngũ đánh giá các nền tảng tăng tốc được hỗ trợ.
• Tích hợp bền vững hơn: giao diện chung của framework thường ổn định hơn các bản vá đơn lẻ gắn với một ngăn xếp thiết bị cụ thể.

Công việc Torch-MLU của Cambricon, trong đó có hướng tích hợp kiểu PrivateUse1, cho thấy hãng đang tận dụng cơ chế mở rộng sẵn có của PyTorch để hỗ trợ thêm thiết bị. Kỳ vọng là người dùng sẽ phải viết ít mã đặc thù cho bộ tăng tốc hơn. Tuy nhiên, đây là mục tiêu chứ chưa phải cam kết chắc chắn: kết quả còn tùy vào chất lượng triển khai, quá trình xem xét của cộng đồng upstream và khả năng tương thích với các bản PyTorch sau này.

Không chỉ là phát triển bằng PyTorch, mà còn là phục vụ suy luận với vLLM

Thông báo thành viên cũng hé lộ tham vọng rộng hơn: hỗ trợ trọn tuyến đường từ thử nghiệm mô hình đến suy luận khi đưa vào vận hành.

Mark Collier, Giám đốc điều hành PyTorch Foundation, đặt vấn đề ở khả năng để lập trình viên xây dựng và tối ưu mô hình trong PyTorch, sau đó phục vụ mô hình hiệu quả bằng vLLM. 5 Với Cambricon, đây là hai lớp bổ sung cho nhau:

• Hỗ trợ PyTorch là trọng tâm cho phát triển mô hình, huấn luyện, biên dịch, gỡ lỗi và hệ công cụ.
• Hỗ trợ vLLM nhắm đến lớp triển khai suy luận, nơi hiệu quả vận hành và khả năng tiếp cận các mô hình mở phổ biến đặc biệt quan trọng.

Cambricon cho biết đang tiếp tục hợp tác với vLLM để kích hoạt các mô hình mở trên phần cứng của mình, đồng thời dự định đầu tư thêm vào hạ tầng biên dịch, CI/CD và hỗ trợ không phụ thuộc thiết bị cho các thư viện miền ứng dụng của PyTorch. 5 Gộp lại, các nỗ lực này hướng đến việc biến MLU thành một nền tảng phù hợp với quy trình từ lập trình viên đến môi trường sản xuất, thay vì chỉ dừng ở benchmark hoặc từng bản chuyển riêng lẻ cho từng mô hình.

Người dùng nên theo dõi điều gì tiếp theo?

Giá trị thực của động thái này sẽ được kiểm chứng sau thông báo thành viên. Các đội ngũ phát triển và hạ tầng nên quan sát những dấu hiệu cụ thể sau:

1. Đóng góp được hợp nhất vào upstream: thay đổi được PyTorch chấp nhận có ý nghĩa hơn các tuyên bố về ý định.
2. Khả năng theo kịp từng bản phát hành: Torch-MLU cần bắt nhịp với các bản PyTorch mới mà không buộc người dùng phải viết lại lớn.
3. Độ phủ tải công việc thực tế: hỗ trợ cần mở rộng tới kiến trúc mô hình phổ biến, huấn luyện phân tán, luồng biên dịch và công cụ gỡ lỗi.
4. Chất lượng suy luận sản xuất: tích hợp vLLM cần hỗ trợ mô hình tin cậy và quy trình triển khai dễ bảo trì.
5. Hướng dẫn rõ ràng về tích hợp bộ tăng tốc: các thảo luận tại TAC và thực hành PyTorch về sau có thể tạo ra lộ trình dễ dự đoán hơn cho backend phần cứng.

Giới hạn cần nhớ

Tư cách Platinum và quyền đại diện trong cơ chế quản trị của PyTorch Foundation có ý nghĩa chiến lược, nhưng tự chúng không chứng minh MLU đạt ngang bằng hiệu năng với các bộ tăng tốc khác, có độ phủ mô hình rộng, hay chắc chắn được chấp nhận mọi thiết kế backend mà Cambricon đề xuất.

Những kết quả đó phụ thuộc vào các đóng góp thực sự được hợp nhất vào PyTorch, cách cộng đồng kỹ thuật và TAC đánh giá phương án, cũng như năng lực duy trì tích hợp PyTorch và vLLM ổn định theo thời gian. Hiện tại, thông báo là tín hiệu rõ nhất rằng Cambricon đang cạnh tranh để thu hút lập trình viên bằng tính tương thích phần mềm mã nguồn mở và sự hiện diện trong hệ sinh thái — không đơn thuần bằng một đợt ra mắt phần cứng mới. 5