Câu trả lờiĐã xuất bản17 nguồn
Bên trong cụm 1.024 TPU nội địa của China Telecom tại Hàng Châu
China Telecom Hàng Châu, ZTE và Zhonghao Xinying đã triển khai 1.024 TPU Chana trên nền tảng Taize, tạo thành cụm 400 PFLOPS phục vụ huấn luyện mô hình lớn, suy luận AI và tính toán khoa học. Đơn vị vận hành cho biết việc tối ưu phần cứng–phần mềm và lập lịch tách Prefill–Decode đã nâng hiệu quả đầu ra token hơn 10...
Đăng bởiBiên tập bằng GPT-5.6 TerraHình ảnh được tạo bằng GPT Image 2
Câu trả lời nghiên cứu
Bài học chính
- China Telecom Hàng Châu, ZTE và Zhonghao Xinying đã triển khai 1.024 TPU Chana trên nền tảng Taize, tạo thành cụm 400 PFLOPS phục vụ huấn luyện mô hình lớn, suy luận AI và tính toán khoa học.
- Đơn vị vận hành cho biết việc tối ưu phần cứng–phần mềm và lập lịch tách Prefill–Decode đã nâng hiệu quả đầu ra token hơn 10 lần, đồng thời hạ chi phí từ khoảng 100 xuống dưới 10 nhân dân tệ cho mỗi triệu token.
- Giai đoạn hai dự kiến dùng TPU Xuyu thế hệ hai, đưa tổng năng lực tính toán vượt 10.000 PFLOPS; chip này được công bố đạt 896 TFLOPS hỗn hợp và 1.792 TOPS suy luận INT8.
Prompt AI
openai.comCreate a landscape editorial hero image for this Studio Global article: How did China Telecom’s Hangzhou branch, ZTE, and Zhonghao Xinying deploy China’s first domestic 1,024-chip Chana TPU cluster delivering 400. Article summary: China Telecom’s Hangzhou branch, ZTE, and Zhonghao Xinying built the first phase as a production-oriented, fully domestic TPU stack rather than merely installing accelerators: 1,024 first-generation Chana TPUs were integ. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Cụm AI tại Hàng Châu đáng chú ý không chỉ vì con số 1.024 chip. Điểm cốt lõi là China Telecom chi nhánh Hàng Châu, ZTE và Zhonghao Xinying đã tích hợp TPU Chana thế hệ đầu với nền tảng tính toán Taize, máy chủ, mạng cụm và phần mềm điều phối thành một hệ thống 400 PFLOPS, phục vụ huấn luyện mô hình lớn, suy luận AI và tính toán khoa học. Dự án được mô tả là cụm TPU nội địa quy mô lớn đầu tiên trong hệ thống China Telecom, đồng thời là cụm TPU nội địa cấp nghìn thẻ đầu tiên tại miền Đông Trung Quốc. 17
20
Không chỉ lắp 1.024 chip
Giai đoạn một sử dụng 1.024 TPU Chana trên nền tảng Taize của Zhonghao Xinying. Các bên cho biết hệ thống được xây dựng bằng chuỗi công nghệ nội địa, từ bộ tăng tốc AI, phần cứng máy chủ, kết nối mạng cụm đến nền tảng điều phối tài nguyên tính toán. 17
18
Điều này quan trọng bởi một cụm AI lớn không đơn giản là tập hợp nhiều chip đặt trong cùng trung tâm dữ liệu. Hiệu năng có thể khai thác thực tế phụ thuộc vào sự phối hợp giữa máy chủ, hạ tầng mạng, phần mềm chạy mô hình và bộ lập lịch. Mục tiêu được công bố của dự án là biến TPU thành năng lực tính toán có thể vận hành, cung cấp như một dịch vụ, thay vì chỉ là màn trình diễn cho một con chip riêng lẻ. 18
Tách Prefill–Decode: chìa khóa trong tuyên bố giảm chi phí
Với suy luận của mô hình ngôn ngữ lớn, có hai giai đoạn công việc khác nhau:
- Prefill xử lý câu lệnh đầu vào của người dùng và xây dựng ngữ cảnh làm việc cho mô hình.
- Decode sinh token đầu ra tuần tự, từng token một.
Hai giai đoạn này có nhu cầu tài nguyên khác nhau. Tách chúng ra giúp nền tảng suy luận phân bổ và điều phối năng lực xử lý đầu vào và sinh token độc lập, thay vì để một nhóm thiết bị gánh cả hai loại tác vụ trong cùng một cơ chế lập lịch. Việc triển khai mô hình này trong môi trường thực tế cũng đòi hỏi điều phối cụm và cấu hình mạng phù hợp, như hướng dẫn triển khai dịch vụ SGLang tách Prefill–Decode cho thấy. 2
China Telecom Hàng Châu cho biết sau nhiều tháng tinh chỉnh phần cứng và phần mềm — gồm phiên bản mô hình, toán tử, cấu hình máy chủ, băng thông mạng và cách lập lịch — hiệu quả đầu ra token đã tăng hơn 10 lần so với đầu năm. Đơn vị này cũng báo cáo chi phí mỗi triệu token giảm từ khoảng 100 nhân dân tệ xuống dưới 10 nhân dân tệ. 9
11
Tuy nhiên, cần xem đây là kết quả do đơn vị vận hành công bố, không phải phép đo chuẩn có thể áp dụng cho mọi TPU hay mọi nền tảng suy luận. Các báo cáo hiện có chưa công bố danh mục mô hình, độ chính xác tính toán, kích thước batch, mô hình lưu lượng, tỷ lệ sử dụng tài nguyên hoặc phương pháp hạch toán chi phí. Vì vậy, chưa thể tái lập độc lập hoặc so sánh trực tiếp mức tiết kiệm này với một nền tảng khác.
Vì sao mô hình hợp tác ba bên đáng chú ý?
Dự án kết nối ba mảng năng lực thường được đánh giá riêng rẽ:
- Zhonghao Xinying cung cấp TPU Chana và nền tảng Taize. Theo các báo cáo, Chana sở hữu lõi IP, tập lệnh và nền tảng tính toán do hãng tự phát triển.
18
19
- ZTE tham gia xây dựng phần hạ tầng bao gồm mạng truyền thông, tích hợp máy chủ và hạ tầng cụm.
- China Telecom Hàng Châu cung cấp môi trường vận hành để cung ứng và quản lý năng lực tính toán ở quy mô lớn.
Với một chip AI nội địa, môi trường của nhà mạng có giá trị vì phép thử được chuyển từ thông số đỉnh của chip sang khả năng cung cấp dịch vụ: điều phối, thích nghi mô hình, hành vi mạng và vận hành liên tục đều quyết định khách hàng có nhận được năng lực suy luận ổn định hay không. Kiến trúc dự án cũng bao gồm tài nguyên tính toán, điều phối, thích nghi mô hình, quản trị vận hành và ứng dụng ngành. 18
Lợi thế của TPU và bài toán phần mềm khó hơn
TPU là bộ tăng tốc AI chuyên xử lý các phép toán tensor. Giá trị của nó không nằm ở chỉ số FLOPS cực đại, mà ở khả năng thực thi hiệu quả các khối lượng công việc nặng về phép nhân ma trận — đặc trưng của huấn luyện và suy luận mô hình lớn.
Dù vậy, ở quy mô cụm, hiệu năng bộ tăng tốc không thể tách rời kết nối liên chip, hành vi bộ nhớ, truyền thông tập thể, điều phối, độ tin cậy và khả năng tương thích phần mềm mô hình.
Vì thế, một lựa chọn nội địa không chỉ cần chứng minh silicon hoạt động. Mô hình, động cơ suy luận, toán tử, phương án lượng tử hóa và quy trình của khách hàng đều phải chạy ổn định trên toàn bộ ngăn xếp mới. Các báo cáo được cung cấp xác nhận việc triển khai tại Hàng Châu và kế hoạch mở rộng, nhưng chưa chứng minh mức tương đương rộng rãi với các hệ sinh thái phần mềm GPU phổ biến trên nhiều mô hình và framework.
Giai đoạn hai: Xuyu và mục tiêu hơn 10.000 PFLOPS
Các đối tác dự kiến triển khai giai đoạn hai với TPU Xuyu thế hệ hai của Zhonghao Xinying, với tổng năng lực tính toán theo kế hoạch vượt 10.000 PFLOPS. 17
19
Theo thông số do công ty công bố, Xuyu đạt 896 TFLOPS hiệu năng dấu phẩy động hỗn hợp và 1.792 TOPS cho suy luận 8-bit, với công suất danh định 600 W. Công ty cũng tuyên bố Xuyu có hiệu năng gấp khoảng ba lần Chana và tiêu thụ điện thấp hơn 50% so với chip thông thường ở cùng mức hiệu năng. Đây đều là thông số do công ty công bố. 19
20
Ở cấp hệ thống, Xuyu được thiết kế cho các siêu nút kết nối quang hoàn toàn với tối đa 2.048 chip, theo phần trình bày công khai của doanh nghiệp. 20
Cụm Hàng Châu thực sự chứng minh điều gì?
Dự án cho thấy nỗ lực ghép nối một ngăn xếp hạ tầng AI nội địa, từ chip tới nền tảng: bộ tăng tốc, tập lệnh, máy chủ, mạng, điều phối và vận hành dịch vụ. 18
19 Bài kiểm tra có ý nghĩa nhất sẽ là liệu ngăn xếp này có thể duy trì nhiều loại khối lượng công việc sản xuất khác nhau với phần mềm tương thích, hiệu năng dự đoán được và chi phí minh bạch hay không.
Việc triển khai cụm 400 PFLOPS và kế hoạch mở rộng bằng Xuyu đều được nhiều nguồn đề cập. Còn những tuyên bố nổi bật hơn — hiệu quả đầu ra token tăng hơn 10 lần và chi phí dưới 10 nhân dân tệ mỗi triệu token — có thể là mục tiêu hợp lý khi hệ thống suy luận được khai thác tốt hơn, nhưng vẫn là tuyên bố từ đơn vị vận hành và các bên tham gia dự án cho đến khi phương pháp benchmark cùng chi tiết khối lượng công việc được công bố. 9
11
Studio Global AI
Tiếp tục nghiên cứu của bạn
Trang này bao gồm câu trả lời dựa trên nguồn mà bạn có thể tiếp tục bên trong Studio Global.
Người ta cũng hỏi
Câu trả lời ngắn gọn cho "Bên trong cụm 1.024 TPU nội địa của China Telecom tại Hàng Châu" là gì?
China Telecom Hàng Châu, ZTE và Zhonghao Xinying đã triển khai 1.024 TPU Chana trên nền tảng Taize, tạo thành cụm 400 PFLOPS phục vụ huấn luyện mô hình lớn, suy luận AI và tính toán khoa học.
Những điểm chính cần xác nhận đầu tiên là gì?
China Telecom Hàng Châu, ZTE và Zhonghao Xinying đã triển khai 1.024 TPU Chana trên nền tảng Taize, tạo thành cụm 400 PFLOPS phục vụ huấn luyện mô hình lớn, suy luận AI và tính toán khoa học. Đơn vị vận hành cho biết việc tối ưu phần cứng–phần mềm và lập lịch tách Prefill–Decode đã nâng hiệu quả đầu ra token hơn 10 lần, đồng thời hạ chi phí từ khoảng 100 xuống dưới 10 nhân dân tệ cho mỗi triệu token.
Tôi nên làm gì tiếp theo trong thực tế?
Giai đoạn hai dự kiến dùng TPU Xuyu thế hệ hai, đưa tổng năng lực tính toán vượt 10.000 PFLOPS; chip này được công bố đạt 896 TFLOPS hỗn hợp và 1.792 TOPS suy luận INT8.