คำตอบเผยแพร่แล้ว17 แหล่งที่มา
คลัสเตอร์ TPU 1,024 ชิปของ China Telecom ในหางโจว เดิมพันลดต้นทุนการตอบ AI
China Telecom สาขาหางโจว, ZTE และ Zhonghao Xinying ร่วมติดตั้งคลัสเตอร์ Chana TPU 1,024 ชิป บนแพลตฟอร์ม Taize กำลังประมวลผล 400 PFLOPS [17][20] หัวใจของการอ้างว่าต้นทุนลดลงคือการแยกงาน Prefill และ Decode เพื่อจัดสรรทรัพยากรสำหรับแต่ละช่วงของการตอบโมเดลภาษาได้เหมาะกว่าเดิม [2][9] ผู้ดำเนินโครงการระบุว่าประสิทธิภาพการ...
เผยแพร่โดยแก้ไขด้วย GPT-5.6 Terraรูปภาพสร้างด้วย GPT Image 2
คำตอบการวิจัย
ประเด็นสำคัญ
- China Telecom สาขาหางโจว, ZTE และ Zhonghao Xinying ร่วมติดตั้งคลัสเตอร์ Chana TPU 1,024 ชิป บนแพลตฟอร์ม Taize กำลังประมวลผล 400 PFLOPS [17][20]
- หัวใจของการอ้างว่าต้นทุนลดลงคือการแยกงาน Prefill และ Decode เพื่อจัดสรรทรัพยากรสำหรับแต่ละช่วงของการตอบโมเดลภาษาได้เหมาะกว่าเดิม [2][9]
- ผู้ดำเนินโครงการระบุว่าประสิทธิภาพการสร้างโทเค็นดีขึ้นมากกว่า 10 เท่า และต้นทุนต่อ 1 ล้านโทเค็นลดจากราว 100 หยวนเหลือต่ำกว่า 10 หยวน แต่ยังไม่มีรายละเอียดวิธีทดสอบเพียงพอให้ตรวจสอบอิสระได้ [9][11]
- เฟสสองวางแผนใช้ TPU รุ่น Xuyu และขยายกำลังรวมเกิน 10,000 PFLOPS โดยสเปกที่บริษัทเปิดเผยระบุ 896 TFLOPS แบบ mixed precision และ 1,792 TOPS สำหรับ inference แบบ 8 บิต [17][19]
AI พรอมต์
openai.comCreate a landscape editorial hero image for this Studio Global article: How did China Telecom’s Hangzhou branch, ZTE, and Zhonghao Xinying deploy China’s first domestic 1,024-chip Chana TPU cluster delivering 400. Article summary: China Telecom’s Hangzhou branch, ZTE, and Zhonghao Xinying built the first phase as a production-oriented, fully domestic TPU stack rather than merely installing accelerators: 1,024 first-generation Chana TPUs were integ. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
คลัสเตอร์ AI ที่หางโจวมีความสำคัญไม่ใช่เพียงเพราะติดตั้งชิป 1,024 ตัว แต่เพราะ China Telecom สาขาหางโจว, ZTE และ Zhonghao Xinying นำชิป Chana TPU รุ่นแรกมารวมกับแพลตฟอร์มคอมพิวต์ Taize, เซิร์ฟเวอร์, เครือข่ายคลัสเตอร์ และระบบจัดตารางงาน จนได้ระบบขนาด 400 PFLOPS สำหรับเทรนโมเดลขนาดใหญ่, AI inference และงานคำนวณทางวิทยาศาสตร์ รายงานระบุว่านี่เป็นการติดตั้งคลัสเตอร์ TPU ภายในประเทศขนาดใหญ่ครั้งแรกในเครือ China Telecom และเป็นคลัสเตอร์ TPU ภายในประเทศระดับพันการ์ดแห่งแรกของจีนตะวันออก 17
20
ติดตั้งอะไรไปบ้าง
เฟสแรกใช้ Chana TPU จำนวน 1,024 ชิปบนแพลตฟอร์ม Taize ของ Zhonghao Xinying โดยคู่ค้าระบุว่าระบบครอบคลุมตั้งแต่ตัวเร่งประมวลผล, ฮาร์ดแวร์เซิร์ฟเวอร์, เครือข่ายคลัสเตอร์ ไปจนถึงชั้นการจัดตารางทรัพยากรที่พัฒนาภายในประเทศ 17
18
ประเด็นนี้สำคัญเพราะคลัสเตอร์ AI ไม่ใช่แค่การนำชิปจำนวนมากมาวางรวมกัน ประสิทธิภาพที่นำไปใช้งานได้จริงขึ้นกับการทำงานร่วมกันของเซิร์ฟเวอร์, โครงข่าย, ซอฟต์แวร์โมเดล และตัวจัดตารางงาน เป้าหมายของโครงการจึงคือเปลี่ยน TPU จากการสาธิตชิปเดี่ยว ให้เป็นบริการคอมพิวต์ที่เดินระบบได้จริง 18
ทำไมการแยก Prefill–Decode จึงเป็นแกนของข้ออ้างเรื่องต้นทุน
การให้บริการโมเดลภาษาขนาดใหญ่มีงานหลัก 2 ช่วง
- Prefill: ประมวลผลพรอมป์ตของผู้ใช้ และสร้างบริบททำงานของโมเดล
- Decode: สร้างคำตอบออกมาทีละโทเค็น
ทั้งสองช่วงใช้ทรัพยากรต่างกัน การแยกงานทำให้แพลตฟอร์มจัดสรรและจัดตารางกำลังประมวลผลของงานรับพรอมป์ตกับงานสร้างคำตอบได้อย่างอิสระ แทนที่จะให้ชิปกลุ่มเดียวรองรับทั้งสองงานภายใต้ตารางเดียว การใช้งานจริงยังต้องมีการประสานคลัสเตอร์และตั้งค่าเครือข่าย ซึ่งสะท้อนในแนวทางติดตั้งบริการ SGLang แบบแยก Prefill–Decode 2
Hangzhou Telecom ระบุว่า หลังปรับจูนฮาร์ดแวร์และซอฟต์แวร์หลายเดือน ทั้งเวอร์ชันโมเดล, โอเปอเรเตอร์, การตั้งค่าเซิร์ฟเวอร์, แบนด์วิดท์เครือข่าย และการจัดตารางงาน ประสิทธิภาพการสร้างโทเค็นเพิ่มขึ้นมากกว่า 10 เท่าเมื่อเทียบกับต้นปี ขณะที่ต้นทุนต่อ 1 ล้านโทเค็นลดจากราว 100 หยวนเหลือต่ำกว่า 10 หยวน 9
11
อย่างไรก็ดี ตัวเลขเหล่านี้เป็น ผลที่ผู้ดำเนินโครงการรายงานเอง ไม่ใช่ผลทดสอบมาตรฐานที่ใช้เปรียบเทียบได้ทั่วไป รายงานที่มีอยู่ไม่ได้เปิดเผยชนิดของโมเดล, ความละเอียดในการคำนวณ, ขนาดแบตช์, รูปแบบทราฟฟิก, อัตราการใช้ทรัพยากร หรือวิธีคิดต้นทุน จึงยังไม่อาจทำซ้ำหรือนำไปเทียบกับแพลตฟอร์ม inference อื่นได้อย่างอิสระ
เหตุใดความร่วมมือสามฝ่ายจึงมีความหมาย
โครงการนี้เชื่อมความสามารถ 3 ด้านที่มักถูกประเมินแยกกัน
- Zhonghao Xinying จัดหา Chana TPU และแพลตฟอร์ม Taize โดยรายงานระบุว่า Chana มี IP core, ชุดคำสั่ง และแพลตฟอร์มคอมพิวต์ที่พัฒนาขึ้นเอง
18
19
- ZTE ร่วมสร้างระบบในส่วนเครือข่ายสื่อสาร, การรวมเซิร์ฟเวอร์ และโครงสร้างพื้นฐานของคลัสเตอร์
- China Telecom หางโจว เป็นสภาพแวดล้อมปฏิบัติการสำหรับส่งมอบและบริหารกำลังประมวลผลในระดับใหญ่
สำหรับชิป AI ภายในประเทศ สภาพแวดล้อมแบบผู้ให้บริการโทรคมนาคมช่วยย้ายการพิสูจน์จากตัวเลขสเปกสูงสุดบนชิป ไปสู่การให้บริการจริง ไม่ว่าจะเป็นการจัดตารางงาน, การปรับโมเดล, พฤติกรรมของเครือข่าย และการปฏิบัติการต่อเนื่อง สถาปัตยกรรมโครงการจึงรวมทรัพยากรคอมพิวต์, การจัดตาราง, การปรับโมเดล, การบริหารปฏิบัติการ และแอปพลิเคชันอุตสาหกรรมไว้ด้วยกัน 18
โอกาสของ TPU และโจทย์ซอฟต์แวร์ที่ยากกว่า
TPU คือชิปเร่ง AI ที่ออกแบบเพื่อการคำนวณเทนเซอร์ จุดเด่นอยู่ที่การประมวลผลงานเมทริกซ์ขนาดใหญ่ ซึ่งพบมากในการเทรนและรันโมเดลภาษา แต่เมื่อขยายสู่ระดับคลัสเตอร์ ประสิทธิภาพไม่ได้ขึ้นกับ FLOPS เพียงอย่างเดียว ยังขึ้นกับการเชื่อมต่อระหว่างชิป, พฤติกรรมหน่วยความจำ, การสื่อสารรวมกลุ่ม, การจัดตาราง, ความเสถียร และความเข้ากันได้กับซอฟต์แวร์โมเดล
ดังนั้น การพิสูจน์ชิปทางเลือกจึงไม่จบที่ซิลิคอนทำงานได้ โมเดล, เอนจิน inference, โอเปอเรเตอร์, วิธี quantization และเวิร์กโฟลว์ของลูกค้าต้องย้ายมารันบนสแตกใหม่นี้ได้อย่างเสถียร หลักฐานที่มีสนับสนุนการติดตั้งในหางโจวและแผนขยายระบบ แต่ยังไม่ยืนยันความเทียบเท่ากับระบบนิเวศ GPU หลักในวงกว้าง ครอบคลุมทุกโมเดลและเฟรมเวิร์ก
เฟสสอง: Xuyu กับเป้าหมายเกิน 10,000 PFLOPS
พันธมิตรวางแผนเฟสสองโดยใช้ TPU รุ่นที่สองชื่อ Xuyu พร้อมเป้าหมายกำลังประมวลผลรวมเกิน 10,000 PFLOPS 17
19
บริษัทระบุว่า Xuyu มีสมรรถนะ floating-point แบบ mixed precision ที่ 896 TFLOPS, สมรรถนะ inference 8 บิตที่ 1,792 TOPS และกำลังไฟพิกัด 600 วัตต์ รวมถึงอ้างว่าประสิทธิภาพสูงกว่า Chana ราว 3 เท่า และใช้พลังงานต่ำกว่าชิปทั่วไป 50% ที่ระดับประสิทธิภาพใกล้เคียงกัน ข้อมูลทั้งหมดนี้เป็นสเปกที่บริษัทเปิดเผย 19
20
ในระดับระบบ บริษัทระบุว่า Xuyu ออกแบบให้ใช้ในซูเปอร์โหนดที่เชื่อมต่อด้วยออปติคัลอินเตอร์คอนเน็กต์ได้สูงสุด 2,048 ชิป 20
สิ่งที่คลัสเตอร์หางโจวพิสูจน์ได้ในตอนนี้
โครงการนี้แสดงให้เห็นความพยายามประกอบสแตก AI ภายในประเทศแบบครบชั้น ตั้งแต่ชิป, ชุดคำสั่ง, แพลตฟอร์ม, เซิร์ฟเวอร์, เครือข่าย, การจัดตารางงาน ไปจนถึงการให้บริการ 18
19 บทพิสูจน์ที่สำคัญกว่าตัวเลขกำลังประมวลผล คือสแตกดังกล่าวจะรองรับเวิร์กโหลดจริงที่หลากหลายได้ต่อเนื่องเพียงใด มีซอฟต์แวร์รองรับมากพอหรือไม่ ให้ประสิทธิภาพคาดการณ์ได้หรือไม่ และมีต้นทุนที่ตรวจสอบได้แค่ไหน
การติดตั้ง 400 PFLOPS และแผนขยายด้วย Xuyu มีรายงานรองรับหลายแห่ง ส่วนตัวเลขประสิทธิภาพการสร้างโทเค็นมากกว่า 10 เท่าและต้นทุนต่ำกว่า 10 หยวนต่อ 1 ล้านโทเค็น แม้อาจเป็นเป้าหมายที่เป็นไปได้จากการใช้ทรัพยากร inference อย่างมีประสิทธิภาพขึ้น แต่ยังควรมองเป็นคำกล่าวอ้างของผู้ดำเนินงานและผู้ร่วมโครงการ จนกว่าจะมีการเปิดเผยวิธีวัดและรายละเอียดเวิร์กโหลด 9
11
Studio Global AI
ทำการวิจัยต่อ
หน้านี้รวมคำตอบที่ได้รับการสนับสนุนจากแหล่งที่มาซึ่งคุณสามารถดำเนินการต่อภายใน Studio Global
คนยังถาม
คำตอบสั้น ๆ สำหรับ "คลัสเตอร์ TPU 1,024 ชิปของ China Telecom ในหางโจว เดิมพันลดต้นทุนการตอบ AI" คืออะไร
China Telecom สาขาหางโจว, ZTE และ Zhonghao Xinying ร่วมติดตั้งคลัสเตอร์ Chana TPU 1,024 ชิป บนแพลตฟอร์ม Taize กำลังประมวลผล 400 PFLOPS [17][20]
ประเด็นสำคัญที่ต้องตรวจสอบก่อนคืออะไร?
China Telecom สาขาหางโจว, ZTE และ Zhonghao Xinying ร่วมติดตั้งคลัสเตอร์ Chana TPU 1,024 ชิป บนแพลตฟอร์ม Taize กำลังประมวลผล 400 PFLOPS [17][20] หัวใจของการอ้างว่าต้นทุนลดลงคือการแยกงาน Prefill และ Decode เพื่อจัดสรรทรัพยากรสำหรับแต่ละช่วงของการตอบโมเดลภาษาได้เหมาะกว่าเดิม [2][9]
ฉันควรทำอย่างไรต่อไปในทางปฏิบัติ?
ผู้ดำเนินโครงการระบุว่าประสิทธิภาพการสร้างโทเค็นดีขึ้นมากกว่า 10 เท่า และต้นทุนต่อ 1 ล้านโทเค็นลดจากราว 100 หยวนเหลือต่ำกว่า 10 หยวน แต่ยังไม่มีรายละเอียดวิธีทดสอบเพียงพอให้ตรวจสอบอิสระได้ [9][11]