คลัสเตอร์ AI ไม่ได้ต้องการเพียงชิปเร่งความเร็วที่แรงขึ้นเท่านั้น แต่ยังต้องแลกเปลี่ยนข้อมูลระหว่างกันได้รวดเร็วและคาดการณ์ได้ด้วย Qualcomm และ Cornelis Networks จึงประกาศความร่วมมือเพื่อแก้โจทย์นี้ โดยมองว่าเครือข่ายควรช่วยเพิ่มประสิทธิภาพของโครงสร้างพื้นฐาน AI โดยเฉพาะเมื่อระบบอนุมานผล (inference) และคลัสเตอร์ที่ใช้ฮาร์ดแวร์หลายชนิดขยายตัว
อย่างไรก็ดี สิ่งที่ประกาศในตอนนี้คือความร่วมมือเชิงกลยุทธ์และการขึ้นเวทีร่วมกันในงาน AI Infra Summit ไม่ใช่การเปิดตัวผลิตภัณฑ์ Qualcomm–Cornelis ที่พร้อมส่งมอบร่วมกัน Qualcomm ระบุว่าวิสัยทัศน์ของ Cornelis เรื่องโครงข่ายแบบเปิดและตั้งโปรแกรมได้ สอดคล้องกับเป้าหมายในการยกระดับการใช้ทรัพยากร AI และความคุ้มค่าทางเศรษฐศาสตร์
5
7
แนวคิดหลัก: ให้เครือข่ายเป็นชั้นประมวลผล
Cornelis เรียกสถาปัตยกรรมของตนว่า Active Compute Fabric แทนที่จะให้สวิตช์และการ์ดเชื่อมต่อเครือข่ายทำหน้าที่ส่งต่อแพ็กเก็ตอย่างเดียว แนวทางนี้ฝังการประมวลผลที่ตั้งโปรแกรมได้และความสามารถเร่งงานไว้ใน fabric ของเครือข่ายเอง
ตามคำอธิบายของ Cornelis งานสื่อสารและงาน collective บางส่วนสามารถถูกประมวลผลได้ระหว่างที่ข้อมูลเคลื่อนผ่านเครือข่าย แทนที่จะโยนภาระทั้งหมดให้โฮสต์หรือชิปเร่งความเร็ว AI
5
15
สถาปัตยกรรมนี้ครอบคลุมงานเชื่อมต่อ 2 ระดับที่เกี่ยวข้องกัน
- Scale-out: การเชื่อมต่อเซิร์ฟเวอร์หรือนोडต่าง ๆ เข้าด้วยกันทั้งคลัสเตอร์
- Scale-up: การเชื่อมต่อตัวเร่งความเร็วให้แน่นแฟ้นขึ้นภายในระบบระดับแร็ก
เป้าหมายคือทำให้การเคลื่อนย้ายข้อมูลไม่กลายเป็นสาเหตุที่ทำให้ GPU หรือตัวเร่งความเร็วราคาแพงต้องรอข้อมูล โดยเฉพาะงาน AI แบบกระจายที่มีการสื่อสารแบบ collective และทราฟฟิกหลายต้นทางไปยังปลายทางเดียว ซึ่งอาจเป็นคอขวดได้
1
21
การส่งข้อมูลแบบไม่สูญหาย ช่วยอะไรได้บ้าง
Active Compute Fabric ของ Cornelis ผสานองค์ประกอบ 3 อย่าง ได้แก่ การขนส่งข้อมูลแบบไม่สูญหาย (lossless transport) การเร่งงานในเครือข่าย และการประมวลผลที่ตั้งโปรแกรมได้
5
สำหรับแพลตฟอร์ม CN5000 ที่ใช้ Omni-Path บริษัทอธิบายว่าใช้การส่งข้อมูลแบบอิงเครดิตเพื่อให้ข้อมูลไม่สูญหาย การเลือกเส้นทางแบบปรับตัวระดับละเอียด การควบคุมการไหลที่รับรู้ปัญหา incast ซึ่งคือกรณีข้อมูลจากหลายแหล่งไหลมารวมที่ปลายทางเดียว และการส่งซ้ำระดับลิงก์ กลไกเหล่านี้มีเป้าหมายป้องกันบัฟเฟอร์ล้นและลดผลกระทบของความแออัดต่อการส่งข้อมูล
18
ผลตอบแทนที่คาดหวังค่อนข้างตรงไปตรงมา: หากการสื่อสารจบได้สม่ำเสมอขึ้นและใช้ภาระจากฝั่งตัวเร่งความเร็วน้อยลง เวลาทำงานของตัวเร่งความเร็วก็จะถูกนำไปใช้รันโมเดลได้มากขึ้น ซึ่งอาจช่วยให้ต้นทุนที่แท้จริงของการฝึกหรือให้บริการโมเดลดีขึ้น เพราะเครือข่ายช่วยรักษาอัตราการใช้ฮาร์ดแวร์ประมวลผลที่มีต้นทุนสูงกว่า
แต่ทั้งหมดนี้ยังเป็นแนวคิดด้านการออกแบบ ไม่ใช่ผลทดสอบที่ยุติข้อถกเถียงแล้ว Cornelis เผยแพร่ตัวเลขเปรียบเทียบประสิทธิภาพและการใช้ทรัพยากรของตนเอง แต่ผู้ดูแลระบบควรประเมินกับโมเดล รูปแบบ collective ซอฟต์แวร์สแตก และโทโพโลยีคลัสเตอร์ของตนโดยตรง
15
แผนผลิตภัณฑ์: อะไรขายแล้ว และอะไรยังต้องรอ
ระดับความพร้อมของผลิตภัณฑ์ Cornelis ไม่เท่ากัน
- CN5000 เป็น fabric แบบ scale-out Omni-Path ความเร็ว 400 Gb/s ที่วางจำหน่ายแล้ว ครบทั้ง SuperNIC สวิตช์ ซอฟต์แวร์ และสายเชื่อมต่อ โดย Cornelis วางตำแหน่งให้เป็นระบบสำหรับ AI และ HPC ที่ส่งข้อมูลแบบไม่สูญหายและควบคุมความแออัดได้
17
- CN6000 คือแพลตฟอร์มเครือข่ายอัจฉริยะรุ่นถัดไปสำหรับการฝึก AI, inference และ HPC รายงานระบุว่าเพิ่มการรองรับ Ethernet และกำลังเตรียมขยายการวางจำหน่าย ขณะที่ Cornelis จัดให้เป็นผลิตภัณฑ์ scale-out เจเนอเรชันใหม่
6
8
- CN7000 เป็นแพลตฟอร์ม scale-up แบบเนทีฟที่อยู่ในแผนงาน และเป็นส่วนที่เกี่ยวข้องที่สุดหากจะสร้างทางเลือกโดยตรงต่อการเชื่อมต่อระดับแร็กแบบ NVLink ของ Nvidia ทว่าขณะนี้ยังไม่ใช่สิ่งทดแทนเทคโนโลยี scale-up ของ Nvidia ที่ถูกใช้งานอย่างแพร่หลาย
2
19
ข้อแยกนี้สำคัญมาก: Cornelis มีผลิตภัณฑ์ scale-out เชิงพาณิชย์แล้ว แต่ข้อเสนอ scale-up ที่เต็มรูปแบบที่สุดยังเป็นเรื่องของอนาคต
จุดขายเรื่องความเปิดกว้างและฮาร์ดแวร์หลายค่าย
Cornelis วาง Active Compute Fabric เป็นสถาปัตยกรรมแบบเปิดที่ใช้ได้ทั้งสภาพแวดล้อม scale-up และ scale-out แผนงานของบริษัทอ้างถึง Ethernet, Ultra Ethernet, RoCE และเทคโนโลยีที่เกี่ยวข้องกับ UALink แทนการผูกเครือข่ายไว้กับผู้ผลิตตัวเร่งความเร็วรายเดียว
11
19
แนวทางนี้น่าสนใจสำหรับผู้ดำเนินการโครงสร้างพื้นฐานที่ต้องการความยืดหยุ่น เพราะในทางหลักการ fabric สามารถทำงานร่วมกับ GPU, CPU, ตัวเร่งความเร็วเฉพาะทาง และชิ้นส่วนจากหลายค่ายได้ Cornelis ยังระบุว่า CN5000 ทำงานร่วมกับตัวเร่งความเร็วจาก AMD, Intel, Nvidia และรายอื่น ๆ ได้
23
อย่างไรก็ตาม ความเปิดกว้างต้องพิสูจน์ด้วยการทำงานจริง: ระบบที่หลากหลายต้องมีการทำงานร่วมกันที่เสถียร มีฮาร์ดแวร์เพียงพอ และมีซอฟต์แวร์ที่พร้อมตลอดทั้งระบบ ไม่ใช่แค่รองรับกันได้ในระดับชิ้นส่วน
บทบาทในยุทธศาสตร์ดาต้าเซ็นเตอร์ของ Qualcomm
ความสัมพันธ์กับ Cornelis เติมเต็มความพยายามในวงกว้างของ Qualcomm ที่ต้องการเป็นผู้จัดหาทั้งชิปประมวลผล AI และเทคโนโลยีการเชื่อมต่อสำหรับดาต้าเซ็นเตอร์
Qualcomm และ Amazon ประกาศความร่วมมือหลายเจเนอเรชันในการพัฒนาซิลิคอนเฉพาะทางสำหรับ AI inference และการเชื่อมต่อด้วยแสงที่รองรับความเร็วสูงสุด 1.6 Tb/s Reuters รายงานว่า ภายใต้ข้อตกลงระยะยาว Amazon อาจซื้อชิปดาต้าเซ็นเตอร์ AI และผลิตภัณฑ์ที่เกี่ยวข้องจาก Qualcomm ได้สูงสุด 60,000 ล้านดอลลาร์สหรัฐ โดยขึ้นอยู่กับเงื่อนไขของข้อตกลง
33
24
นอกจากนี้ Qualcomm ได้ปิดดีลซื้อกิจการ Alphawave Semi แล้ว ซึ่งเพิ่มเทคโนโลยีการเชื่อมต่อแบบมีสายความเร็วสูงที่บริษัทระบุว่าเสริมกับหน่วยประมวลผล Oryon CPU และ Hexagon NPU ของตน
44
เมื่อมองรวมกัน การเคลื่อนไหวเหล่านี้สะท้อนยุทธศาสตร์ที่ต้องการมีส่วนร่วมทั้งฝั่งคอมพิวต์และการเชื่อมต่อของโครงสร้างพื้นฐาน AI ส่วน Cornelis เพิ่มมิติด้านเครือข่ายแบบเปิดให้ยุทธศาสตร์นี้ได้ แต่ทั้งสองบริษัทยังไม่ได้ประกาศแพลตฟอร์มแบบบูรณาการครบชุด
ความจริงด้านการแข่งขัน: ทิศทางที่น่าจับตา แต่ยังไม่ใช่การแทนที่ Nvidia
Cornelis กำลังเข้าสู่ตลาดที่ Nvidia มีทั้งผลิตภัณฑ์จริงและระบบนิเวศที่เชื่อมชิปเร่งความเร็ว เครือข่าย และซอฟต์แวร์เข้าด้วยกันอย่างลึกซึ้ง จุดดึงดูดของ Active Compute Fabric คือความเป็นโมดูลาร์: เครือข่ายที่ออกแบบให้ช่วยประมวลผลและทำงานกับฮาร์ดแวร์ต่างค่ายได้ แทนการล็อกผู้ซื้อไว้กับ fabric แบบกรรมสิทธิ์ของผู้ขายรายเดียว
Cornelis ระดมทุนได้ 205 ล้านดอลลาร์สหรัฐ เพื่อพัฒนาผลิตภัณฑ์ scale-up และ scale-out การผลิต และการนำไปใช้งานจริง ซึ่งเพิ่มทรัพยากรสำหรับเดินตามแผนดังกล่าว
5
7
ถึงอย่างนั้น เงินทุนและการเปิดตัวสถาปัตยกรรมยังไม่เท่ากับการพิสูจน์ว่าทัดเทียมตลาดได้ กรณีของ Cornelis และ Qualcomm จะขึ้นอยู่กับการส่งมอบ CN6000 และ CN7000 ตามแผน การรองรับซอฟต์แวร์ ความสามารถทำงานร่วมกัน ห่วงโซ่อุปทาน และผลลัพธ์ในระบบผลิตจริงที่ทำซ้ำได้ สำหรับตอนนี้ ความร่วมมือนี้ควรถูกมองว่าเป็นการเดิมพันว่าเครือข่ายที่ดีขึ้นจะเพิ่มการใช้ประโยชน์จากโครงสร้างพื้นฐาน AI ได้ และลูกค้าจะให้คุณค่ากับทางเลือกแบบเปิดมากพอ ๆ กับประสิทธิภาพสูงสุด