Jingang GC3 คืออะไร? ชิป RISC-V ที่พยายามแก้คอขวดของวิดีโอ AI ด้วย Dataflow

Jingang GC3 หรือ King Kong GC3 มีรายงานว่าเป็นชิปประมวลผลเฉพาะทางสำหรับวิดีโอ AI และ Generative AI จาก SmarCo HT Tech แทนที่จะให้การถอดรหัสวิดีโอ การอนุมาน AI และการสร้างวิดีโอแยกกันทำงานบนอุปกรณ์คนละตัว ชิปนี้ถูกออกแบบให้รวมกระบวนการเหล่านั้นไว้ภายใต้สถาปัตยกรรมที่เน้นการไหลของข้อมูล หรือ Dataflow

สเปกที่มีการรายงาน ได้แก่ คอร์ RISC-V จำนวน 12 คอร์, พลังประมวลผล INT8 สูงสุด 200 TOPS และหน่วยความจำรวม LPDDR5 ECC ขนาด 128GB 35

อย่างไรก็ตาม จุดสำคัญของ GC3 ไม่ได้อยู่ที่ตัวเลข TOPS เพียงอย่างเดียว แนวคิดของชิปคือ งานวิดีโอจำนวนมากใช้เวลาและพลังงานไปกับการย้ายเฟรม ข้อมูลโมเดล และผลลัพธ์ระหว่างขั้นตอนต่าง ๆ มากพอ ๆ กับการคำนวณจริง เครื่องมือ Dataflow หน่วยความจำแบบรวม และเส้นทางประมวลผลวิดีโอกับ AI ที่อยู่ใกล้กัน จึงมีเป้าหมายเพื่อลดการเคลื่อนย้ายข้อมูลเหล่านี้

ทำไมวิดีโอ AI จึงติดปัญหาเรื่องการย้ายข้อมูล

ในระบบทำความเข้าใจวิดีโอทั่วไป สตรีมจะถูกถอดรหัสเป็นเฟรม จากนั้นส่งไปยัง GPU เพื่อวิเคราะห์ภาพ และส่งผลลัพธ์ต่อไปยังขั้นตอนประมวลผลอื่น ๆ เมื่อจำนวนสตรีมเพิ่มขึ้น การโอนข้อมูลและการประสานงานระหว่างอุปกรณ์อาจกลายเป็นคอขวด นอกเหนือจากข้อจำกัดด้านพลังประมวลผลโดยตรง 3

การสร้างวิดีโอก็มีปัญหาใกล้เคียงกัน ระบบที่ใช้ Diffusion หรือ Transformer ต้องจัดการกับพารามิเตอร์โมเดลและผลลัพธ์ระหว่างทางจำนวนมาก รายงานเกี่ยวกับ GC3 ระบุว่าชุดข้อมูลระหว่างการประมวลผลอาจมีขนาดถึงหลายร้อยกิกะไบต์ ทำให้การอ่าน เขียน และโอนข้อมูลซ้ำ ๆ มีต้นทุนด้านแบนด์วิดท์ พลังงาน และเวลา 3

ดังนั้น สิ่งที่ GC3 พยายามแก้จึงไม่ใช่เพียงการเพิ่มหน่วยคำนวณ แต่คือค่าใช้จ่ายในการประสานงานระหว่างขั้นตอนจำนวนมากของงานที่ทำงานแบบขนานในระดับสูง

GC3 รวมอะไรไว้ในสถาปัตยกรรมเดียว

การประมวลผลแบบ Dataflow

ในสถาปัตยกรรมแบบ Control-flow ทั่วไป โปรเซสเซอร์หรือระบบจัดตารางส่วนกลางจะดึงคำสั่งและสั่งให้หน่วยประมวลผลทำงาน ขณะที่ข้อมูลเดินทางผ่านลำดับชั้นของหน่วยความจำ แนวทางนี้มีความยืดหยุ่น แต่รายงานเกี่ยวกับ GC3 มองว่าอาจไม่เหมาะกับงานวิดีโอบางประเภทที่มีรูปแบบสม่ำเสมอและทำงานแบบขนานจำนวนมาก 3

Dataflow เปลี่ยนหลักการเป็นให้การคำนวณเดินหน้าทันทีเมื่อข้อมูลที่จำเป็นสำหรับงานนั้นพร้อม ในทางทฤษฎี วิธีนี้ช่วยเปิดใช้การประมวลผลแบบขนานได้มากขึ้น และลดการรอจากการจัดตารางงานแบบรวมศูนย์หรือการประสานงานระดับระบบ สำหรับงานวิดีโอ เป้าหมายคือทำให้หลายขั้นตอนทำงานต่อเนื่องได้ โดยไม่ต้องส่งงานทั้งหมดกลับไปผ่านเส้นทางควบคุมเดียว 3

นี่เป็นเป้าหมายเชิงสถาปัตยกรรม ไม่ใช่หลักฐานว่าชิปทำงานเร็วขึ้นตามตัวเลขใดตัวเลขหนึ่ง แหล่งข้อมูลที่มีอยู่ยังไม่มีผลทดสอบแบบครบกระบวนการซึ่งเปรียบเทียบกับ CPU, GPU หรือแพลตฟอร์มวิดีโอ AI ที่ระบุชื่ออย่างเป็นอิสระ

คอร์ RISC-V สำหรับควบคุมงาน

คอร์ RISC-V ทั้ง 12 คอร์ทำหน้าที่เป็นชั้นควบคุมที่ตั้งโปรแกรมได้ในดีไซน์ที่มีการรายงาน หน่วยประมวลผลเฉพาะทางจะรับผิดชอบงานวิดีโอและ AI ขณะที่คอร์ RISC-V จัดการการควบคุมและการจัดตาราง แทนที่จะให้ CPU ทั่วไปต้องรับผิดชอบทุกขั้นตอน 35

ในรูปแบบนี้ RISC-V ไม่ได้ถูกนำเสนอว่าเป็นเครื่องยนต์ประมวลผลทั้งหมดของชิป แต่ทำงานร่วมกับ Dataflow engine และฟังก์ชันวิดีโอกับ AI เฉพาะทาง ทำให้แพลตฟอร์มยังควบคุมและปรับโปรแกรมได้ ขณะเดียวกันก็สงวนงานที่ต้องการอัตราการประมวลผลสูงไว้ให้ฮาร์ดแวร์เฉพาะกิจ

หน่วยความจำรวม 128GB

มีรายงานว่า GC3 ใช้หน่วยความจำรวม LPDDR5 ECC ขนาด 128GB ร่วมกันระหว่างเส้นทาง CPU, VPU, GPU และ NPU 35 ข้อได้เปรียบที่คาดหวังคือการลดความจำเป็นในการคัดลอกข้อมูลระหว่างพูลหน่วยความจำของ CPU และ GPU ที่แยกจากกัน

พูลหน่วยความจำเดียวอาจช่วยให้เฟรมที่ถอดรหัสแล้ว น้ำหนักของโมเดล และเทนเซอร์ระหว่างการประมวลผลยังพร้อมให้หลายหน่วยงานเข้าถึงได้ โดยไม่ต้องโอนข้อมูลระหว่างอุปกรณ์ในระดับเดียวกับระบบที่แยกหน่วยความจำออกจากกัน ส่วน ECC เพิ่มความสามารถในการตรวจจับและป้องกันข้อผิดพลาดของหน่วยความจำ งานวิจัยเกี่ยวกับโปรเซสเซอร์ RISC-V ก็เคยศึกษาการใช้หน่วยความจำที่มีการป้องกันแบบ ECC เพื่อเพิ่มความทนทานต่อความผิดพลาดเช่นกัน 1

ถึงกระนั้น หน่วยความจำรวมไม่ได้ลบข้อจำกัดด้านแบนด์วิดท์ทั้งหมด แต่เปลี่ยนวิธีที่หน่วยประมวลผลแต่ละส่วนเข้าถึงข้อมูล ผลลัพธ์จริงจะขึ้นอยู่กับแบนด์วิดท์หน่วยความจำ ซอฟต์แวร์ การจัดตารางงาน และลักษณะของเวิร์กโหลดด้วย

เส้นทางวิดีโอและ AI ที่รวมอยู่บนแพลตฟอร์มเดียวกัน

ดีไซน์ที่มีการรายงานระบุว่า GC3 รวมการเข้ารหัสและถอดรหัสวิดีโอเข้ากับการประมวลผล AI บนแพลตฟอร์มเดียวกัน ทำให้เกิดเส้นทางที่ตรงขึ้นตั้งแต่การรับวิดีโอไปจนถึงการทำความเข้าใจ หรือจากคอนเทนต์ที่สร้างขึ้นไปจนถึงการเข้ารหัสผลลัพธ์ 35

ลำดับการทำงานที่ชิปต้องการนำเสนอจึงเป็นดังนี้

• ถอดรหัสวิดีโอบนแพลตฟอร์ม
• เก็บเฟรมไว้ให้เส้นทาง AI ที่เกี่ยวข้องเข้าถึงได้
• ทำความเข้าใจหรือสร้างวิดีโอโดยไม่ต้องข้ามขอบเขตของอุปกรณ์หลายตัวซ้ำ ๆ
• เข้ารหัสผลลัพธ์บนระบบรวมเดียวกัน

ไม่ได้หมายความว่าทุกขั้นตอนจะทำงานเป็นกระบวนการเดียวที่แยกออกจากกันไม่ได้ แต่หมายถึงสถาปัตยกรรมถูกวางเป้าหมายให้ลดการส่งต่องานที่ไม่จำเป็นระหว่างโปรเซสเซอร์และระบบหน่วยความจำที่เดิมอาจต้องแยกกันทำงาน

GC3 พยายามลดต้นทุน พลังงาน และความหน่วงอย่างไร

ผลทางเศรษฐกิจที่คาดหวังจากชิปนี้เชื่อมโยงโดยตรงกับสถาปัตยกรรม หากเวิร์กโหลดต้องคัดลอกข้อมูลน้อยลง มีการเดินทางไปกลับหน่วยความจำน้อยลง และต้องซิงโครไนซ์ข้ามอุปกรณ์น้อยลง เวลากับพลังงานก็อาจถูกใช้กับการย้ายข้อมูลน้อยลงและเหลือสำหรับการคำนวณมากขึ้น แนวทางนี้อาจเหมาะกับการทำความเข้าใจวิดีโอหลายสตรีม การประมวลผลวิดีโอภายในเครื่อง และการสร้างวิดีโอที่ต้องจัดการเทนเซอร์ระหว่างทางขนาดใหญ่ 3

ประโยชน์ที่คาดหวังแบ่งได้เป็น 3 ด้าน

• ความหน่วง: การลดการโอนข้อมูลระหว่างขั้นตอนถอดรหัส ประมวลผล AI และเข้ารหัส อาจช่วยย่นเส้นทางตั้งแต่เฟรมต้นทางจนถึงผลลัพธ์
• พลังงาน: การย้ายข้อมูลที่ลดลงอาจลดพลังงานที่ใช้กับการเข้าถึงหน่วยความจำและการรับส่งข้อมูลบนอินเทอร์คอนเนกต์
• ต้นทุน: แพลตฟอร์มแบบรวมอาจลดภาระด้านโครงสร้างพื้นฐานและการปฏิบัติการที่เกิดจากการควบคุมอุปกรณ์เฉพาะทางหลายตัว

ทั้งหมดนี้เป็นเป้าหมายตามแนวคิดสถาปัตยกรรมและการวางตำแหน่งผลิตภัณฑ์จากรายงานที่มีอยู่ ไม่ใช่ผลลัพธ์ที่ได้รับการตรวจสอบโดยอิสระ แหล่งข้อมูลระบุสเปกหลักและเหตุผลเชิงสถาปัตยกรรม แต่ยังไม่ได้ยืนยันว่าชิปช่วยลดค่าใช้จ่ายต่อวิดีโอ จำนวนวัตต์ต่อสตรีม หรือความหน่วงแบบครบกระบวนการได้จริงเท่าใด

ตัวเลขสเปกบอกอะไร และยังบอกอะไรไม่ได้

ตัวเลข 200 TOPS ที่มีการรายงานหมายถึงความสามารถด้านการคำนวณ AI ในความละเอียด INT8 ไม่ใช่การรับประกันประสิทธิภาพของแอปพลิเคชันจริง อัตราการประมวลผลวิดีโอ AI ยังขึ้นอยู่กับความเข้ากันได้กับโมเดล ความละเอียดตัวเลขที่ใช้ แบนด์วิดท์หน่วยความจำ การรองรับของคอมไพเลอร์และรันไทม์ รูปแบบวิดีโอ ขนาดแบตช์ จำนวนสตรีม และประสิทธิภาพของตัวจัดตารางแบบ Dataflow

ในทำนองเดียวกัน หน่วยความจำรวมขนาด 128GB อาจช่วยรองรับโมเดลขนาดใหญ่และข้อมูลระหว่างการประมวลผลได้มากขึ้น แต่ความจุเพียงอย่างเดียวไม่ได้พิสูจน์ว่าโมเดลสร้างวิดีโอใด ๆ จะทำงานได้อย่างมีประสิทธิภาพ ซอฟต์แวร์และปริมาณการรับส่งข้อมูลจริงยังเป็นปัจจัยสำคัญ

สรุป

Jingang GC3 ควรถูกมองว่าเป็นความพยายามเฉพาะทางในการออกแบบเส้นทางประมวลผลวิดีโอ AI ใหม่ โดยให้ความสำคัญกับการวางข้อมูลให้อยู่ใกล้หน่วยคำนวณมากขึ้น การผสาน Dataflow, คอร์ควบคุม RISC-V, เส้นทาง CPU/VPU/GPU/NPU และหน่วยความจำรวม 128GB มีเป้าหมายเพื่อจัดการกับการโอนข้อมูลและจุดที่ต้องรอซิงโครไนซ์ ซึ่งอาจจำกัดประสิทธิภาพของระบบ CPU กับ GPU แบบเดิม 35

หากฮาร์ดแวร์และซอฟต์แวร์ทำงานได้ตามที่ออกแบบไว้ สถาปัตยกรรมนี้อาจช่วยให้การทำความเข้าใจวิดีโอหลายสตรีมและการสร้างวิดีโอมีประสิทธิภาพขึ้น แต่ข้อสรุปที่รัดกุมที่สุดในตอนนี้คือ GC3 นำเสนอกลยุทธ์เชิงสถาปัตยกรรมที่มีเหตุผล พร้อมสเปกจากผู้พัฒนาและรายงานที่เกี่ยวข้อง—not yet independent proof—ของการลดต้นทุน พลังงาน หรือความหน่วงจริง