Adreno Neural Fusion: เมื่อ Qualcomm ฝัง AI ไว้ใน GPU เพื่อยกระดับเกมมือถือ

Qualcomm กำลังเปลี่ยนแนวทางให้ AI ที่เกี่ยวข้องกับกราฟิกทำงานอยู่ ภายใน GPU มากขึ้น แทนที่จะเป็นงานแยกต่างหากนอกเส้นทางเรนเดอร์ จุดสำคัญของสถาปัตยกรรม Adreno รุ่นใหม่คือการใส่ Adreno Matrix Cores ซึ่งเป็นหน่วยประมวลผล AI โดยเฉพาะ เข้าไปใน GPU แบบ 3 slices โดยตรง เป้าหมายคือให้เกมมือถือใช้ AI ช่วยอัปสเกลภาพและสร้างเฟรมได้ด้วยความหน่วงต่ำลง พร้อมลดต้นทุนด้านพลังงานของการเรนเดอร์ 14

Matrix Core หนึ่งตัวต่อ GPU slice คืออะไร

Adreno รุ่นใหม่ประกอบด้วย GPU 3 slices และแต่ละ slice จับคู่กับ Matrix Core ของตัวเอง หน่วยนี้ถูกออกแบบมาเพื่อรันโมเดล AI ขั้นสูงในกราฟิกไปป์ไลน์บนตัว GPU โดยตรง 24

ตำแหน่งดังกล่าวสำคัญเพราะงานอย่าง AI super resolution และ frame generation ต้องใช้ข้อมูลที่อยู่ใกล้กับขั้นตอนเรนเดอร์ เช่น ภาพเฟรม ข้อมูลการเคลื่อนไหว ข้อมูลแบบ tile และผลลัพธ์ระหว่างการวาดภาพ การประมวลผล AI ในโครงสร้างกราฟิกเดียวกันช่วยลดการย้ายข้อมูลและการรอประสานงานระหว่างหน่วยประมวลผลที่แยกกัน Qualcomm ระบุว่าสิ่งนี้ช่วยลดทั้งความหน่วงและพลังงานส่วนเกินเมื่อเทียบกับแนวทางที่แยกส่วนกว่า 13

Adreno Neural Fusion ทำอะไรได้บ้าง

Adreno Neural Fusion คือชื่อที่ Qualcomm ใช้เรียกเวิร์กโฟลว์การเรนเดอร์แบบรวมศูนย์ ซึ่งผสาน

• การประมวลผลแบบนิวรัล
• AI super resolution หรือการใช้ AI ยกระดับความละเอียดภาพ
• frame generation หรือการใช้ AI สร้างเฟรมเพิ่ม

ไว้ในกราฟิกไปป์ไลน์เดียวกัน 1

ในทางปฏิบัติ เกมอาจเรนเดอร์ที่ความละเอียดภายในต่ำกว่า แล้วให้โมเดล AI สร้างภาพสุดท้ายขึ้นใหม่ หรือใช้ข้อมูลของเฟรมที่เรนเดอร์แล้วเพื่อสร้างเฟรมแทรก เทคนิคเหล่านี้มุ่งเพิ่มรายละเอียดที่มองเห็นและความลื่นไหล โดยไม่จำเป็นต้องวาดทุกพิกเซลหรือทุกเฟรมด้วยวิธีเดิมทั้งหมด

Qualcomm ระบุว่าระบบนี้ช่วยให้ภาพคมขึ้น เสถียรขึ้น และลดสิ่งรบกวนอย่างภาพสั่นระยิบ (shimmering) การกะพริบ และภาพซ้อนหรือ ghosting อย่างไรก็ตาม นี่ยังเป็นคำกล่าวอ้างของบริษัท ผลด้านคุณภาพภาพและความหน่วงของแต่ละเกมจะขึ้นกับการนำไปใช้จริง และยังไม่มีผลทดสอบอิสระในผลิตภัณฑ์วางขาย 113

HPM 18MB มีความหมายอย่างไรต่อเกม

GPU ใหม่นี้ยังมี Adreno High Performance Memory (HPM) ขนาด 18MB ซึ่งเป็นหน่วยความจำความหน่วงต่ำที่อยู่ใกล้ GPU โดยมีเป้าหมายให้เก็บข้อมูลกราฟิก เช่น ข้อมูล tile rendering เฟรมบัฟเฟอร์ และงานคอมพิวต์ ไว้ในพื้นที่ใกล้ตัว GPU แทนการเรียกใช้หน่วยความจำระบบซ้ำ ๆ 14

การลดการรับส่งข้อมูลไปยังหน่วยความจำหลักอาจช่วยลดความต้องการแบนด์วิดท์ ความหน่วง และการใช้พลังงาน โดยเฉพาะงานที่ต้องใช้ข้อมูลภาพระหว่างทางซ้ำหลายรอบ รายงานเกี่ยวกับการประกาศของ Qualcomm ระบุว่า GPU แบบ 3 slices นี้ทำความถี่สูงสุดที่ 1.45GHz เพิ่มจาก 1.2GHz ของดีไซน์ก่อนหน้า และมีการปรับปรุงประสิทธิภาพการใช้พลังงานราว 12% 25

ตัวเลขประหยัดพลังงาน 40% ต้องอ่านอย่างระวัง

Qualcomm ระบุว่าสามารถลดการใช้พลังงานของ GPU ได้สูงสุด 40% เมื่อเทียบกับโซลูชันก่อนหน้าในสถานการณ์เรนเดอร์ด้วย AI ที่เกี่ยวข้อง 13 แต่ตัวเลขนี้ไม่ควรถูกตีความว่าแบตเตอรี่จะอึดขึ้น 40% ในทุกเกม ทุกโทรศัพท์ หรือทุกการตั้งค่าภาพ

ผลลัพธ์จริงขึ้นอยู่กับการรองรับของเกม โมเดล AI ที่ใช้ รีเฟรชเรตหน้าจอ ระบบระบายความร้อนของเครื่อง รวมถึงข้อจำกัดหลักของเกมนั้นว่าอยู่ที่ GPU, CPU หรือหน่วยความจำ จนกว่าจะมีโทรศัพท์จริงและเกมที่รองรับออกมาให้ทดสอบโดยอิสระ ตัวเลขเหล่านี้จึงควรถูกมองเป็นเป้าหมายทางสถาปัตยกรรมและผลวัดของผู้ผลิต

รองรับ Unity และ Unreal Engine

Qualcomm ระบุว่า Adreno Neural Fusion รองรับทั้ง Unity และ Unreal Engine 14 การรองรับในระดับเอนจินอาจช่วยลดงานปรับแต่งกราฟิกเฉพาะทางที่สตูดิโอต้องทำเอง แต่ไม่ได้หมายความว่าทุกเกมจะเปิดใช้ความสามารถนี้ หรือจะได้ผลด้านภาพและประสิทธิภาพในระดับเดียวกัน

ภาพใหญ่ของ Snapdragon รุ่นถัดไป

การเปิดเผย GPU ครั้งนี้มาพร้อมกับตัวอย่างข้อมูลของ Oryon CPU รุ่นถัดไป ซึ่ง Qualcomm ระบุว่าจะทำความถี่ได้ถึง 5GHz รวมถึง FlexCache สถาปัตยกรรมแคชที่เปิดให้ CPU คนละประเภทเข้าถึงพูลแคชร่วมซึ่งจัดสรรแบบไดนามิก ช่วยให้งานขนาดใหญ่คงอยู่ในแคชได้มากขึ้น แทนที่จะต้องส่งออกไปยังหน่วยความจำ

เมื่อมองรวมกัน นี่คือแนวทางประมวลผลแบบหลายหน่วยของ Qualcomm: ใช้ GPU และ Matrix Cores กับ AI ที่อยู่ติดกับงานกราฟิก ขณะที่ CPU และระบบแคชช่วยดูแลงานตอบสนองทั่วไปและเวิร์กโหลดที่เปลี่ยนแปลงตลอดเวลา Qualcomm กำหนดจัดงาน Snapdragon Summit ระหว่างวันที่ 22–24 กันยายน ที่เมาอี โดยคาดว่าจะเผยรายละเอียดแพลตฟอร์มเพิ่มเติม รวมถึงข้อมูล Hexagon NPU 11

สิ่งที่ยังต้องรอคำตอบ

การประกาศครั้งนี้ทำให้เห็นทิศทางของสถาปัตยกรรมแล้ว แต่ยังมีรายละเอียดสำคัญที่ไม่เปิดเผย ได้แก่

• Snapdragon รุ่นใดจะได้ใช้ Adreno ดีไซน์นี้
• เกมใดจะเปิดใช้ Neural Fusion ตั้งแต่วันวางจำหน่าย
• คุณภาพและประสิทธิภาพของการอัปสเกลภาพกับการสร้างเฟรมในเกมต่าง ๆ
• การประหยัดพลังงานที่กล่าวอ้างจะคงอยู่ได้มากเพียงใดภายใต้ข้อจำกัดความร้อนของสมาร์ตโฟน
• การแบ่งงานระหว่าง Matrix Cores ที่อยู่ใน GPU กับงาน AI บนอุปกรณ์ส่วนอื่นของ SoC

ใจความสำคัญคือ Qualcomm กำลังทำให้ AI rendering เป็นความสามารถพื้นฐานของ GPU แทนส่วนเสริมภายนอก บทพิสูจน์ที่สำคัญต่อจากนี้คือ เกมที่วางขายจริงจะเปลี่ยนสถาปัตยกรรมนี้ให้เป็นภาพที่ดีขึ้น เล่นลื่นขึ้น และประหยัดแบตเตอรี่ได้อย่างวัดผลได้หรือไม่