Bagaimana Jingang GC3 Menggunakan RISC-V dan Pengkomputeran Dataflow untuk AI Video

Jingang GC3, atau King Kong GC3, dilaporkan sebagai pemproses khusus AI video dan AI generatif daripada SmarCo HT Tech. Berbanding memisahkan penyahkodan video, inferens AI dan penjanaan video kepada beberapa peranti, cip ini direka untuk menggabungkan laluan tersebut dalam satu seni bina berorientasikan dataflow. Spesifikasi yang dilaporkan termasuk 12 teras RISC-V, kuasa pengiraan INT8 sebanyak 200 TOPS dan memori LPDDR5 ECC bersepadu 128GB. 35

Namun, perkara penting bukan sekadar angka TOPS. Tarikan utama GC3 ialah dakwaan bahawa tugasan video lazimnya menggunakan banyak masa dan tenaga untuk memindahkan bingkai, data model serta hasil perantaraan antara pemproses dan memori. Enjin dataflow, memori kongsi serta laluan video dan AI bersepadu cip ini bertujuan mengurangkan pemindahan tersebut.

Mengapa AI video berdepan masalah pemindahan data

Dalam saluran kerja pemahaman video konvensional, aliran video biasanya dinyahkod menjadi bingkai, dipindahkan ke GPU untuk inferens penglihatan komputer, kemudian melalui beberapa peringkat pemprosesan lain. Apabila jumlah strim serentak meningkat, pemindahan dan penyelarasan data boleh menjadi kesesakan sama besar dengan pengiraan itu sendiri. 3

Penjanaan video menghadapi cabaran yang hampir sama. Sistem berasaskan diffusion dan Transformer menggunakan parameter model serta data perantaraan yang besar. Laporan berkaitan GC3 menyatakan bahawa set data perantaraan ini boleh mencecah ratusan gigabait, menjadikan proses membaca, menulis dan memindahkan data berulang kali mahal dari segi lebar jalur, penggunaan kuasa dan masa. 3

Jadi, masalah yang cuba disasarkan GC3 bukan sekadar kekurangan unit pengiraan. Ia juga melibatkan kos menyelaraskan banyak peringkat kerja yang besar dan berjalan secara selari.

Gabungan utama dalam seni bina GC3

Pengkomputeran dataflow

Dalam reka bentuk kawalan aliran yang konvensional, pemproses atau penjadual pusat mengambil dan mengeluarkan arahan, manakala data bergerak melalui hierarki memori. Pendekatan ini fleksibel, tetapi laporan mengenai GC3 menggambarkannya sebagai kurang sesuai untuk sesetengah operasi video yang teratur dan sangat selari. 3

Dalam reka bentuk dataflow pula, pengiraan boleh diteruskan apabila data yang diperlukan oleh sesuatu operasi sudah tersedia. Secara prinsipnya, pendekatan ini membuka lebih banyak ruang untuk pemprosesan selari dan mengurangkan masa menunggu akibat penjadualan berpusat serta penyelarasan global. Untuk tugasan video, matlamatnya adalah memastikan lebih banyak peringkat pemprosesan terus aktif tanpa perlu menyalurkan semua kerja melalui satu laluan kawalan. 3

Bagaimanapun, ini ialah matlamat seni bina, bukan bukti bahawa cip tersebut pasti mencapai peningkatan kelajuan tertentu. Sumber yang tersedia tidak menyediakan perbandingan bebas dari hujung ke hujung dengan CPU, GPU atau platform AI video tertentu.

Teras kawalan RISC-V

Dalam reka bentuk yang dilaporkan, 12 teras RISC-V berfungsi sebagai lapisan kawalan boleh atur cara. Laluan pemprosesan khusus mengendalikan operasi video dan AI, manakala teras RISC-V menyediakan kawalan umum serta penjadualan, tanpa memaksa CPU konvensional mengurus setiap peringkat kerja. 35

Ini bermakna RISC-V bukan keseluruhan enjin pengiraan GC3. Ia bekerja bersama enjin dataflow dan fungsi video serta AI khusus. Hasilnya, platform masih mempunyai kawalan boleh atur cara, sementara operasi berthroughput tinggi diserahkan kepada perkakasan khusus.

Memori bersepadu 128GB

GC3 dilaporkan menggunakan memori LPDDR5 ECC bersepadu 128GB yang dikongsi oleh laluan CPU, VPU, GPU dan NPU. 35 Kelebihan yang disasarkan ialah mengurangkan keperluan menyalin data antara ruang memori CPU dan GPU yang berasingan.

Dengan kumpulan memori yang dikongsi, bingkai yang telah dinyahkod, pemberat model dan tensor perantaraan berpotensi kekal tersedia kepada beberapa blok pemprosesan tanpa tahap pemindahan antara peranti yang sama. ECC pula menambah keupayaan perlindungan ralat pada subsistem memori; penyelidikan berkaitan pemproses RISC-V turut mengkaji memori yang dilindungi ECC bagi meningkatkan toleransi terhadap kerosakan. 1

Namun, memori bersepadu tidak menghapuskan semua had lebar jalur. Ia mengubah cara blok pengiraan yang berbeza mengakses data, manakala manfaat sebenar bergantung pada lebar jalur memori, susunan perisian, penjadualan dan jenis beban kerja.

Laluan video dan AI bersepadu

Reka bentuk yang dilaporkan menggabungkan pengekodan serta penyahkodan video dengan pengiraan AI dalam platform yang sama. Ini mewujudkan laluan lebih terus daripada input video kepada pemahaman, dan daripada kandungan yang dijana kepada proses pengekodan. 35

Secara ringkas, aliran kerja yang disasarkan ialah:

• menyahkod video pada platform yang sama;
• mengekalkan bingkai supaya boleh dicapai oleh laluan AI yang berkaitan;
• menjalankan pemahaman atau penjanaan tanpa berulang kali merentasi sempadan peranti; dan
• mengekod output dalam sistem bersepadu yang sama.

Ini tidak bermakna semua operasi berlaku dalam satu langkah yang tidak boleh dipisahkan. Maksudnya, seni bina tersebut cuba mengurangkan serahan kerja yang tidak perlu antara pemproses dan sistem memori yang berasingan.

Bagaimana GC3 cuba mengurangkan kos, kuasa dan kependaman

Kesan ekonomi yang disasarkan cip ini berpunca terus daripada seni binanya. Jika sesuatu beban kerja memerlukan kurang penyalinan, kurang perjalanan ulang-alik ke memori dan kurang penyelarasan antara peranti, lebih sedikit masa serta tenaga mungkin dibelanjakan untuk memindahkan data berbanding memprosesnya. Ini berpotensi berguna untuk pemahaman video berbilang strim, pemprosesan video setempat dan penjanaan video yang menghasilkan tensor perantaraan besar. 3

Potensi manfaatnya boleh dibahagikan kepada tiga aspek:

• Kependaman: kurang pemindahan antara peringkat penyahkodan, AI dan pengekodan boleh memendekkan laluan daripada bingkai input kepada hasil.
• Kuasa: pengurangan pergerakan data boleh mengurangkan tenaga yang digunakan untuk akses memori dan trafik antara sambungan.
• Kos: satu platform bersepadu berpotensi mengurangkan kos infrastruktur dan operasi untuk menyelaras beberapa peranti khusus.

Ini ialah matlamat seni bina dan kedudukan yang dilaporkan oleh sumber tersedia, bukannya keputusan yang telah disahkan secara bebas. Sumber tersebut memberikan spesifikasi utama serta rasional seni bina, tetapi tidak membuktikan pengurangan sebenar dalam kos setiap video, watt bagi setiap strim atau kependaman hujung ke hujung.

Apa yang ditunjukkan—dan tidak ditunjukkan—oleh spesifikasi

Angka 200 TOPS merujuk kepada kapasiti pengiraan AI INT8, bukannya jaminan prestasi aplikasi. Kelajuan sebenar AI video turut bergantung pada keserasian model, ketepatan pengiraan, lebar jalur memori, sokongan pengkompil dan runtime, format video, saiz kelompok serta jumlah strim. Keberkesanan penjadual dataflow juga penting.

Begitu juga, memori bersepadu 128GB mungkin membantu menampung model besar dan data perantaraan. Namun, kapasiti sahaja tidak membuktikan bahawa model penjanaan video tertentu akan berjalan dengan cekap. Sokongan perisian dan corak trafik memori sebenar masih menjadi faktor kritikal.

Kesimpulan

Jingang GC3 paling tepat difahami sebagai usaha khusus untuk mereka bentuk semula saluran pemprosesan AI video dengan memberi tumpuan kepada lokaliti data. Gabungan pelaksanaan dataflow, teras kawalan RISC-V, laluan CPU/VPU/GPU/NPU bersepadu dan memori bersepadu 128GB bertujuan menangani pemindahan serta halangan penyelarasan yang boleh mengehadkan saluran kerja CPU dan GPU konvensional. 35

Jika perkakasan dan perisiannya berfungsi seperti yang dirancang, seni bina ini berpotensi menjadikan pemahaman video berbilang strim dan penjanaan video lebih cekap. Buat masa ini, kesimpulan paling kukuh ialah GC3 menawarkan strategi seni bina yang munasabah bersama spesifikasi yang dilaporkan oleh pembuatnya—bukan bukti bebas bahawa ia sememangnya memberikan kos, penggunaan kuasa atau kependaman yang lebih rendah.