Jingang GC3 muốn giảm chi phí video AI bằng cách hạn chế việc di chuyển dữ liệu

Jingang GC3, hay King Kong GC3, được báo cáo là bộ xử lý chuyên dụng cho video AI và AI tạo sinh (AIGC) của SmarCo HT Tech. Thay vì tách riêng giải mã video, suy luận AI và tạo video cho nhiều thiết bị xử lý khác nhau, chip được thiết kế để gom các luồng công việc này vào một kiến trúc thiên về dataflow — nơi phép tính có thể tiếp tục khi dữ liệu cần thiết đã sẵn sàng.

Các thông số được công bố gồm 12 lõi RISC-V, năng lực tính toán INT8 đạt 200 TOPS và 128 GB bộ nhớ LPDDR5 ECC hợp nhất. 35

Điểm đáng chú ý không chỉ nằm ở con số 200 TOPS. Luận điểm của GC3 là các tác vụ video thường tiêu tốn đáng kể thời gian và năng lượng cho việc di chuyển khung hình, dữ liệu mô hình và kết quả trung gian giữa bộ xử lý với bộ nhớ. Bộ máy dataflow, bộ nhớ dùng chung và các đường xử lý video-AI tích hợp được kỳ vọng sẽ giảm phần “vận chuyển” này.

Vì sao video AI gặp vấn đề về di chuyển dữ liệu?

Trong một quy trình phân tích video thông thường, hệ thống trước hết giải mã luồng hình ảnh thành các khung hình, chuyển chúng tới GPU để chạy mô hình thị giác máy tính, rồi tiếp tục đưa kết quả qua các giai đoạn xử lý khác. Khi số lượng luồng đồng thời tăng lên, truyền dữ liệu và đồng bộ hóa có thể trở thành nút thắt không kém năng lực tính toán thực tế. 3

Tạo video đặt ra một thách thức tương tự. Các hệ thống dựa trên diffusion và Transformer phải xử lý lượng lớn tham số mô hình cùng các kết quả trung gian. Theo những thông tin được dùng để mô tả GC3, các tập dữ liệu trung gian này có thể lên tới hàng trăm gigabyte, khiến việc đọc, ghi và truyền lặp lại trở nên tốn băng thông, điện năng và thời gian. 3

Đây là bài toán mà GC3 nhắm tới: không chỉ bổ sung thêm đơn vị tính toán, mà còn giảm chi phí điều phối nhiều giai đoạn trong một khối lượng công việc lớn và có mức độ song song cao.

GC3 kết hợp những thành phần nào?

Kiến trúc dataflow

Trong thiết kế điều khiển luồng truyền thống, một bộ xử lý hoặc bộ lập lịch trung tâm chịu trách nhiệm lấy và phát lệnh, còn dữ liệu di chuyển qua nhiều tầng của hệ thống bộ nhớ. Cách tiếp cận này linh hoạt, nhưng các mô tả về GC3 cho rằng nó không phải lựa chọn tối ưu cho một số tác vụ video đều đặn và có tính song song rất cao. 3

Với dataflow, một phép tính có thể được kích hoạt khi dữ liệu đầu vào cần thiết xuất hiện, thay vì luôn phải chờ bộ điều khiển trung tâm phát lệnh theo trình tự. Về nguyên tắc, cách làm này có thể khai thác nhiều mức độ song song hơn, đồng thời giảm thời gian chờ do lập lịch tập trung và đồng bộ toàn cục. Đối với video, mục tiêu là giữ nhiều giai đoạn xử lý hoạt động liên tục mà không phải thường xuyên dồn công việc qua một đường điều khiển duy nhất. 3

Tuy nhiên, đây mới là mục tiêu kiến trúc, không phải bằng chứng về một mức tăng tốc cụ thể. Các nguồn hiện có không đưa ra so sánh độc lập giữa GC3 với những CPU, GPU hoặc nền tảng video AI cụ thể.

Các lõi RISC-V làm lớp điều khiển

12 lõi RISC-V được mô tả như lớp điều khiển có thể lập trình trong thiết kế của GC3. Các khối chuyên dụng đảm nhiệm xử lý video và AI, còn lõi RISC-V phụ trách điều khiển, lập lịch và những tác vụ đa dụng, thay vì để một CPU truyền thống xử lý mọi công đoạn. 35

Nói cách khác, RISC-V không được trình bày như toàn bộ “động cơ” tính toán của chip. Nó phối hợp với bộ máy dataflow và các chức năng video, AI chuyên biệt: cung cấp khả năng điều khiển linh hoạt, trong khi các phép tính thông lượng cao được giao cho phần cứng chuyên dụng.

128 GB bộ nhớ hợp nhất

GC3 được báo cáo sử dụng 128 GB bộ nhớ LPDDR5 ECC hợp nhất, dùng chung cho các đường xử lý CPU, VPU, GPU và NPU. 35 Lợi ích dự kiến là giảm nhu cầu sao chép dữ liệu giữa các vùng bộ nhớ riêng biệt của CPU và GPU.

Một vùng bộ nhớ chung có thể giúp khung hình đã giải mã, trọng số mô hình và tensor trung gian được nhiều khối xử lý truy cập mà không phải liên tục chuyển qua lại giữa các thiết bị. ECC bổ sung khả năng phát hiện và bảo vệ lỗi cho hệ thống bộ nhớ; các nghiên cứu về bộ xử lý RISC-V cũng đã xem xét bộ nhớ có bảo vệ ECC nhằm tăng khả năng chịu lỗi. 1

Dù vậy, bộ nhớ hợp nhất không xóa bỏ mọi giới hạn về băng thông. Nó thay đổi cách các khối tính toán truy cập dữ liệu, còn hiệu quả thực tế vẫn phụ thuộc vào băng thông bộ nhớ, phần mềm, cơ chế lập lịch và đặc điểm của từng workload.

Tích hợp đường xử lý video và AI

Thiết kế được mô tả là kết hợp mã hóa, giải mã video với năng lực tính toán AI trên cùng một nền tảng. Điều này tạo ra đường đi trực tiếp hơn từ khâu tiếp nhận video tới phân tích, cũng như từ nội dung được tạo ra tới bước mã hóa đầu ra. 35

Quy trình dự kiến có thể được hình dung như sau:

• giải mã video ngay trên nền tảng;
• giữ khung hình sẵn sàng cho các khối AI liên quan;
• chạy tác vụ phân tích hoặc tạo sinh mà không phải liên tục vượt qua ranh giới giữa nhiều thiết bị; và
• mã hóa kết quả trên cùng hệ thống tích hợp.

Điều đó không có nghĩa mọi thao tác diễn ra trong một bước duy nhất. Mục tiêu là giảm những lần bàn giao không cần thiết giữa các bộ xử lý và hệ thống bộ nhớ vốn thường bị tách rời.

GC3 muốn giảm chi phí, điện năng và độ trễ ra sao?

Tác động kinh tế mà chip hướng tới xuất phát trực tiếp từ kiến trúc trên. Nếu workload cần ít thao tác sao chép, ít vòng đọc-ghi bộ nhớ và ít đồng bộ liên thiết bị hơn, hệ thống có thể dành nhiều thời gian và năng lượng hơn cho tính toán thay vì di chuyển dữ liệu. Điều này có thể hữu ích trong phân tích video nhiều luồng, xử lý video tại chỗ và tạo video với lượng tensor trung gian lớn. 3

Các lợi ích tiềm năng gồm:

• Độ trễ: ít lần truyền giữa các giai đoạn giải mã, AI và mã hóa hơn có thể rút ngắn thời gian từ khung hình đầu vào tới kết quả.
• Điện năng: giảm truy cập bộ nhớ và lưu lượng qua liên kết giữa các thiết bị có thể làm giảm năng lượng dành cho việc di chuyển dữ liệu.
• Chi phí: một nền tảng tích hợp có thể giảm phần hạ tầng và chi phí vận hành cần thiết để phối hợp nhiều thiết bị chuyên dụng.

Đây là các mục tiêu kiến trúc và định vị do những nguồn hiện có mô tả, chưa phải kết quả được kiểm chứng độc lập. Các nguồn cung cấp thông số chính cùng lý do thiết kế, nhưng chưa chứng minh mức giảm cụ thể về chi phí cho mỗi video, điện năng trên mỗi luồng hay độ trễ đầu-cuối.

Những gì thông số của GC3 cho thấy — và chưa cho thấy

Con số 200 TOPS mô tả năng lực tính toán AI INT8, không phải hiệu năng ứng dụng được bảo đảm. Thông lượng video AI thực tế còn phụ thuộc vào khả năng tương thích của mô hình, độ chính xác tính toán, băng thông bộ nhớ, trình biên dịch, runtime, định dạng video, kích thước batch, số luồng và hiệu quả của bộ lập lịch dataflow.

Tương tự, 128 GB bộ nhớ hợp nhất có thể giúp chứa các mô hình lớn và dữ liệu trung gian, nhưng riêng dung lượng không chứng minh một mô hình tạo video cụ thể sẽ chạy hiệu quả. Hỗ trợ phần mềm và lưu lượng bộ nhớ thực tế vẫn là những yếu tố then chốt.

Kết luận

Jingang GC3 nên được nhìn nhận như một nỗ lực chuyên biệt nhằm thiết kế lại quy trình xử lý video AI xoay quanh tính cục bộ của dữ liệu. Tổ hợp gồm thực thi dataflow, các lõi điều khiển RISC-V, những đường CPU/VPU/GPU/NPU tích hợp và 128 GB bộ nhớ hợp nhất được hướng tới việc xử lý các rào cản do truyền dữ liệu và đồng bộ hóa gây ra trong pipeline CPU-GPU truyền thống. 35

Nếu phần cứng và phần mềm phối hợp đúng như mục tiêu, kiến trúc này có thể giúp phân tích video nhiều luồng và tạo video hiệu quả hơn. Nhưng ở thời điểm hiện tại, kết luận thận trọng nhất là GC3 đưa ra một hướng tiếp cận kiến trúc đáng chú ý cùng các thông số do nhà phát triển công bố — chưa phải bằng chứng độc lập cho thấy chip chắc chắn có chi phí thấp hơn, tiêu thụ ít điện hơn hoặc đạt độ trễ thấp hơn.