Kog: 'Phần mềm hóa rồng' - Tăng tốc suy luận AI gấp 30 lần mà không cần phần cứng mới

Kog, một startup công nghệ Pháp, tuyên bố có thể tăng tốc suy luận mô hình ngôn ngữ lớn (LLM) lên tới 30 lần trên các GPU trung tâm dữ liệu hiện có thông qua một ngăn xếp tối ưu hóa phần mềm chuyên sâu. Trọng tâm là đồng thiết kế kiến trúc mô hình tùy chỉnh (Laneformer), một engine suy luận đơn nhân (KIE) và một lớp giao tiếp tùy chỉnh (KCCL) để loại bỏ mọi điểm nghẽn trong vòng lặp giải mã.

Thay vì xây dựng chip ASIC tùy chỉnh hay mua sắm phần cứng đắt đỏ, Kog xử lý ba lớp như một hệ thống được đồng thiết kế thống nhất:

• Monokernel (nhân GPU đơn nhất): Toàn bộ quá trình giải mã LLM chạy như một kernel liên tục duy nhất, không có các lần khởi động kernel riêng lẻ giữa các lớp, nhờ đó loại bỏ hoàn toàn chi phí khởi tạo kernel.
• Delayed Tensor Parallelism (DTP - Song song hóa tensor trễ): Song song hóa tensor tiêu chuẩn bị chặn bởi lệnh all-reduce ở mọi lớp. Kog trì hoãn mỗi lệnh all-reduce đi 2 lớp (δ=2), chồng chéo giao tiếp với tính toán và truyền tải trọng số, giúp GPU không bao giờ phải chờ dữ liệu.
• Kiến trúc Transformer dạng làn (Laneformer): Mô hình chia thành 8 "làn" song song căn chỉnh với lịch trình giao tiếp của DTP, cho phép engine ẩn hoàn toàn chi phí song song hóa tensor.
• Lớp giao tiếp tùy chỉnh (KCCL): Thay thế NCCL/RCCL tiêu chuẩn bằng một thư viện riêng, đạt độ trễ giao tiếp thấp hơn và khả năng mở rộng tuyến tính cho song song hóa tensor.
• Tối ưu hóa cấp độ assembly: Kog hoạt động ở cấp độ C++/assembly thay vì xếp chồng các tinh chỉnh lên CUDA hay ROCm, nhằm tận dụng từng chu kỳ băng thông nhớ và tính toán của GPU.

Laneformer 2B: Kết quả đã chứng minh

Kog đã mã nguồn mở hóa Laneformer 2B (2,3 tỷ tham số), một mô hình mã hóa được tinh chỉnh theo hướng dẫn, được thiết kế cho tốc độ giải mã hơn là điểm benchmark thô. Tốc độ này nhanh gấp khoảng 10 lần so với thông lượng vLLM điển hình cho một mô hình cùng kích cỡ.

Chỉ số	Kết quả
Tốc độ giải mã trên 8× AMD MI300X	3.000 token đầu ra/giây mỗi yêu cầu (FP16, batch size 1)
Tốc độ giải mã trên 8× NVIDIA H200	2.100 token đầu ra/giây mỗi yêu cầu (FP16, batch size 1)
HumanEval+ (greedy)	45,1%
MBPP+ (greedy)	51,6%
Phương pháp	Không lượng tử hóa, không giải mã suy diễn, không cắt tỉa

Các mốc tiếp theo để mở rộng quy mô

Bản xem trước công nghệ của Kog hiện chỉ chạy trên mô hình 2B. Công ty đang chạy đua để nhân rộng các kỹ thuật của mình:

• Mục tiêu ngắn hạn: Chứng minh khả năng tăng tốc 10 lần trên một mô hình quy mô công nghiệp lớn (ví dụ: 70B+ dạng dense hoặc MoE). Công ty hy vọng đạt được điều này trong vài tháng tới.
• Tham vọng dài hạn: Cho thấy cách tiếp cận của mình có thể mang lại tốc độ suy luận nhanh hơn 30 lần trên các mô hình MoE tiên tiến lớn với tốc độ tương tự như đã đạt được trên Laneformer 2B. Kog đã công khai lập luận rằng các kỹ thuật DTP và monokernel của họ có thể mở rộng hiệu quả cho kiến trúc MoE.
• Kể từ khi ra mắt vào tháng 5 năm 2026, Kog cho biết đã tạo ra hơn 200 khách hàng tiềm năng rõ ràng và đang tập trung hoàn toàn vào việc hỗ trợ các mô hình lớn hơn để đáp ứng nhu cầu doanh nghiệp.

So sánh với các đối thủ cạnh tranh

ZML — Cũng là một startup AI của Pháp, ZML có cách tiếp cận khác: họ phát hành LLMD, một engine suy luận miễn phí cho phép nhiều mô hình mã nguồn mở chạy trên nhiều loại chip khác nhau (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) bằng cách tiếp cận dựa trên trình biên dịch hợp nhất. ZML ưu tiên tính khả chuyển của phần cứng và hỗ trợ đa chip hơn là độ trễ yêu cầu đơn cực thấp. Ngược lại, Kog được chế tạo có mục đích để giảm độ trễ tối đa trên các GPU trung tâm dữ liệu cao cấp cụ thể (MI300X, H200) thông qua tối ưu hóa chuyên sâu dành riêng cho phần cứng.

Cerebras — Sử dụng chiến lược ưu tiên phần cứng triệt để: Wafer-Scale Engine (WSE-3), một chip đơn khổng lồ loại bỏ nhu cầu giao tiếp đa GPU. Cerebras đạt ~2.100 token/giây trên Llama 3.1 70B (batch 1) trên chip WSE-3 của họ — đáng chú ý là tốc độ đó dành cho mô hình 70B, không phải mô hình 2B.

Khía cạnh	Kog	Cerebras
Cách tiếp cận	Chỉ dùng phần mềm trên GPU tiêu chuẩn	Phần cứng wafer-scale tùy chỉnh
Demo tốt nhất	3.000 tok/s trên mô hình 2B	~2.100 tok/s trên mô hình 70B
Tuyên bố độ trễ	Nhắm mục tiêu tăng gấp 30 lần trên các mô hình tiên tiến	~4 lần so với H100 trên mô hình 70B
Chi phí phần cứng	Sử dụng hạ tầng GPU hiện có	Yêu cầu hệ thống CS-3 độc quyền
Mức độ trưởng thành	Giai đoạn đầu (bản xem trước, chỉ hỗ trợ 2B)	Sẵn sàng sản xuất cho nhiều mô hình mở

Lưu ý quan trọng: Kết quả 3.000 tok/s của Kog là trên mô hình 2,3B tham số — nhỏ hơn một bậc so với các mô hình 70B mà Cerebras phục vụ ở tốc độ tương đương. Kog vẫn chưa chứng minh được tuyên bố 30 lần của mình trên quy mô lớn. Cột mốc tiếp theo của công ty (tăng 10 lần trên một mô hình công nghiệp lớn) sẽ là điểm kiểm chứng quan trọng.