Laneformer 2B: Kết quả đã chứng minh

Kog đã mã nguồn mở hóa Laneformer 2B (2,3 tỷ tham số), một mô hình mã hóa được tinh chỉnh theo hướng dẫn, được thiết kế cho tốc độ giải mã hơn là điểm benchmark thô. Tốc độ này nhanh gấp khoảng 10 lần so với thông lượng vLLM điển hình cho một mô hình cùng kích cỡ.

Các mốc tiếp theo để mở rộng quy mô

Bản xem trước công nghệ của Kog hiện chỉ chạy trên mô hình 2B. Công ty đang chạy đua để nhân rộng các kỹ thuật của mình:

• Mục tiêu ngắn hạn: Chứng minh khả năng tăng tốc 10 lần trên một mô hình quy mô công nghiệp lớn (ví dụ: 70B+ dạng dense hoặc MoE). Công ty hy vọng đạt được điều này trong vài tháng tới.
• Tham vọng dài hạn: Cho thấy cách tiếp cận của mình có thể mang lại tốc độ suy luận nhanh hơn 30 lần trên các mô hình MoE tiên tiến lớn với tốc độ tương tự như đã đạt được trên Laneformer 2B. Kog đã công khai lập luận rằng các kỹ thuật DTP và monokernel của họ có thể mở rộng hiệu quả cho kiến trúc MoE.
• Kể từ khi ra mắt vào tháng 5 năm 2026, Kog cho biết đã tạo ra hơn 200 khách hàng tiềm năng rõ ràng và đang tập trung hoàn toàn vào việc hỗ trợ các mô hình lớn hơn để đáp ứng nhu cầu doanh nghiệp.

So sánh với các đối thủ cạnh tranh

ZML — Cũng là một startup AI của Pháp, ZML có cách tiếp cận khác: họ phát hành LLMD, một engine suy luận miễn phí cho phép nhiều mô hình mã nguồn mở chạy trên nhiều loại chip khác nhau (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) bằng cách tiếp cận dựa trên trình biên dịch hợp nhất. ZML ưu tiên tính khả chuyển của phần cứng và hỗ trợ đa chip hơn là độ trễ yêu cầu đơn cực thấp. Ngược lại, Kog được chế tạo có mục đích để giảm độ trễ tối đa trên các GPU trung tâm dữ liệu cao cấp cụ thể (MI300X, H200) thông qua tối ưu hóa chuyên sâu dành riêng cho phần cứng.

Cerebras — Sử dụng chiến lược ưu tiên phần cứng triệt để: Wafer-Scale Engine (WSE-3), một chip đơn khổng lồ loại bỏ nhu cầu giao tiếp đa GPU. Cerebras đạt ~2.100 token/giây trên Llama 3.1 70B (batch 1) trên chip WSE-3 của họ — đáng chú ý là tốc độ đó dành cho mô hình 70B, không phải mô hình 2B.

Lưu ý quan trọng: Kết quả 3.000 tok/s của Kog là trên mô hình 2,3B tham số — nhỏ hơn một bậc so với các mô hình 70B mà Cerebras phục vụ ở tốc độ tương đương. Kog vẫn chưa chứng minh được tuyên bố 30 lần của mình trên quy mô lớn. Cột mốc tiếp theo của công ty (tăng 10 lần trên một mô hình công nghiệp lớn) sẽ là điểm kiểm chứng quan trọng.

Laneformer 2B: Kết quả đã chứng minh

Kog đã mã nguồn mở hóa Laneformer 2B (2,3 tỷ tham số), một mô hình mã hóa được tinh chỉnh theo hướng dẫn, được thiết kế cho tốc độ giải mã hơn là điểm benchmark thô. Tốc độ này nhanh gấp khoảng 10 lần so với thông lượng vLLM điển hình cho một mô hình cùng kích cỡ.

Các mốc tiếp theo để mở rộng quy mô

Bản xem trước công nghệ của Kog hiện chỉ chạy trên mô hình 2B. Công ty đang chạy đua để nhân rộng các kỹ thuật của mình:

• Mục tiêu ngắn hạn: Chứng minh khả năng tăng tốc 10 lần trên một mô hình quy mô công nghiệp lớn (ví dụ: 70B+ dạng dense hoặc MoE). Công ty hy vọng đạt được điều này trong vài tháng tới.
• Tham vọng dài hạn: Cho thấy cách tiếp cận của mình có thể mang lại tốc độ suy luận nhanh hơn 30 lần trên các mô hình MoE tiên tiến lớn với tốc độ tương tự như đã đạt được trên Laneformer 2B. Kog đã công khai lập luận rằng các kỹ thuật DTP và monokernel của họ có thể mở rộng hiệu quả cho kiến trúc MoE.
• Kể từ khi ra mắt vào tháng 5 năm 2026, Kog cho biết đã tạo ra hơn 200 khách hàng tiềm năng rõ ràng và đang tập trung hoàn toàn vào việc hỗ trợ các mô hình lớn hơn để đáp ứng nhu cầu doanh nghiệp.

So sánh với các đối thủ cạnh tranh

ZML — Cũng là một startup AI của Pháp, ZML có cách tiếp cận khác: họ phát hành LLMD, một engine suy luận miễn phí cho phép nhiều mô hình mã nguồn mở chạy trên nhiều loại chip khác nhau (NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc) bằng cách tiếp cận dựa trên trình biên dịch hợp nhất. ZML ưu tiên tính khả chuyển của phần cứng và hỗ trợ đa chip hơn là độ trễ yêu cầu đơn cực thấp. Ngược lại, Kog được chế tạo có mục đích để giảm độ trễ tối đa trên các GPU trung tâm dữ liệu cao cấp cụ thể (MI300X, H200) thông qua tối ưu hóa chuyên sâu dành riêng cho phần cứng.

Cerebras — Sử dụng chiến lược ưu tiên phần cứng triệt để: Wafer-Scale Engine (WSE-3), một chip đơn khổng lồ loại bỏ nhu cầu giao tiếp đa GPU. Cerebras đạt ~2.100 token/giây trên Llama 3.1 70B (batch 1) trên chip WSE-3 của họ — đáng chú ý là tốc độ đó dành cho mô hình 70B, không phải mô hình 2B.

Lưu ý quan trọng: Kết quả 3.000 tok/s của Kog là trên mô hình 2,3B tham số — nhỏ hơn một bậc so với các mô hình 70B mà Cerebras phục vụ ở tốc độ tương đương. Kog vẫn chưa chứng minh được tuyên bố 30 lần của mình trên quy mô lớn. Cột mốc tiếp theo của công ty (tăng 10 lần trên một mô hình công nghiệp lớn) sẽ là điểm kiểm chứng quan trọng.