Startup Paris Kog đạt 3.000 token/giây trên GPU tiêu chuẩn, thách thức chiến lược chip chuyên dụng

Ngành AI đã chi hàng tỷ đô la để chạy đua tạo ra những con chip nhanh hơn. Startup Kog AI có trụ sở tại Paris lại đặt cược rằng họ đang giải quyết sai vấn đề — và bản xem trước công nghệ vào tháng 5/2026 cho thấy canh bạc này có thể đúng.

Kog (Kog AI) là một startup cơ sở hạ tầng AI của Pháp, được thành lập vào năm 2023 bởi Gaël Delalleau. Sản phẩm cốt lõi của họ là Kog Inference Engine (KIE), một engine suy luận chạy hoàn toàn bằng phần mềm, giúp tăng tốc đáng kể quá trình suy luận LLM trên GPU trung tâm dữ liệu tiêu chuẩn — mà không cần đến chip chuyên dụng tùy chỉnh . Công ty chính thức ra mắt vào tháng 5/2025 và công bố bản xem trước công khai vào ngày 28 tháng 5 năm 2026 .

Phần mềm so với Silicon: Canh bạc của Kog chống lại phần cứng chuyên dụng

Cerebras chế tạo những con chip wafer-scale (kích thước tấm bán dẫn) chuyên dụng. Groq và SambaNova cũng đi theo con đường ưu tiên phần cứng tương tự. Kog lại đặt cược ngược lại: họ cho rằng các GPU hiện tại có một khoảng trống hiệu năng khổng lồ bị bỏ qua do các lớp phần mềm kém hiệu quả, và việc tối ưu hóa phần mềm ở mức độ sâu có thể đạt hoặc vượt tốc độ của phần cứng chuyên dụng mà không cần chip mới .

Cải tiến cốt lõi là một monokernel — một chương trình GPU duy nhất, thường trực, chạy toàn bộ quá trình giải mã LLM (prefill, decode, lấy mẫu LM-head) trong một lần, loại bỏ chi phí khởi động kernel cho mỗi token vốn là gánh nặng của các stack tiêu chuẩn . Các framework suy luận tiêu chuẩn như vLLM, SGLang và TensorRT-LLM khởi chạy một GPU kernel cho mỗi token, mỗi lần chịu chi phí khởi động khoảng 4,5 μs cộng thêm độ trễ khởi động lại HBM . Engine của Kog bỏ qua các thư viện giao tiếp tiêu chuẩn và loại bỏ các thao tác đồng bộ hóa lưới (grid synchronizations) mà họ đo được chiếm tới 35% thời gian tạo mỗi token .

Tuyên bố "nhanh hơn 30 lần" được đưa ra khi so sánh với tốc độ giải mã thông thường từ 100–300 token/giây cho các mô hình 2B–8B trên GPU cao cấp, trong khi Kog đạt 3.000 token/giây .

Kết quả bản xem trước và những hạn chế rõ ràng

Kết quả:

• Hơn 3.000 token đầu ra mỗi giây cho mỗi yêu cầu trên một cụm 8× AMD MI300X với mô hình Laneformer 2B (FP16, batch size 1, không dùng giải mã suy đoán)
• 2.100 token đầu ra/giây cho mỗi yêu cầu trên 8× NVIDIA H200 trong cùng điều kiện
• Độ trễ cho một người dùng đủ thấp để sử dụng tương tác thời gian thực — bản demo trực tuyến tại playground.kog.ai
• Mô hình Laneformer 2B đạt 45,1% HumanEval+ và 51,6% MBPP+ trong giải mã tham lam

Hạn chế:

• Bản xem trước chỉ chạy trên mô hình 2,3 tỷ tham số (Laneformer 2B). Các mô hình lớn hơn chưa được trình diễn
• Đây là thiết lập một yêu cầu, một người dùng — không phải dạng phục vụ production đa người dùng theo batch, và chưa cho thấy thông lượng dưới tải đồng thời
• Chỉ hỗ trợ hai loại GPU: AMD MI300X và NVIDIA H200
• Với chỉ 11 nhân viên, công ty còn rất nhỏ so với quy mô tham vọng

Trường hợp sử dụng mục tiêu và bước đầu tiếp cận kinh doanh

Kog nhắm đến ba kịch bản chính:

• Luồng công việc AI tác nhân (Agentic AI) — công ty cho rằng GPU không phù hợp với nhu cầu lặp lại, độ trễ thấp của các tác nhân AI, và engine của họ khắc phục điều này
• Suy luận LLM thời gian thực — copilot lập trình, chatbot và các ứng dụng nơi độ trệ dưới 100ms mỗi token là quan trọng
• Suy luận doanh nghiệp tự tổ chức — các công ty đã sở hữu GPU trung tâm dữ liệu và muốn tránh mua thêm phần cứng suy luận chuyên dụng

Về mặt kinh doanh, theo CEO Delalleau, Kog đã có hơn 200 khách hàng tiềm năng thực tế tính đến tháng 8/2026 . Bản xem trước công nghệ đã lên trang nhất của Hacker News vào tháng 5/2026 . Công ty đã huy động được vòng hạt giống do Varsity VC đồng dẫn đầu, với partner Kamel Zeroual từng là đồng sáng lập của Delalleau tại startup đầu tiên của anh, Stribe .

Tại sao một nhà vật lý chất rắn kiêm hacker bảo mật lại điều hành công ty này

CEO Gaël Delalleau mang đến một nền tảng khác thường cho cơ sở hạ tầng AI: vật lý chất rắn và an ninh mạng tấn công .

• Vật lý chất rắn đã rèn luyện anh cách suy luận từ các nguyên lý đầu tiên về cách phần cứng vật lý hoạt động ở cấp độ thấp — electron, băng thông bộ nhớ, các ràng buộc ở mức bóng bán dẫn. Nhóm của anh coi việc tối ưu hóa GPU là một bài toán vật lý hơn là một bài toán kỹ thuật phần mềm
• An ninh mạng tấn công đã cho anh tư duy của một kẻ tấn công thực hiện kỹ thuật đảo ngược. Engine của Kog kiểm tra GPU ở cấp độ hợp ngữ và nhị phân, tìm ra những khoảng trống tiềm ẩn mà các driver và thư viện tiêu chuẩn không tiết lộ — một "tư duy tấn công" kinh điển được áp dụng cho hiệu suất phần cứng
• Delalleau không phải là một nhà nghiên cứu ML truyền thống; startup đầu tiên của anh (Stribe, một cựu sinh viên của TechCrunch50 2009) không liên quan đến AI. Anh mô tả mình là một nhà tư duy nguyên lý đầu tiên, thiết kế các thuật toán từ phần cứng trở lên

Thách thức mở rộng quy mô: Quy mô đội ngũ, hỗ trợ chip và quy mô mô hình

Kog phải đối mặt với ba rào cản mở rộng quy mô đáng kể:

• Quy mô đội ngũ: Với chỉ 11 nhân viên, việc chuyển monokernel được tối ưu hóa thủ công sang các kiến trúc GPU mới là một công việc tốn nhiều công sức
• Hỗ trợ chip mới: Engine hiện chỉ hỗ trợ AMD MI300X và NVIDIA H200. Mỗi GPU mới yêu cầu kỹ thuật đảo ngược thủ công ở cấp độ hợp ngữ. CEO Delalleau thừa nhận đây là một nút thắt, mặc dù ông kỳ vọng các kiến trúc GPU mới hơn với băng thông bộ nhớ cao hơn sẽ dễ dàng hơn
• Quy mô mô hình: Mở rộng từ mô hình 2B lên LLM quy mô đầy đủ (70B+) là điều mà Delalleau gọi là "một bước nhảy vọt khổng lồ." Các kỹ thuật hiệu quả cho mô hình nhỏ có thể không mở rộng một cách đơn giản cho các không gian bộ nhớ và tính toán lớn hơn nhiều

Cột mốc sống còn: Mô hình ngôn ngữ lớn

Cột mốc quan trọng tiếp theo của Kog là chứng minh cách tiếp cận của họ hoạt động trên các mô hình ngôn ngữ lớn (70B+ tham số). CEO Delalleau đã tuyên bố công ty hiện đang tập trung vào việc mở rộng quy mô các kỹ thuật của mình lên các LLM quy mô đầy đủ. Sự tự tin đến từ các kiến trúc GPU mới hơn với băng thông bộ nhớ cao hơn đáng kể — một nguồn tài nguyên mà Kog tin rằng vẫn chưa được khai thác triệt để bởi các stack phần mềm tiêu chuẩn . Công ty chưa công bố ngày cụ thể, nhưng màn trình diễn này được nhiều người coi là minh chứng sống còn cho toàn bộ luận điểm.