不用新芯片，只靠软件提速30倍：巴黎AI创企Kog让标准GPU跑出每秒3000 Token

AI行业已经砸了数十亿美元去造更快的芯片。但巴黎创企Kog AI认为，它们从一开始就找错了问题——而该公司2026年5月的技术预览，正在让这个判断变得越来越可信。

Kog AI是一家2023年成立于法国的AI基础设施公司，创始人为Gaël Delalleau。其核心产品是Kog推理引擎（KIE） ，一个纯软件推理引擎，无需定制芯片，仅靠软件优化就能在标准数据中心GPU上大幅加速LLM推理。公司于2025年5月结束隐身模式，并于2026年5月28日开放公开技术预览。

软件 vs. 芯片：Kog为何押注现有GPU

Cerebras自研晶圆级芯片，Groq和SambaNova也走硬件定制路线。Kog走了一条完全相反的路：它认为现有GPU中还存在大量因软件栈低效而被浪费的性能空间，深层的软件优化完全可以匹敌甚至超越专用硬件的速度，而无需任何新芯片。

其核心创新是一个单核（monokernel）程序——一个持久驻留于GPU中的程序，将LLM解码的整个环节（预填充、逐token生成、语言头采样）一次性完成，从而彻底消除标准方案中逐token启动GPU核的开销。常规推理框架（如vLLM、SGLang、TensorRT-LLM）每生成一个token就要启动一次GPU核，每次启动耗时约4.5微秒，再加上HBM重开延迟。Kog的引擎跳过了标准通信库，并消除了栅格同步——Kog团队测量发现，这种同步占用了每个token生成时间的35%。

所谓“30倍提速”，是将Kog每秒3000 token的速度，与高端GPU上2B-8B参数模型常见的每秒100-300 token解码速度进行比较得出的。

技术预览结果与明确局限

成果：

• 在单节点8× AMD MI300X上，搭载Laneformer 2B模型（FP16，batch size 1，无推测解码），每秒3000+输出token；
• 在8× NVIDIA H200相同条件下，每秒2100输出token；
• 单用户延迟低至实时交互级别——演示已在playground.kog.ai上线；
• Laneformer 2B模型在贪婪解码下HumanEval+达到45.1%，MBPP+达到51.6%。

局限：

• 预览仅在2.3B参数模型（Laneformer 2B）上运行，未展示更大模型；
• 仅支持单请求、单用户——未演示多用户批量生产环境下的吞吐性能；
• 仅支持两种GPU：AMD MI300X和NVIDIA H200；
• 公司仅有11名员工，规模与野心差距悬殊。

目标场景与早期商业进展

Kog瞄准三大场景：

• AI代理工作流——公司认为传统GPU软件栈难以应对AI代理的迭代式低延迟需求，而Kog引擎正是为此优化；
• 实时LLM推理——编程助手、聊天机器人等对逐token延迟敏感的应用；
• 自托管企业推理——已持有数据中心GPU的企业无需添置专用推理硬件即可提速。

商业方面，截至2026年8月，CEO Delalleau表示已获得200多条高质量商业线索。该技术预览于2026年5月登顶Hacker News首页。公司已完成种子轮融资，由Varsity VC联合领投，其合伙人Kamel Zeroual曾是Delalleau第一家公司Stribe的联合创始人。

为什么一个凝聚态物理出身的安全专家在掌舵

CEO Gaël Delalleau的背景在AI基础设施领域实属罕见：凝聚态物理学与攻击性网络安全。

• 凝聚态物理学训练他从第一性原理出发，理解硬件在电子、内存带宽、晶体管级约束下的行为。他带领团队将GPU优化视为物理学问题而非软件工程问题；
• 攻击性网络安全赋予了他对抗性逆向思维。Kog引擎在汇编和二进制级别检查GPU，发现标准驱动和库未暴露的隐藏性能空间——典型“攻击者思维”在硬件优化中的应用；
• Delalleau本人并非传统机器学习研究者；他的第一家创业公司Stribe（2009年TechCrunch50成员）与AI无关。他称自己为“从硬件向上设计算法的第一性原理思考者”。

规模化挑战：团队规模、芯片支持与模型规模

Kog面临三个明显的规模化难题：

• 团队规模：仅11人，将深度手工优化的单核移植到新GPU架构上需要大量人力；
• 新芯片支持：当前引擎仅支持AMD MI300X和NVIDIA H200。每支持一款新GPU都需要在汇编级进行手动逆向工程。CEO承认这是瓶颈，但也预期内存带宽更高的新一代GPU架构会降低移植难度；
• 模型规模：从2B参数模型扩展到70B+全尺寸LLM，Delalleau称之为**“巨大的飞跃”**。在小模型上有效的技术，未必能简单迁移到体量大得多的内存和算力空间。

成败关键：大型语言模型

Kog的下一个关键里程碑是证明其方法在70B+参数大型语言模型上有效。CEO表示公司当前正集中精力将技术扩展到全尺寸LLM。其信心来源于新一代GPU架构显著提升的内存带宽——Kog认为这部分资源仍被标准软件栈严重浪费。公司尚未公布具体时间表，但业界普遍认为，这将是验证Kog技术路线能否成真的决定性时刻。