法国创企Kog的软件优先策略：如何用标准GPU实现30倍LLM推理加速

法国AI基础设施公司Kog宣称，通过一套深度、软件优先的优化栈——协同设计自定义模型架构（Laneformer）、单内核推理引擎（KIE）和自定义通信层（KCCL）——可在现有数据中心GPU上实现最高30倍的LLM推理加速，目标是消除解码循环中的每一个停顿点。

Kog不制造定制ASIC或采购特殊硬件，而是将以下三层视为一个协同设计的系统：

• Monokernel（单持久CUDA内核）： 整个LLM解码过程作为一个持久内核运行，层之间没有内核启动或中断，彻底消除GPU启动开销。
• 延迟张量并行（DTP）： 标准张量并行在每一层都会阻塞于全规约。Kog将每个全规约延迟δ=2层，使通信与计算和权重流重叠，GPU永远不会因等待数据而空闲。
• 通道结构化Transformer架构： Laneformer将模型划分为8条并行"通道"，与DTP的通信调度对齐，使引擎能够完美隐藏张量并行开销。
• 自定义通信层（KCCL）： 替代标准的NCCL/RCCL，实现更低延迟、线性扩展的张量并行跨GPU通信。
• 汇编级优化： Kog在C++/汇编级别工作，而不是在CUDA或ROCm上堆叠调整，专注于GPU内存带宽和计算利用率的每一个周期。

Laneformer 2B：实际测试结果

Kog开源了Laneformer 2B（23亿参数），这是一个针对解码速度而非原始基准分数设计的指令微调代码模型。 这些速度大约是同尺寸模型在典型vLLM吞吐量下的10倍。

指标	结果
在8× AMD MI300X上的解码速度	每请求每秒3000个输出token（FP16，batch size 1）
在8× NVIDIA H200上的解码速度	每请求每秒2100个输出token（FP16，batch size 1）
HumanEval+（贪婪解码）	45.1%
MBPP+（贪婪解码）	51.6%
方法	无量化、无推测解码、无剪枝

下一阶段规模化里程碑

Kog的公开技术预览目前运行在一个2B模型上。该公司正争分夺秒地将其技术扩展到更大模型：

• 近期目标： 在主流工业级模型（如70B+密集模型或MoE模型）上展示10倍的速度提升。该公司预计在未来数月内实现这一目标。
• 长期目标： 证明其方法能够在大型前沿MoE模型上实现30倍推理加速，速度与Laneformer 2B上取得的成果相似。Kog公开表示，其DTP和Monokernel技术可良好地扩展到MoE架构。
• 自2026年5月发布以来，Kog表示已获得200多个切实的业务线索，并全力专注于支持更大模型以满足企业需求。

与竞争对手对比

ZML——同样是一家法国AI初创公司（由Yann LeCun背书），ZML采取了不同方法：它发布了LLMD，一个免费的推理引擎，允许许多开源模型在各种芯片（NVIDIA、AMD、Google TPU、Apple Metal、Intel Arc）上运行，采用统一的编译器方法。 ZML优先考虑硬件可移植性和多芯片支持，而非极端的单请求延迟。相比之下，Kog专注于在特定高端数据中心GPU（MI300X、H200）上通过深度、硬件特异性优化实现最大延迟降低。

Cerebras——采用根本性的硬件优先策略：晶圆级引擎（WSE-3），一个消除了多GPU通信需求的巨型单芯片。Cerebras在其WSE-3硬件上对Llama 3.1 70B（batch 1）实现了约每秒2100个token的速度——值得注意的是，该速度是针对70B模型，而非2B模型。

维度	Kog	Cerebras
方法	标准GPU上的纯软件方法	定制晶圆级硬件
最佳演示	2B模型上每秒3000个token	70B模型上约每秒2100个token
延迟声明	目标在前沿模型上实现30倍加速	相对于H100在70B模型上约4倍加速
硬件成本	使用现有GPU基础设施	需要专有CS-3系统
成熟度	早期阶段（技术预览，仅2B模型）	针对多个开源模型的生产就绪级

关键提示： Kog每秒3000个token的结果是在一个23亿参数的模型上实现的——比Cerebras以类似速度服务的70B模型小一个数量级。Kog尚未在规模化场景下验证其30倍加速声明。该公司的下一个里程碑（在大型工业模型上实现10倍加速）将是关键的验证点。