法國新創 Kog 的軟體優先策略：如何在標準 GPU 上實現 30 倍 LLM 推論加速

Laneformer 2B 的展示成果

Kog 已開源了 Laneformer 2B（23 億參數），這是一個專為解碼速度而非原始基準分數設計的指令微調程式碼模型。 以下速度約為同尺寸模型在典型 vLLM 框架下吞吐量的 10 倍。

擴展至大型模型的下一個里程碑

Kog 的公開技術預覽目前僅針對 20 億參數的模型。該公司正加緊腳步，將其技術擴展到更大的模型：

• 短期目標： 在一個主要的業界規模模型（例如 700 億參數以上的稠密或混合專家模型）上，展示 10 倍的速度提升。Kog 預計在未來幾個月內達成此目標。
• 長期願景： 證明其方法能在大型前沿混合專家（MoE）模型上，實現與 Laneformer 2B 類似的 30 倍速度提升。Kog 公開宣稱其 DTP 和 Monokernel 技術能良好地擴展至 MoE 架構。
• 自 2026 年 5 月推出後，Kog 表示已產生 超過 200 個實質的商業合作機會，並正全力專注於支援更大模型以滿足企業需求。

競爭對手比較

ZML —— 同樣是法國 AI 新創公司（獲 Yann LeCun 認可），ZML 採取不同路線：其推出的免費推論引擎 LLMD 能讓多種開源模型在廣泛的晶片上運行（NVIDIA、AMD、Google TPU、Apple Metal、Intel Arc）。 ZML 優先考慮 硬體可攜性與多晶片支援，而非極致的單一請求延遲。相比之下，Kog 則是為了在特定高階資料中心 GPU（MI300X、H200）上實現最大延遲降低而設計的深度硬體特定優化解決方案。

Cerebras —— 採取根本性的硬體優先策略：其晶圓級引擎 (WSE-3) 是一顆巨大的單一晶片，完全消除了多 GPU 之間的通訊需求。Cerebras 在其 WSE-3 硬體上，能以每秒約 2,100 個 token 的速度運行 Llama 3.1 70B 模型（批次大小 1） —— 值得注意的是，這個速度是針對 一個 700 億參數的模型，而非 20 億的模型。

關鍵注意事項： Kog 每秒 3,000 個 token 的成果是基於一個 23 億參數的模型——其規模比 Cerebras 以相近速度處理的 70B 模型小了一個數量級。Kog 尚未在大規模模型上證明其 30 倍的加速宣稱。該公司的下一個里程碑（在大型業界模型上達成 10 倍速度）將是關鍵的驗證點。