Kog 推理引擎：軟體堆疊最佳化如何在標準 GPU 上實現每秒 3,000 Tokens 的 AI 推理速度

AI 產業過去幾年投入數十億美元競逐更快的晶片。總部位於巴黎的新創公司 Kog AI 賭上了一個截然不同的方向：他們認為業界從一開始就解決錯了問題。而 2026 年 5 月推出的技術預覽，似乎為這個賭注提供了有力佐證。

Kog (Kog AI) 是一家成立於 2023 年的法國 AI 基礎設施新創公司，創辦人為 Gaël Delalleau。其核心產品是 Kog 推理引擎 (Kog Inference Engine, KIE)，這是一款純軟體的推理引擎，能在標準的資料中心 GPU 上大幅加速大型語言模型 (LLM) 的推理過程，完全不需要客製化晶片 。該公司於 2025 年 5 月首次公開亮相，並在 2026 年 5 月 28 日推出了公開技術預覽 。

軟體 vs. 矽晶片：Kog 對抗專用硬體的賭注

Cerebras 打造專用的晶圓級晶片，Groq 和 SambaNova 也遵循類似的硬體優先路徑。Kog 則採取完全相反的策略：現有 GPU 中存在大量未被充分利用的效能空間，原因是軟體堆疊效率不彰。透過深層的軟體最佳化，在不使用任何新晶片的情況下，就能達到甚至超越專用硬體的速度 。

其核心創新在於一個單核心 (monokernel)——這是一個單一、持久駐留在 GPU 上的程式，一氣呵成地執行整個 LLM 解碼流程 (包括 prefill、decode、LM-head sampling)，從而消除了困擾標準軟體堆疊的「每 token 核心啟動開銷」。標準的推理框架 (如 vLLM、SGLang、TensorRT-LLM) 每生成一個 token 就需要啟動一個 GPU 核心，每次啟動約耗費 4.5 微秒的開銷，並伴隨 HBM 重新啟動的延遲 。Kog 的引擎則繞過了標準的通訊庫，並消除了其測量中占據每 token 生成時間 35% 的網格同步 (grid synchronizations) 。

所謂的「30 倍加速」，是相較於高端 GPU 上 2B 到 8B 模型典型的 100 到 300 tokens/s 解碼速度，與 Kog 達到的 3,000 tokens/s 相比所得出的結果 。

技術預覽成果與明確限制

成果：

• 在單一 8× AMD MI300X 節點上，使用 Laneformer 2B 模型 (FP16，batch size 1，無推測解碼)，達到每秒每請求 3,000+ 個輸出 token。
• 在相同條件下，於 8× NVIDIA H200 上達到每秒 2,100 個輸出 token。
• 單用戶延遲已低到足以實現即時互動，其示範可在 playground.kog.ai 上體驗 。
• 該 Laneformer 2B 模型在貪婪解碼 (greedy decoding) 下，於 HumanEval+ 和 MBPP+ 分別達到 45.1% 和 51.6% 的表現 。

限制：

• 預覽版僅在23 億參數模型 (Laneformer 2B) 上運行，未展示在更大模型上的效能 。
• 這僅是單請求、單用戶的測試，並非經過批次處理的多用戶生產環境，也並未展示在並發負載下的吞吐量 。
• 僅支援兩種 GPU 類型：AMD MI300X 和 NVIDIA H200 。
• 公司僅有 11 名員工，以其雄心壯志而言，團隊規模非常精簡 。

目標應用場景與早期商業進展

Kog 鎖定三大主要應用場景：

• AI 代理工作流程 (Agentic AI workflows)——該公司認為 GPU 目前的軟體堆疊並不適合 AI 代理所需的迭代、低延遲特性，而其引擎則能解決此問題 。
• 即時 LLM 推理——應用於程式碼輔助工具、聊天機器人，以及任何需要低於 100 毫秒 token 延遲的場景 。
• 企業自建推理部署——幫助已擁有資料中心 GPU 的企業，避免購買專用推理硬體 。

在商業方面，根據 CEO Delalleau 的說法，截至 2026 年 8 月，Kog 已累積超過 200 個具體的商業潛在客戶。其技術預覽在 2026 年 5 月曾登上 Hacker News 首頁 。該公司已獲得由 Varsity VC 共同領投的種子輪資金，Varsity VC 的合夥人 Kamel Zeroual 曾是 Delalleau 第一家新創公司 Stribe 的共同創辦人 。

為何由一位固態物理學家轉型的駭客來領導這家公司

CEO Gaël Delalleau 的背景相當獨特：固態物理學和攻擊性網路安全 。

• 固態物理學背景讓他能從最根本的原理出發，思考物理硬體在底層的行為——電子、記憶體頻寬、電晶體層級的限制。他的團隊將 GPU 最佳化視為一個物理問題，而非單純的軟體工程問題 。
• 攻擊性網路安全經驗則賦予了他逆向工程和敵對思維。Kog 的引擎從組合語言和二進位碼層級審視 GPU，挖掘標準驅動程式和函式庫未揭露的隱藏效能空間——這是將經典的「攻擊者思維」應用於硬體效能調校 。
• Delalleau 並非傳統的機器學習研究員，他的第一家新創公司 Stribe (2009 年 TechCrunch50 參展公司) 與 AI 無關。他將自己描述為一位從硬體出發、從第一性原理進行思考的演算法設計者 。

規模化挑戰：團隊規模、晶片支援與模型尺度

Kog 面臨三項重大的規模化障礙：

• 團隊規模：僅有 11 名員工，將其經過深度手工最佳化的單核心移植到新的 GPU 架構上，需要投入大量人力 。
• 新晶片支援：目前引擎僅支援 AMD MI300X 和 NVIDIA H200。每一款新 GPU 都需要在組合語言層級進行手動逆向工程。CEO Delalleau 承認這是一個瓶頸，但他預期具有更高記憶體頻寬的新 GPU 架構會是更容易實現的目標 。
• 模型規模：從 20 億參數模型擴展到全尺寸的 LLM (700 億參數以上) 被 Delalleau 形容為**「一個巨大的飛躍」**。適用於小模型的最佳化技術，並不一定能輕易擴展到需要更大記憶體與運算資源的模型上 。

成敗關鍵：大型語言模型的考驗

Kog 的下一個關鍵里程碑是證明其方法在大型語言模型 (700 億參數以上) 上同樣有效。CEO Delalleau 已表示公司現正專注於將其技術擴展到全尺寸的 LLM。其信心來自於具有更高記憶體頻寬的新一代 GPU 架構——Kog 認為這項資源在標準軟體堆疊下仍被嚴重低估 。該公司尚未公布具體時程，但業界普遍認為，能否成功展示在大型模型上的效能，將是驗證其整個技術願景的成敗關鍵。