Kog Inference Engine：靠軟件喺標準 GPU 上做到每秒 3,000 tokens，冇用自訂晶片

AI 產業一直燒咗幾十億美元去追逐更快的晶片。總部位於巴黎嘅初創公司 Kog AI 就賭佢哋由頭到尾搞錯咗問題——而佢哋 2026 年 5 月嘅技術預覽似乎有啲料到。

Kog（Kog AI）係一間法國 AI 基建初創，2023 年由 Gaël Delalleau 創立。佢哋嘅核心產品係 Kog Inference Engine（KIE），一個純軟件嘅推理引擎，可以喺標準嘅數據中心 GPU 上大幅加速 LLM 推論——完全唔使特製晶片 。公司喺 2025 年 5 月結束隱身模式，並喺 2026 年 5 月 28 日推出公開技術預覽 。

軟件 vs. 晶片：Kog 嘅賭注

Cerebras 自己整巨型晶片；Groq 同 SambaNova 都係行硬件優先嘅路。Kog 就反其道而行：佢哋認為現有 GPU 嘅巨大性能空間係因為低效率嘅軟件堆疊而被浪費咗，而深度軟件優化係可以喺唔用新晶片嘅情況下，達到甚至超越專用硬件嘅速度 。

核心創新係一個 monokernel——一個單一、持續留喺 GPU 入面嘅程式，一口氣運行晒成個 LLM 解碼過程（prefill、decode、LM-head sampling），消滅咗標準堆疊嗰種每 token 都要啟動一次 kernel 嘅開銷 。標準推理框架好似 vLLM、SGLang 同 TensorRT-LLM，每生成一個 token 就要啟動一次 GPU kernel，每次付出大約 4.5 微秒嘅啟動成本，加上 HBM 重啟延遲 。Kog 嘅引擎繞過標準通訊庫，並消除咗佢哋量度到佔每 token 生成時間 35% 嘅 grid 同步 。

個「30 倍快」嘅聲稱係對比典型解碼速度：2B–8B 模型喺高端 GPU 上通常得 100–300 tokens/s，而 Kog 係 3,000 tokens/s 。

技術預覽結果同明顯限制

結果：

• 單一請求每秒 3,000+ 輸出 tokens：用 Laneformer 2B 模型（FP16，batch size 1，冇 speculative decoding）喺 8× AMD MI300X 節點上
• 單一請求每秒 2,100 輸出 tokens：同一設定喺 8× NVIDIA H200 上
• 單用戶延遲低到可以實時互動——個 demo 上咗 playground.kog.ai
• Laneformer 2B 模型喺 greedy decoding 下達到 HumanEval+ 45.1% 同 MBPP+ 51.6%

限制：

• 預覽只喺一個 2.3B 參數模型（Laneformer 2B）上跑，未演示過更大嘅模型
• 只係 單一請求、單一用戶——唔係多用戶並行嘅生產環境，冇展示過並發負載下嘅 throughput
• 只支援 AMD MI300X 同 NVIDIA H200 兩種 GPU
• 公司得 11 個員工，以佢哋嘅野心嚟講係好細

目標用例同初期商業進展

Kog 主要瞄準三個場景：

• Agentic AI 工作流程——佢哋認為 GPU 本身唔適合 AI agent 嗰種迭代、低延遲嘅要求，而佢哋嘅引擎可以解決呢個問題
• 實時 LLM 推論——編碼 copilot、聊天機械人，以及任何需要 sub-100ms 每 token 延遲嘅應用
• 自托管企業推理——已經有數據中心 GPU 嘅公司，想避免買專用推理硬件

商業方面，CEO Delalleau 話截至 2026 年 8 月，Kog 已經有 200+ 個實質商業線索 。技術預覽喺 2026 年 5 月衝上咗 Hacker News 首頁 。公司獲得由 Varsity VC 共同領投嘅種子輪融資，Varsity VC 的合夥人 Kamel Zeroual 正係 Delalleau 第一間初創 Stribe 嘅共同創辦人 。

CEO 點解係一個固態物理學家轉行做黑客

CEO Gaël Delalleau 嘅背景好特別：固態物理學同攻擊性網絡安全 。

• 固態物理學訓練佢由第一性原理去思考硬件底層嘅行為——電子、記憶體頻寬、電晶體層次嘅限制。佢嘅團隊將 GPU 優化視為一個物理問題，而唔係軟件工程問題
• 攻擊性網絡安全俾咗佢一種逆向工程嘅心態。Kog 嘅引擎喺組合語言同二進制層次去審視 GPU，搵出標準驅動程式同程式庫冇暴露嘅隱藏性能空間——呢個正係一種典型嘅「攻擊者思維」應用喺硬件性能上
• Delalleau 唔係傳統嘅 ML 研究員；佢第一間初創 Stribe（TechCrunch50 2009 年嘅入選者）同 AI 完全無關。佢形容自己係一個由硬件出發去設計演算法嘅第一性原理思考者

擴展挑戰：團隊規模、晶片支援同模型規模

Kog 面對三個主要嘅擴展障礙：

• 團隊規模：得 11 個員工，要將深度人手優化嘅 monokernel 移植到新 GPU 架構係好花人力嘅
• 新晶片支援：目前引擎只支援 AMD MI300X 同 NVIDIA H200。每一款新 GPU 都要喺組合語言層次進行人手逆向工程。CEO Delalleau 承認呢個係瓶頸，不過佢預期更高記憶體頻寬嘅新 GPU 架構會容易處理啲
• 模型規模：由 2B 參數模型擴展到完整規模嘅 LLM（70B+），Delalleau 形容係 「一個好大嘅飛躍」。適用於細模型嘅技術未必可以簡單延伸到大得多嘅記憶體同運算規模

成敗關鍵：大型語言模型

Kog 嘅下一個關鍵里程碑係 證明佢哋嘅方法喺大型語言模型（70B+ 參數）上都 work。CEO Delalleau 話公司而家專注於將技術擴展到完整規模嘅 LLM。信心嚟自新一代 GPU 架構有顯著更高嘅記憶體頻寬——Kog 認為呢個資源仍然被標準軟件堆疊嚴重低估 。公司未有公布具體日期，但呢個演示普遍被視為整個理論嘅成敗關鍵。