Fractile 押注 In‑Memory AI 晶片　想解決 AI 推理速度瓶頸

近幾年 AI 產業幾乎全部火力都放喺一件事：訓練更大、更強的模型。但隨住模型愈來愈複雜，另一個問題開始浮面——點樣高效率地運行（推理）這些模型。

英國倫敦 AI 晶片初創 Fractile 就係瞄準呢個痛點。公司最近完成 2.2 億美元（約 220M）B 輪融資，專門開發針對 AI 推理工作負載的晶片，希望解決生成式 AI 在實際部署時遇到的速度與成本問題。

Fractile 的核心觀點好直接：AI 下一個最大瓶頸未必係模型能力，而係模型生成答案的速度與成本。

AI 的新瓶頸：推理，而唔係訓練

目前大部分 AI 基礎設施都係為 模型訓練（training） 設計，例如 Nvidia GPU。這些晶片非常擅長做大量並行數學運算，所以非常適合訓練大型語言模型。

但當模型正式投入使用之後，就會進入 推理（inference） 階段——即係不停根據用戶輸入生成 token（文字、程式碼、答案等）。

呢個過程其實有另一種壓力：

• 大模型需要不停讀取大量權重（weights）
• 每生成一個 token 都要反覆讀寫資料
• context window 不斷擴大

結果係，記憶體頻寬（memory bandwidth）同延遲（latency）開始變成主要限制，而唔再只係算力。

隨住新一代 AI 系統出現，問題更加明顯：

• 模型輸出愈來愈長
• 上下文窗口愈來愈大
• 推理模型會先做多步內部計算再回答

某些任務甚至可能需要 數千萬 token 的運算量，令生成速度變得非常重要。

Fractile 認為，如果硬件唔改變，未來 AI 發展可能會被 推理延遲 卡住，而唔係模型本身能力。

Fractile 的解法：把運算搬進記憶體

Fractile 的核心技術叫 in‑memory compute（記憶體內運算）。

傳統 AI 加速器（例如 GPU）有一個典型架構：

• 運算核心（compute cores）
• 外部高速記憶體（HBM）

資料需要不停在兩者之間搬來搬去，而這種資料移動會消耗大量時間與能源。

Fractile 的設計理念係：直接喺資料所在的位置做運算。

主要做法包括：

• 把記憶體與運算單元整合到同一晶片
• 在記憶體結構內完成部分模型計算
• 減少晶片與外部記憶體之間的資料傳輸

如果成功，這種架構可以同時改善：

• 推理延遲
• 能耗
• 每 token 成本

這些都是大規模 AI 服務最關鍵的指標。

Fractile 表示，其系統目標是讓前沿模型推理 快最多 25 倍、成本降到約十分之一。更早期的技術目標甚至提到某些情境下 100 倍速度提升，但這些仍然是公司提出的目標，暫時未有獨立測試驗證。

2.2 億美元 B 輪資金用來做甚麼？

Fractile 這輪 2.2 億美元 B 輪融資由以下投資者領投：

• Accel
• Factorial Funds
• Founders Fund

其他投資者包括 Conviction、Gigascale Capital、O1A Ventures、Felicis、Buckley Ventures 及 8VC。

公司計劃將資金用於：

• 加速開發推理晶片架構
• 推動第一代硬件系統量產
• 擴展英國、美國與台灣工程團隊

Fractile 由 牛津大學背景工程師 Walter Goodwin 於 2022 年創立，目標在未來幾年把系統交付給客戶使用。

另外亦有報道指出，一些 AI 公司（例如 Anthropic）已經與 Fractile 進行早期合作討論，但目前仍未公布正式商業合作。

如果推理速度大幅提升，AI 可以做甚麼？

若 Fractile 或類似架構成功，大幅提升推理效率，可能會打開一些新的 AI 應用場景。

1. 大型推理模型

新一代 AI 系統會在回答問題前做多步推理、探索多個答案，再驗證結果。

更快的推理代表模型可以在運行時投入更多計算資源——這種概念叫 test‑time compute。

2. 即時 AI 助手

聊天型 AI 的體驗很大程度取決於延遲。

如果 token 生成速度更快，AI 助手可以更接近 即時對話。

3. Agent 型 AI 系統

AI agent 可能會：

• 調用工具
• 生成程式碼
• 多次推理
• 執行複雜任務流程

這些工作可能消耗 數百萬甚至數千萬 token，因此推理速度至關重要。

4. 大規模企業 AI

企業如果要部署 AI 客服、Copilot 或 API 服務，就需要：

• 高吞吐量
• 低延遲
• 每 token 成本低

專門為推理設計的晶片有機會大幅降低營運成本。

最大未知數：能否真正量產

Fractile 的理念其實反映一個行業趨勢：

AI 正從「訓練競賽」走向「推理效率競賽」。

不過要從設計到真正量產晶片，難度極高。GPU 生態系統已經非常成熟，要挑戰現有架構並不容易。

另外，公司目前提出的速度與成本優勢，仍然屬於 技術目標而非獨立 benchmark。

即使如此，2.2 億美元的大額融資也說明一件事：

愈來愈多投資者相信，下一波 AI 突破可能不是來自更大的模型，而是來自更快、更便宜的推理硬件。