AI 的新瓶頸：推理，而唔係訓練

目前大部分 AI 基礎設施都係為 模型訓練（training） 設計，例如 Nvidia GPU。這些晶片非常擅長做大量並行數學運算，所以非常適合訓練大型語言模型。

但當模型正式投入使用之後，就會進入 推理（inference） 階段——即係不停根據用戶輸入生成 token（文字、程式碼、答案等）。

呢個過程其實有另一種壓力：

• 大模型需要不停讀取大量權重（weights）
• 每生成一個 token 都要反覆讀寫資料
• context window 不斷擴大

結果係，記憶體頻寬（memory bandwidth）同延遲（latency）開始變成主要限制，而唔再只係算力。

隨住新一代 AI 系統出現，問題更加明顯：

• 模型輸出愈來愈長
• 上下文窗口愈來愈大
• 推理模型會先做多步內部計算再回答

某些任務甚至可能需要 數千萬 token 的運算量，令生成速度變得非常重要。

Fractile 認為，如果硬件唔改變，未來 AI 發展可能會被 推理延遲 卡住，而唔係模型本身能力。

Fractile 的解法：把運算搬進記憶體

Fractile 的核心技術叫 in‑memory compute（記憶體內運算）。

傳統 AI 加速器（例如 GPU）有一個典型架構：

• 運算核心（compute cores）
• 外部高速記憶體（HBM）

資料需要不停在兩者之間搬來搬去，而這種資料移動會消耗大量時間與能源。

Fractile 的設計理念係：直接喺資料所在的位置做運算。

主要做法包括：

• 把記憶體與運算單元整合到同一晶片
• 在記憶體結構內完成部分模型計算
• 減少晶片與外部記憶體之間的資料傳輸

如果成功，這種架構可以同時改善：

• 推理延遲
• 能耗
• 每 token 成本

這些都是大規模 AI 服務最關鍵的指標。

Fractile 表示，其系統目標是讓前沿模型推理 快最多 25 倍、成本降到約十分之一。更早期的技術目標甚至提到某些情境下 100 倍速度提升，但這些仍然是公司提出的目標，暫時未有獨立測試驗證。

2.2 億美元 B 輪資金用來做甚麼？

Fractile 這輪 2.2 億美元 B 輪融資由以下投資者領投：

• Accel
• Factorial Funds
• Founders Fund

其他投資者包括 Conviction、Gigascale Capital、O1A Ventures、Felicis、Buckley Ventures 及 8VC。

公司計劃將資金用於：

• 加速開發推理晶片架構
• 推動第一代硬件系統量產
• 擴展英國、美國與台灣工程團隊

Fractile 由 牛津大學背景工程師 Walter Goodwin 於 2022 年創立，目標在未來幾年把系統交付給客戶使用。

另外亦有報道指出，一些 AI 公司（例如 Anthropic）已經與 Fractile 進行早期合作討論，但目前仍未公布正式商業合作。

如果推理速度大幅提升，AI 可以做甚麼？

若 Fractile 或類似架構成功，大幅提升推理效率，可能會打開一些新的 AI 應用場景。

1. 大型推理模型

新一代 AI 系統會在回答問題前做多步推理、探索多個答案，再驗證結果。

更快的推理代表模型可以在運行時投入更多計算資源——這種概念叫 test‑time compute。

2. 即時 AI 助手

聊天型 AI 的體驗很大程度取決於延遲。

如果 token 生成速度更快，AI 助手可以更接近 即時對話。

3. Agent 型 AI 系統

AI agent 可能會：

• 調用工具
• 生成程式碼
• 多次推理
• 執行複雜任務流程

這些工作可能消耗 數百萬甚至數千萬 token，因此推理速度至關重要。

4. 大規模企業 AI

企業如果要部署 AI 客服、Copilot 或 API 服務，就需要：

• 高吞吐量
• 低延遲
• 每 token 成本低

專門為推理設計的晶片有機會大幅降低營運成本。

最大未知數：能否真正量產

Fractile 的理念其實反映一個行業趨勢：

AI 正從「訓練競賽」走向「推理效率競賽」。

不過要從設計到真正量產晶片，難度極高。GPU 生態系統已經非常成熟，要挑戰現有架構並不容易。

另外，公司目前提出的速度與成本優勢，仍然屬於 技術目標而非獨立 benchmark。

即使如此，2.2 億美元的大額融資也說明一件事：

愈來愈多投資者相信，下一波 AI 突破可能不是來自更大的模型，而是來自更快、更便宜的推理硬件。

AI 的新瓶頸：推理，而唔係訓練

目前大部分 AI 基礎設施都係為 模型訓練（training） 設計，例如 Nvidia GPU。這些晶片非常擅長做大量並行數學運算，所以非常適合訓練大型語言模型。

但當模型正式投入使用之後，就會進入 推理（inference） 階段——即係不停根據用戶輸入生成 token（文字、程式碼、答案等）。

呢個過程其實有另一種壓力：

• 大模型需要不停讀取大量權重（weights）
• 每生成一個 token 都要反覆讀寫資料
• context window 不斷擴大

結果係，記憶體頻寬（memory bandwidth）同延遲（latency）開始變成主要限制，而唔再只係算力。

隨住新一代 AI 系統出現，問題更加明顯：

• 模型輸出愈來愈長
• 上下文窗口愈來愈大
• 推理模型會先做多步內部計算再回答

某些任務甚至可能需要 數千萬 token 的運算量，令生成速度變得非常重要。

Fractile 認為，如果硬件唔改變，未來 AI 發展可能會被 推理延遲 卡住，而唔係模型本身能力。

Fractile 的解法：把運算搬進記憶體

Fractile 的核心技術叫 in‑memory compute（記憶體內運算）。

傳統 AI 加速器（例如 GPU）有一個典型架構：

• 運算核心（compute cores）
• 外部高速記憶體（HBM）

資料需要不停在兩者之間搬來搬去，而這種資料移動會消耗大量時間與能源。

Fractile 的設計理念係：直接喺資料所在的位置做運算。

主要做法包括：

• 把記憶體與運算單元整合到同一晶片
• 在記憶體結構內完成部分模型計算
• 減少晶片與外部記憶體之間的資料傳輸

如果成功，這種架構可以同時改善：

• 推理延遲
• 能耗
• 每 token 成本

這些都是大規模 AI 服務最關鍵的指標。

Fractile 表示，其系統目標是讓前沿模型推理 快最多 25 倍、成本降到約十分之一。更早期的技術目標甚至提到某些情境下 100 倍速度提升，但這些仍然是公司提出的目標，暫時未有獨立測試驗證。

2.2 億美元 B 輪資金用來做甚麼？

Fractile 這輪 2.2 億美元 B 輪融資由以下投資者領投：

• Accel
• Factorial Funds
• Founders Fund

其他投資者包括 Conviction、Gigascale Capital、O1A Ventures、Felicis、Buckley Ventures 及 8VC。

公司計劃將資金用於：

• 加速開發推理晶片架構
• 推動第一代硬件系統量產
• 擴展英國、美國與台灣工程團隊

Fractile 由 牛津大學背景工程師 Walter Goodwin 於 2022 年創立，目標在未來幾年把系統交付給客戶使用。

另外亦有報道指出，一些 AI 公司（例如 Anthropic）已經與 Fractile 進行早期合作討論，但目前仍未公布正式商業合作。

如果推理速度大幅提升，AI 可以做甚麼？

若 Fractile 或類似架構成功，大幅提升推理效率，可能會打開一些新的 AI 應用場景。

1. 大型推理模型

新一代 AI 系統會在回答問題前做多步推理、探索多個答案，再驗證結果。

更快的推理代表模型可以在運行時投入更多計算資源——這種概念叫 test‑time compute。

2. 即時 AI 助手

聊天型 AI 的體驗很大程度取決於延遲。

如果 token 生成速度更快，AI 助手可以更接近 即時對話。

3. Agent 型 AI 系統

AI agent 可能會：

• 調用工具
• 生成程式碼
• 多次推理
• 執行複雜任務流程

這些工作可能消耗 數百萬甚至數千萬 token，因此推理速度至關重要。

4. 大規模企業 AI

企業如果要部署 AI 客服、Copilot 或 API 服務，就需要：

• 高吞吐量
• 低延遲
• 每 token 成本低

專門為推理設計的晶片有機會大幅降低營運成本。

最大未知數：能否真正量產

Fractile 的理念其實反映一個行業趨勢：

AI 正從「訓練競賽」走向「推理效率競賽」。

不過要從設計到真正量產晶片，難度極高。GPU 生態系統已經非常成熟，要挑戰現有架構並不容易。

另外，公司目前提出的速度與成本優勢，仍然屬於 技術目標而非獨立 benchmark。

即使如此，2.2 億美元的大額融資也說明一件事：

愈來愈多投資者相信，下一波 AI 突破可能不是來自更大的模型，而是來自更快、更便宜的推理硬件。