Pipette 是 Liquid AI 推出的免費開源基準測試套件，專門衡量 AI 模型在手機、電腦等邊緣裝置上的實際部署表現。它與 Artificial Analysis 於 2026 年 8 月 24 日合作發布，前者提供推理效能測試，後者負責行動模型的智慧評估。119

它最重要的觀念是：測量單位不是「某個模型」，而是一套完整配置——模型 × 量化格式 × 執行環境 × 裝置 × 工作負載。因此，同一個模型換了量化方式、推理框架或手機，結果都可能明顯不同。

Pipette 測量什麼？

• 公開版本包含超過 1,000 組經實驗室驗證的配置，以及五項裝置端效能指標；排行榜目前涵蓋 30 多個模型、7 種量化選項與 4 部初始裝置。114
• 它提供 iOS 與 Android 客戶端，測試的是先下載到裝置上的模型，而不是連線到雲端伺服器。108
• 初期模型包括 Liquid 自家的 LFM 系列，以及 Gemma、Nanbeige 等第三方小型模型。行動智慧評估則聚焦於經 4-bit 量化後可放入 8 GB 空間的模型。108
• 效能指標不只看生成速度，也涵蓋提示詞處理／預填充速度、生成／解碼速度、首次輸出 token 時間、端到端回應時間，以及記憶體使用量。411

換句話說，Pipette 不會只用「每秒生成多少 token」來判定模型快不快。模型可能解碼速度很高，卻在首次回應或記憶體消耗上表現不佳；完整測試能把這些差異一起呈現。

上下文長度與模型能力不是同一件事

Artificial Analysis 發布的行動智慧測試採用 16K token 的上下文上限。這是該項標準化測試的工作負載設定，不代表所有模型只能處理 16K token。98

Liquid AI 的 LFM 模型目錄中，許多模型支援 32K 上下文，而 LFM2.5-8B-A1B 的模型能力可達 128K。不過，模型規格上的最大上下文長度，不能直接等同於 Pipette 初期測試所採用的標準條件。82

此外，Pipette 公開的裝置端效能資料涵蓋 256 至 8,192 token 的上下文長度；這與行動智慧比較所使用的 16K 上限，是不同的測試設定。119

為什麼它比單一「tokens／秒」數字更有用？

Pipette 的價值主要在於可重現性。每項結果都對應到明確的模型、量化格式、執行環境、裝置與工作負載，並附有公開測試流程與經驗證的實驗室結果。現時公開效能結果也要求使用指定版本的 llama.cpp，例如 b10216 與 b10516，避免執行環境版本差異被隱藏起來。4116

這種方法比直接引用硬體廠商提供的單一「每秒 token 數」更容易公平比較。不過，它仍不能消除手機溫度、作業系統狀態、裝置型號與記憶體容量、後端選擇等因素造成的波動。若要比較兩項結果，這些條件必須盡可能一致。

初期結果：iPhone 與 Android 暫時不能直接比

目前最需要留意的，是 iOS 與 Android 使用的加速後端並不相同：iOS 可透過 Metal／MLX 使用 GPU，而初期 Android 客戶端僅使用 CPU 推理。10

因此，Pipette 現階段的 iPhone 對 Android 吞吐量數字，不能簡單解讀成「哪一部手機的整體 AI 硬體更快」。Apple 裝置的結果可能包含 GPU 加速；Android 數字則反映 CPU 後端下的推理速度與使用體驗。這些數據可用來觀察 CPU 表現，但還不足以建立完整的跨平台硬體排名。104

幾項初期結果仍相當值得注意：

• iPhone 17 Pro 使用 4-bit Gemma 4 E2B 與 Apple MLX 時，解碼速度達每秒 48.37 token。這應理解為「Gemma 4 E2B＋4-bit＋MLX／Metal＋iPhone 17 Pro」這組配置的成績，而不是 Gemma 或所有手機的通用分數。45
• 在 16K 上下文的行動智慧評估中，Nanbeige4.2-3B 與 LFM2.5-2.6B 並列第一，平均分數均為 63。98
• LFM2.5-2.6B 在 iPhone 17 Pro 上回答標準 1,024-token 提示詞時，耗時 8.0 秒並使用 2.3 GB 記憶體；這是特定模型與裝置配置下的測量結果。9

若未來 Android 加入 NPU 或等效的 GPU／AI 加速後端，並採用與 iOS 一致的測試條件，跨平台比較才會更接近真正的硬體對決。

它與手機晶片競賽有什麼關係？

Pipette 推出的時機，正值晶片廠商強調本機與代理式 AI 工作負載的效能。高通表示，Snapdragon 8 Elite Gen 5 的第三代 Oryon CPU 最高時脈可達 4.74 GHz，並宣稱該平台的 CPU 效能提升 20%、CPU 能效提升 35%。14

高通另外預告過後續旗艦 Snapdragon 平台，採用最高 5 GHz 的 Oryon CPU，以及可在核心之間動態分配快取的 FlexCache 設計。這些訊息反映出業界正努力讓本機 AI 工作更快、更即時，但時脈本身並不能預測大型語言模型的推理速度。執行環境、記憶體頻寬、快取行為、量化方式、GPU／NPU 後端、散熱與持續功耗限制同樣關鍵。913

Liquid AI 表示，未來將擴大裝置支援範圍，並加入 NPU 加速測試。若這些功能落地，Pipette 將更有機會分辨 CPU、GPU 與 NPU 在相同工作負載下各自帶來的提升。64

結論：Pipette 是部署基準，不是手機總排名

Pipette 最適合回答的問題是：「在指定模型、量化格式、執行環境、裝置與工作負載下，本機 AI 實際表現如何？」

它目前還不是一張可以直接排出 iPhone 與 Android 硬體強弱的終極榜單，尤其是 Android 尚未納入 NPU 或 GPU 加速、而 iOS 已可使用 GPU 的情況下。現階段，最穩妥的看法是把 Pipette 視為一套透明、可追溯、以完整部署配置為核心的裝置端 AI 基準測試工具，而不是單純比較晶片或模型名稱的排行榜。64

Pipette 是 Liquid AI 推出的免費開源基準測試套件，專門衡量 AI 模型在手機、電腦等邊緣裝置上的實際部署表現。它與 Artificial Analysis 於 2026 年 8 月 24 日合作發布，前者提供推理效能測試，後者負責行動模型的智慧評估。119

它最重要的觀念是：測量單位不是「某個模型」，而是一套完整配置——模型 × 量化格式 × 執行環境 × 裝置 × 工作負載。因此，同一個模型換了量化方式、推理框架或手機，結果都可能明顯不同。

Pipette 測量什麼？

• 公開版本包含超過 1,000 組經實驗室驗證的配置，以及五項裝置端效能指標；排行榜目前涵蓋 30 多個模型、7 種量化選項與 4 部初始裝置。114
• 它提供 iOS 與 Android 客戶端，測試的是先下載到裝置上的模型，而不是連線到雲端伺服器。108
• 初期模型包括 Liquid 自家的 LFM 系列，以及 Gemma、Nanbeige 等第三方小型模型。行動智慧評估則聚焦於經 4-bit 量化後可放入 8 GB 空間的模型。108
• 效能指標不只看生成速度，也涵蓋提示詞處理／預填充速度、生成／解碼速度、首次輸出 token 時間、端到端回應時間，以及記憶體使用量。411

換句話說，Pipette 不會只用「每秒生成多少 token」來判定模型快不快。模型可能解碼速度很高，卻在首次回應或記憶體消耗上表現不佳；完整測試能把這些差異一起呈現。

上下文長度與模型能力不是同一件事

Artificial Analysis 發布的行動智慧測試採用 16K token 的上下文上限。這是該項標準化測試的工作負載設定，不代表所有模型只能處理 16K token。98

Liquid AI 的 LFM 模型目錄中，許多模型支援 32K 上下文，而 LFM2.5-8B-A1B 的模型能力可達 128K。不過，模型規格上的最大上下文長度，不能直接等同於 Pipette 初期測試所採用的標準條件。82

此外，Pipette 公開的裝置端效能資料涵蓋 256 至 8,192 token 的上下文長度；這與行動智慧比較所使用的 16K 上限，是不同的測試設定。119

為什麼它比單一「tokens／秒」數字更有用？

Pipette 的價值主要在於可重現性。每項結果都對應到明確的模型、量化格式、執行環境、裝置與工作負載，並附有公開測試流程與經驗證的實驗室結果。現時公開效能結果也要求使用指定版本的 llama.cpp，例如 b10216 與 b10516，避免執行環境版本差異被隱藏起來。4116

這種方法比直接引用硬體廠商提供的單一「每秒 token 數」更容易公平比較。不過，它仍不能消除手機溫度、作業系統狀態、裝置型號與記憶體容量、後端選擇等因素造成的波動。若要比較兩項結果，這些條件必須盡可能一致。

初期結果：iPhone 與 Android 暫時不能直接比

目前最需要留意的，是 iOS 與 Android 使用的加速後端並不相同：iOS 可透過 Metal／MLX 使用 GPU，而初期 Android 客戶端僅使用 CPU 推理。10

因此，Pipette 現階段的 iPhone 對 Android 吞吐量數字，不能簡單解讀成「哪一部手機的整體 AI 硬體更快」。Apple 裝置的結果可能包含 GPU 加速；Android 數字則反映 CPU 後端下的推理速度與使用體驗。這些數據可用來觀察 CPU 表現，但還不足以建立完整的跨平台硬體排名。104

幾項初期結果仍相當值得注意：

• iPhone 17 Pro 使用 4-bit Gemma 4 E2B 與 Apple MLX 時，解碼速度達每秒 48.37 token。這應理解為「Gemma 4 E2B＋4-bit＋MLX／Metal＋iPhone 17 Pro」這組配置的成績，而不是 Gemma 或所有手機的通用分數。45
• 在 16K 上下文的行動智慧評估中，Nanbeige4.2-3B 與 LFM2.5-2.6B 並列第一，平均分數均為 63。98
• LFM2.5-2.6B 在 iPhone 17 Pro 上回答標準 1,024-token 提示詞時，耗時 8.0 秒並使用 2.3 GB 記憶體；這是特定模型與裝置配置下的測量結果。9

若未來 Android 加入 NPU 或等效的 GPU／AI 加速後端，並採用與 iOS 一致的測試條件，跨平台比較才會更接近真正的硬體對決。

它與手機晶片競賽有什麼關係？

Pipette 推出的時機，正值晶片廠商強調本機與代理式 AI 工作負載的效能。高通表示，Snapdragon 8 Elite Gen 5 的第三代 Oryon CPU 最高時脈可達 4.74 GHz，並宣稱該平台的 CPU 效能提升 20%、CPU 能效提升 35%。14

高通另外預告過後續旗艦 Snapdragon 平台，採用最高 5 GHz 的 Oryon CPU，以及可在核心之間動態分配快取的 FlexCache 設計。這些訊息反映出業界正努力讓本機 AI 工作更快、更即時，但時脈本身並不能預測大型語言模型的推理速度。執行環境、記憶體頻寬、快取行為、量化方式、GPU／NPU 後端、散熱與持續功耗限制同樣關鍵。913

Liquid AI 表示，未來將擴大裝置支援範圍，並加入 NPU 加速測試。若這些功能落地，Pipette 將更有機會分辨 CPU、GPU 與 NPU 在相同工作負載下各自帶來的提升。64

結論：Pipette 是部署基準，不是手機總排名

Pipette 最適合回答的問題是：「在指定模型、量化格式、執行環境、裝置與工作負載下，本機 AI 實際表現如何？」

它目前還不是一張可以直接排出 iPhone 與 Android 硬體強弱的終極榜單，尤其是 Android 尚未納入 NPU 或 GPU 加速、而 iOS 已可使用 GPU 的情況下。現階段，最穩妥的看法是把 Pipette 視為一套透明、可追溯、以完整部署配置為核心的裝置端 AI 基準測試工具，而不是單純比較晶片或模型名稱的排行榜。64