Pipette係Liquid AI嘅免費開源 benchmark suite，專門量度 AI 模型喺手機、電腦等 edge device 上面真正部署之後嘅表現。佢測試嘅唔係「模型本身」或者一個孤立嘅 tokens per second 數字，而係以下完整組合：模型、量化格式、runtime、裝置，以及工作負載。119

Pipette到底測啲乜？

公開版本包括一個超過1,000個配置、經實驗室驗證嘅數據集，並提供五項 on-device 效能指標。現時 leaderboard 涵蓋30多個模型、七種量化選項，以及四款初期裝置。114

Pipette亦會將以下幾方面放埋一齊睇：

• prompt／prefill速度，即模型處理輸入內容嘅速度；
• generation／decode速度，即模型逐個 token 產生答案嘅速度；
• time-to-first-token（TTFT），即由送出問題到見到第一個字嘅時間；
• 完整回應所需時間；
• 記憶體使用量。411

換句話講，單睇「每秒生成幾多 tokens」並唔夠。模型可能生成得快，但第一個回應等好耐，或者食用太多記憶體，實際用落部手機仍然未必順。

支援咩裝置、系統、模型同格式？

Pipette目前提供iOS及Android客戶端，測試嘅模型係先下載到裝置本機，再由裝置自己執行，唔係連去雲端 endpoint。108

初期模型包括Liquid AI自家嘅LFM系列，以及Gemma、Nanbeige等第三方細型模型。手機智能比較主要揀選以4-bit量化之後可以放入8GB記憶體範圍內嘅模型。108

至於推理方式，iOS版本可以選擇以llama.cpp或者MLX執行；其中MLX係Apple Silicon生態常見嘅本地 AI 推理框架。Pipette公開結果亦涉及唔同llama.cpp build，當中包括macOS、iOS、Windows及Android嘅環境。1011

量化方面，平台排行榜涵蓋七種選項，但量化格式、runtime、裝置同模型必須一併睇，唔可以將某一種格式跑出嚟嘅成績，直接當成模型或者手機嘅通用分數。114

上下文長度亦要分清楚：Pipette公開嘅一般效能數據涵蓋256至8,192 tokens嘅工作負載，而Artificial Analysis嘅手機智能測試就以16K-token上下文作統一限制。119

Liquid自家LFM模型部分本身支援更長上下文，例如好多型號係32K，而LFM2.5-8B-A1B更可達128K；不過呢啲係模型能力，唔代表Pipette初期標準化測試一定會用到同樣長度。2

點解呢個測試方法比較有用？

Pipette嘅重點唔只係出一個排行榜，而係將每個結果綁定到清楚嘅完整配置，並公開測試協議同依賴版本。現時公開效能結果要求指定嘅llama.cpp build，例如b10216及b10516，減少因runtime版本唔同而造成嘅偏差。4116

呢種做法，比較適合用嚟回答「某個模型以某種量化格式、喺某部裝置、透過某個runtime、跑某類工作負載，實際有幾快」；但佢仍然唔可以完全消除手機散熱、作業系統當時狀態、RAM容量、裝置SKU、backend選擇等因素帶來嘅差異。

所以，要比較兩個結果，至少要先確認相關欄位一致。否則將唔同模型、量化、runtime或者測試情境直接對比，容易變成「睇數字誤判」。

初步結果幾亮眼，但iPhone同Android未算公平對決

Pipette公布嘅其中一個例子係：iPhone 17 Pro以Apple MLX執行4-bit Gemma 4 E2B，decode速度達每秒48.37 tokens。呢個數字對該套特定配置相當亮眼，但正確讀法應該係「Gemma 4 E2B＋4-bit＋MLX／Metal＋iPhone 17 Pro」，唔係所有Gemma模型或者所有手機都可以得到嘅通用分數。45

喺16K-context嘅手機智能評測入面，Nanbeige4.2-3B同LFM2.5-2.6B並列平均分榜首，兩者都係63分；Ornith-1.0-9B得62分，Qwen3.5 9B（Reasoning）得61分。98

不過，iOS同Android現階段有一個非常重要嘅限制：

• iOS可以透過Metal／MLX使用GPU計算；
• 初期Android客戶端只使用CPU計算。10

即係話，現時iPhone同Android嘅 throughput 數字，唔係純粹比較兩粒手機晶片。Apple一邊可能包括GPU加速，Android一邊就係CPU推理。Android結果仍然可以用嚟了解CPU效能，以及喺該backend下嘅實際使用體驗，但唔足以證明某部手機整體本地 AI 硬件一定快過另一部。104

如果日後加入Android GPU及NPU等對等加速backend，跨平台比較先會更加有意義。

同手機晶片 AI 競賽有咩關係？

Pipette推出之際，晶片廠商正集中強調本地及 agentic AI 工作負載。高通表示，Snapdragon 8 Elite Gen 5嘅第三代Oryon CPU最高時脈達4.74GHz，並聲稱該平台CPU效能提升20%、CPU能效提升35%。14

另外，高通亦預告後續旗艦Snapdragon平台，Oryon CPU目標時脈達5GHz，並加入FlexCache設計，讓不同核心動態共享cache。呢啲公布反映業界正追求更快、更即時嘅本地 AI 體驗，但單靠時脈高低，並唔能夠預測大型語言模型嘅實際推理速度。913

記憶體頻寬、cache行為、量化方式、runtime、GPU／NPU backend、散熱同持續功耗限制，全部都會影響結果。

Liquid AI表示，下一步會增加裝置覆蓋，同埋加入NPU加速測試。呢個方向如果落實，Pipette就更有機會分辨CPU、GPU同NPU各自帶來嘅提升。64

一句講晒

Pipette最合理嘅定位，係一個透明、可重現嘅「完整部署測試工具」，而唔係一張已經可以決定所有手機邊部本地 AI 最快嘅總排名。現階段最重要係睇清楚每個分數背後嘅模型、量化、runtime、裝置同工作負載；等Android加入更完整嘅GPU／NPU支援後，跨平台結論先會更加穩陣。

Pipette係Liquid AI嘅免費開源 benchmark suite，專門量度 AI 模型喺手機、電腦等 edge device 上面真正部署之後嘅表現。佢測試嘅唔係「模型本身」或者一個孤立嘅 tokens per second 數字，而係以下完整組合：模型、量化格式、runtime、裝置，以及工作負載。119

Pipette到底測啲乜？

公開版本包括一個超過1,000個配置、經實驗室驗證嘅數據集，並提供五項 on-device 效能指標。現時 leaderboard 涵蓋30多個模型、七種量化選項，以及四款初期裝置。114

Pipette亦會將以下幾方面放埋一齊睇：

• prompt／prefill速度，即模型處理輸入內容嘅速度；
• generation／decode速度，即模型逐個 token 產生答案嘅速度；
• time-to-first-token（TTFT），即由送出問題到見到第一個字嘅時間；
• 完整回應所需時間；
• 記憶體使用量。411

換句話講，單睇「每秒生成幾多 tokens」並唔夠。模型可能生成得快，但第一個回應等好耐，或者食用太多記憶體，實際用落部手機仍然未必順。

支援咩裝置、系統、模型同格式？

Pipette目前提供iOS及Android客戶端，測試嘅模型係先下載到裝置本機，再由裝置自己執行，唔係連去雲端 endpoint。108

初期模型包括Liquid AI自家嘅LFM系列，以及Gemma、Nanbeige等第三方細型模型。手機智能比較主要揀選以4-bit量化之後可以放入8GB記憶體範圍內嘅模型。108

至於推理方式，iOS版本可以選擇以llama.cpp或者MLX執行；其中MLX係Apple Silicon生態常見嘅本地 AI 推理框架。Pipette公開結果亦涉及唔同llama.cpp build，當中包括macOS、iOS、Windows及Android嘅環境。1011

量化方面，平台排行榜涵蓋七種選項，但量化格式、runtime、裝置同模型必須一併睇，唔可以將某一種格式跑出嚟嘅成績，直接當成模型或者手機嘅通用分數。114

上下文長度亦要分清楚：Pipette公開嘅一般效能數據涵蓋256至8,192 tokens嘅工作負載，而Artificial Analysis嘅手機智能測試就以16K-token上下文作統一限制。119

Liquid自家LFM模型部分本身支援更長上下文，例如好多型號係32K，而LFM2.5-8B-A1B更可達128K；不過呢啲係模型能力，唔代表Pipette初期標準化測試一定會用到同樣長度。2

點解呢個測試方法比較有用？

Pipette嘅重點唔只係出一個排行榜，而係將每個結果綁定到清楚嘅完整配置，並公開測試協議同依賴版本。現時公開效能結果要求指定嘅llama.cpp build，例如b10216及b10516，減少因runtime版本唔同而造成嘅偏差。4116

呢種做法，比較適合用嚟回答「某個模型以某種量化格式、喺某部裝置、透過某個runtime、跑某類工作負載，實際有幾快」；但佢仍然唔可以完全消除手機散熱、作業系統當時狀態、RAM容量、裝置SKU、backend選擇等因素帶來嘅差異。

所以，要比較兩個結果，至少要先確認相關欄位一致。否則將唔同模型、量化、runtime或者測試情境直接對比，容易變成「睇數字誤判」。

初步結果幾亮眼，但iPhone同Android未算公平對決

Pipette公布嘅其中一個例子係：iPhone 17 Pro以Apple MLX執行4-bit Gemma 4 E2B，decode速度達每秒48.37 tokens。呢個數字對該套特定配置相當亮眼，但正確讀法應該係「Gemma 4 E2B＋4-bit＋MLX／Metal＋iPhone 17 Pro」，唔係所有Gemma模型或者所有手機都可以得到嘅通用分數。45

喺16K-context嘅手機智能評測入面，Nanbeige4.2-3B同LFM2.5-2.6B並列平均分榜首，兩者都係63分；Ornith-1.0-9B得62分，Qwen3.5 9B（Reasoning）得61分。98

不過，iOS同Android現階段有一個非常重要嘅限制：

• iOS可以透過Metal／MLX使用GPU計算；
• 初期Android客戶端只使用CPU計算。10

即係話，現時iPhone同Android嘅 throughput 數字，唔係純粹比較兩粒手機晶片。Apple一邊可能包括GPU加速，Android一邊就係CPU推理。Android結果仍然可以用嚟了解CPU效能，以及喺該backend下嘅實際使用體驗，但唔足以證明某部手機整體本地 AI 硬件一定快過另一部。104

如果日後加入Android GPU及NPU等對等加速backend，跨平台比較先會更加有意義。

同手機晶片 AI 競賽有咩關係？

Pipette推出之際，晶片廠商正集中強調本地及 agentic AI 工作負載。高通表示，Snapdragon 8 Elite Gen 5嘅第三代Oryon CPU最高時脈達4.74GHz，並聲稱該平台CPU效能提升20%、CPU能效提升35%。14

另外，高通亦預告後續旗艦Snapdragon平台，Oryon CPU目標時脈達5GHz，並加入FlexCache設計，讓不同核心動態共享cache。呢啲公布反映業界正追求更快、更即時嘅本地 AI 體驗，但單靠時脈高低，並唔能夠預測大型語言模型嘅實際推理速度。913

記憶體頻寬、cache行為、量化方式、runtime、GPU／NPU backend、散熱同持續功耗限制，全部都會影響結果。

Liquid AI表示，下一步會增加裝置覆蓋，同埋加入NPU加速測試。呢個方向如果落實，Pipette就更有機會分辨CPU、GPU同NPU各自帶來嘅提升。64

一句講晒

Pipette最合理嘅定位，係一個透明、可重現嘅「完整部署測試工具」，而唔係一張已經可以決定所有手機邊部本地 AI 最快嘅總排名。現階段最重要係睇清楚每個分數背後嘅模型、量化、runtime、裝置同工作負載；等Android加入更完整嘅GPU／NPU支援後，跨平台結論先會更加穩陣。