Pipette 是 Liquid AI 推出的免费开源端侧 AI 基准测试套件，于 8 月 24 日与 Artificial Analysis 联合发布。它的重点不是给某个模型贴上一个“每秒多少 token”的单一标签，而是评估一套真实的本地部署组合：模型 + 量化方式 + 运行时 + 设备 + 工作负载。Liquid AI 负责推理性能测量，Artificial Analysis 则负责移动端模型智能水平评估。119

Pipette 测试什么？

公开版本包含一个经过实验室验证的数据集，收录了 1,000 多组配置，并提供 5 项端侧性能指标。当前排行榜覆盖 30 多个模型、7 种量化选项和最初的 4 款设备。114

它测量的并不只是生成速度，还包括：

• 提示词处理或预填充速度（prompt/prefill）；
• 生成或解码速度（generation/decode）；
• 首 token 延迟（time to first token）；
• 端到端响应时间；
• 内存占用。411

这意味着，一款模型即使解码速度很高，如果首 token 等待时间长、内存占用大，整体使用体验也未必更好。

支持哪些设备、系统和模型？

Pipette 提供 iOS 和 Android 客户端，测试对象是预先下载到手机上的本地模型，而不是远程云端模型。10

初期覆盖的模型包括 Liquid AI 自家的 LFM 系列，以及 Gemma、Nanbeige 等第三方小模型。Artificial Analysis 的移动端智能评测主要选择经过 4-bit 量化后能够放入 8 GB 空间的模型。108

在运行时方面，公开结果涉及适用于 macOS、iOS、Windows 和 Android 的 llama.cpp 构建版本；Apple 设备还可以使用 MLX。Liquid 的文档将 GGUF 描述为适合跨平台 CPU/GPU 本地推理的格式，将 MLX 描述为适合 Apple Silicon 的格式。112

需要注意的是，“模型支持的最大上下文长度”和“基准测试实际使用的上下文长度”是两回事。Pipette 初始公开数据集涵盖从 256 到 8,192 token 的上下文长度。11而移动端智能评测采用了 16K token 的统一限制。89LFM 系列本身有不少模型支持 32K 上下文，LFM2.5-8B-A1B 则支持 128K，但这些属于模型能力，并不代表每次 Pipette 测试都会采用相同长度。82

为什么它比单看“每秒 token”更有参考价值？

同一个模型换一种量化格式、运行时或硬件，结果可能出现明显差异。例如，4-bit 量化通常能降低内存需求，但可能改变速度和输出质量；不同运行时也可能调用 CPU、GPU 或其他硬件加速路径。

Pipette 的方法论价值在于，它把完整配置明确记录下来，并使用经过验证的实验室测试和公开的复现协议。软件依赖也会被固定，例如当前公开性能结果要求使用指定版本的 llama.cpp 构建，而不是让运行时版本变化悄悄影响结果。4116

当然，这种方法也不能消除所有差异。设备温度、系统后台状态、具体机型及内存规格、后端选择和持续功耗限制，都可能影响最终成绩。因此，只有在测试字段一致时，不同结果才适合直接比较。

首批成绩说明了什么？

Liquid AI 公布的一个亮眼结果是：iPhone 17 Pro 使用 Apple MLX 运行 4-bit Gemma 4 E2B 时，解码速度达到 48.37 token/s。45

但这个数字应当准确理解为：“4-bit Gemma 4 E2B + MLX/Metal + iPhone 17 Pro”这一具体配置的成绩，而不是 Gemma 4 或所有手机的通用分数。45

在上下文限制为 16K token 的移动端智能评测中，Nanbeige4.2-3B 和 LFM2.5-2.6B 并列平均得分第一，均为 63；Ornith-1.0-9B 得分为 62，Qwen3.5 9B（Reasoning）得分为 61。98

iPhone 和 Android 的成绩目前不能简单横比

现阶段，iOS 版本可以通过 Metal/MLX 使用 GPU 计算，而初始 Android 客户端只能使用 CPU。10

因此，目前看到的 iPhone 与 Android 吞吐量成绩，并不是严格意义上的芯片对芯片比较：Apple 设备的结果可能包含 GPU 加速，Android 结果则反映的是 CPU 推理表现。Android 成绩可以用来观察特定 CPU 和后端下的性能及体验，但不能据此断言某一款手机的整体本地 AI 硬件一定更快。104

如果未来加入 Android GPU 和 NPU 等相应加速后端，跨平台比较才会更公平。Liquid AI 也表示，扩大设备覆盖并加入 NPU 加速测试，是 Pipette 后续值得关注的方向。64

它与手机芯片竞争有什么关系？

Pipette 发布之际，手机芯片厂商正在强调本地 AI 和“代理式”工作负载。高通称，骁龙 8 Elite Gen 5 的第三代 Oryon CPU 最高频率可达 4.74 GHz，并宣称该平台带来 20% 的 CPU 性能提升和 35% 的 CPU 能效提升。14

与此同时，高通还预告了后续旗舰骁龙平台：新一代 Oryon CPU 目标频率为 5 GHz，并采用 FlexCache 设计，让不同核心动态共享缓存。这些信息显示出芯片厂商希望进一步提升本地 AI 任务的响应速度，但主频本身并不能预测大语言模型推理性能。运行时、内存带宽、缓存行为、量化方式、GPU/NPU 后端、散热和持续功耗同样重要。913

结论：Pipette 是部署基准，不是最终硬件排名

Pipette 最值得关注的地方，是它把“模型表现”还原成用户真正面对的完整部署问题：在某一台设备上，用某种量化格式和运行时运行某个模型，在特定上下文和任务下，速度、延迟、内存占用以及智能水平究竟如何。

因此，它比孤立的厂商宣传数字更透明，也更适合复现实验。但在 Android GPU/NPU 等加速路径和更多设备加入之前，Pipette 更适合被看作一套可复现的端侧部署基准，而不是一张已经定论的跨平台手机硬件排行榜。64

Pipette 是 Liquid AI 推出的免费开源端侧 AI 基准测试套件，于 8 月 24 日与 Artificial Analysis 联合发布。它的重点不是给某个模型贴上一个“每秒多少 token”的单一标签，而是评估一套真实的本地部署组合：模型 + 量化方式 + 运行时 + 设备 + 工作负载。Liquid AI 负责推理性能测量，Artificial Analysis 则负责移动端模型智能水平评估。119

Pipette 测试什么？

公开版本包含一个经过实验室验证的数据集，收录了 1,000 多组配置，并提供 5 项端侧性能指标。当前排行榜覆盖 30 多个模型、7 种量化选项和最初的 4 款设备。114

它测量的并不只是生成速度，还包括：

• 提示词处理或预填充速度（prompt/prefill）；
• 生成或解码速度（generation/decode）；
• 首 token 延迟（time to first token）；
• 端到端响应时间；
• 内存占用。411

这意味着，一款模型即使解码速度很高，如果首 token 等待时间长、内存占用大，整体使用体验也未必更好。

支持哪些设备、系统和模型？

Pipette 提供 iOS 和 Android 客户端，测试对象是预先下载到手机上的本地模型，而不是远程云端模型。10

初期覆盖的模型包括 Liquid AI 自家的 LFM 系列，以及 Gemma、Nanbeige 等第三方小模型。Artificial Analysis 的移动端智能评测主要选择经过 4-bit 量化后能够放入 8 GB 空间的模型。108

在运行时方面，公开结果涉及适用于 macOS、iOS、Windows 和 Android 的 llama.cpp 构建版本；Apple 设备还可以使用 MLX。Liquid 的文档将 GGUF 描述为适合跨平台 CPU/GPU 本地推理的格式，将 MLX 描述为适合 Apple Silicon 的格式。112

需要注意的是，“模型支持的最大上下文长度”和“基准测试实际使用的上下文长度”是两回事。Pipette 初始公开数据集涵盖从 256 到 8,192 token 的上下文长度。11而移动端智能评测采用了 16K token 的统一限制。89LFM 系列本身有不少模型支持 32K 上下文，LFM2.5-8B-A1B 则支持 128K，但这些属于模型能力，并不代表每次 Pipette 测试都会采用相同长度。82

为什么它比单看“每秒 token”更有参考价值？

同一个模型换一种量化格式、运行时或硬件，结果可能出现明显差异。例如，4-bit 量化通常能降低内存需求，但可能改变速度和输出质量；不同运行时也可能调用 CPU、GPU 或其他硬件加速路径。

Pipette 的方法论价值在于，它把完整配置明确记录下来，并使用经过验证的实验室测试和公开的复现协议。软件依赖也会被固定，例如当前公开性能结果要求使用指定版本的 llama.cpp 构建，而不是让运行时版本变化悄悄影响结果。4116

当然，这种方法也不能消除所有差异。设备温度、系统后台状态、具体机型及内存规格、后端选择和持续功耗限制，都可能影响最终成绩。因此，只有在测试字段一致时，不同结果才适合直接比较。

首批成绩说明了什么？

Liquid AI 公布的一个亮眼结果是：iPhone 17 Pro 使用 Apple MLX 运行 4-bit Gemma 4 E2B 时，解码速度达到 48.37 token/s。45

但这个数字应当准确理解为：“4-bit Gemma 4 E2B + MLX/Metal + iPhone 17 Pro”这一具体配置的成绩，而不是 Gemma 4 或所有手机的通用分数。45

在上下文限制为 16K token 的移动端智能评测中，Nanbeige4.2-3B 和 LFM2.5-2.6B 并列平均得分第一，均为 63；Ornith-1.0-9B 得分为 62，Qwen3.5 9B（Reasoning）得分为 61。98

iPhone 和 Android 的成绩目前不能简单横比

现阶段，iOS 版本可以通过 Metal/MLX 使用 GPU 计算，而初始 Android 客户端只能使用 CPU。10

因此，目前看到的 iPhone 与 Android 吞吐量成绩，并不是严格意义上的芯片对芯片比较：Apple 设备的结果可能包含 GPU 加速，Android 结果则反映的是 CPU 推理表现。Android 成绩可以用来观察特定 CPU 和后端下的性能及体验，但不能据此断言某一款手机的整体本地 AI 硬件一定更快。104

如果未来加入 Android GPU 和 NPU 等相应加速后端，跨平台比较才会更公平。Liquid AI 也表示，扩大设备覆盖并加入 NPU 加速测试，是 Pipette 后续值得关注的方向。64

它与手机芯片竞争有什么关系？

Pipette 发布之际，手机芯片厂商正在强调本地 AI 和“代理式”工作负载。高通称，骁龙 8 Elite Gen 5 的第三代 Oryon CPU 最高频率可达 4.74 GHz，并宣称该平台带来 20% 的 CPU 性能提升和 35% 的 CPU 能效提升。14

与此同时，高通还预告了后续旗舰骁龙平台：新一代 Oryon CPU 目标频率为 5 GHz，并采用 FlexCache 设计，让不同核心动态共享缓存。这些信息显示出芯片厂商希望进一步提升本地 AI 任务的响应速度，但主频本身并不能预测大语言模型推理性能。运行时、内存带宽、缓存行为、量化方式、GPU/NPU 后端、散热和持续功耗同样重要。913

结论：Pipette 是部署基准，不是最终硬件排名

Pipette 最值得关注的地方，是它把“模型表现”还原成用户真正面对的完整部署问题：在某一台设备上，用某种量化格式和运行时运行某个模型，在特定上下文和任务下，速度、延迟、内存占用以及智能水平究竟如何。

因此，它比孤立的厂商宣传数字更透明，也更适合复现实验。但在 Android GPU/NPU 等加速路径和更多设备加入之前，Pipette 更适合被看作一套可复现的端侧部署基准，而不是一张已经定论的跨平台手机硬件排行榜。64