Liquid AIのPipetteとは？ スマホで動くAIの実力を正しく測るオープンソース基盤

Pipetteは何を測るのか

Pipetteは、Liquid AIがArtificial Analysisと共同で公開した、オンデバイスAI向けの無料オープンソース・ベンチマークスイートです。単に「このモデルは高性能か」を調べるのではなく、次の要素を組み合わせた完全な導入構成を測定します。119

• AIモデル
• 量子化方式
• 推論ランタイム
• 実行する端末
• ワークロードやコンテキスト長

つまり、同じモデル名であっても、4ビット量子化なのか、どのランタイムを使うのか、スマートフォンやPCのどの機種で動かすのかによって、結果が変わることを前提にしています。

対応範囲と測定指標

公開版には、1,000以上のモデル×量子化×ランタイム×端末×コンテキスト構成について、ラボで検証された結果を収録したデータセットがあります。リーダーボードは30以上のモデル、7種類の量子化オプション、初期段階の4端末をカバーしています。114

対応するクライアントはiOSとAndroidです。クラウド上の推論APIを呼び出すのではなく、モデルを端末へダウンロードし、ローカルで実行して性能を測ります。初期対応モデルには、Liquid AIのLFMシリーズのほか、GemmaやNanbeigeなどの小型モデルが含まれます。108

Artificial Analysisによるモバイル知能評価では、4ビット量子化後のサイズが8GB以内に収まるモデルを対象としています。また、公開された同評価のコンテキスト長は16Kトークンです。108

一方、Liquid AIのLFMシリーズには、多くのモデルで32Kトークン、LFM2.5-8B-A1Bでは128Kトークンのコンテキスト長を持つものがあります。ただし、これはモデル自体の仕様であり、Pipetteの初期ベンチマークで標準化されたワークロードが同じ長さで実行されることを意味しません。82

測定するのは、生成速度だけではありません。プロンプト処理・プリフィル、生成・デコード、初回トークンが出るまでの時間（TTFT）、応答全体の所要時間、メモリ使用量という5つの観点で評価します。411

「tokens per second」だけの比較より実用的な理由

Pipetteの重要な点は、結果をモデル単体の数字として扱わず、明示された構成にひも付けていることです。検証済みのラボ実行、公開された再現手順、測定結果を追跡できるデータが用意されています。411

さらに、ソフトウェア依存関係も固定します。たとえば、現在公開されている性能結果では、b10216やb10516など、指定されたllama.cppビルドが必要です。ランタイムのバージョン差を隠したまま比較するのではなく、どの環境で得られた数字なのかを明確にする設計です。6

これは、メーカーが提示する単独の「毎秒何トークン」という数字だけを比べるより、実際の利用環境に近い情報を提供します。ただし、結果のばらつきがなくなるわけではありません。端末の発熱状態、OSの状態、同じ機種でも異なるRAM構成、バックエンドの違いなどがあるため、比較時にはこれらの条件をそろえる必要があります。

初期結果で注目された数字

初期結果では、iPhone 17 Pro上でApple MLXを使い、4ビット量子化したGemma 4 E2Bを実行した場合、デコード速度が毎秒48.37トークンに達しました。45

ただし、この数字は「Gemma 4 E2B＋4ビット量子化＋MLX／Metal＋iPhone 17 Pro」という特定の構成の結果です。Gemma全体、あるいはスマートフォン全体の普遍的なスコアとして読むべきではありません。

16Kコンテキストで実施されたモバイル知能評価では、Nanbeige4.2-3BとLFM2.5-2.6Bが平均スコア63で並び、首位になりました。98

iPhoneとAndroidの比較には注意が必要

PipetteはiOSとAndroidの両方で利用できますが、初期版では両プラットフォームの測定条件が同じではありません。iOSではMetal／MLXを通じたGPU計算を利用できる一方、初期のAndroidクライアントはCPU計算のみです。10

そのため、現時点で公表されるiPhoneとAndroidの処理速度を、そのまま端末の半導体性能の優劣として比べることはできません。iPhone側にはGPUアクセラレーションが含まれる可能性があるのに対し、Android側はCPU推論の結果だからです。104

Androidの数字は、CPU性能や、そのバックエンドを使った場合のユーザー体験を知る材料にはなります。しかし、あるスマートフォンのローカルAI向けハードウェア全体が、別の端末より本質的に高速だと証明するものではありません。公平なプラットフォーム比較には、NPUや同等のGPUアクセラレーションに対応したAndroidバックエンドが必要です。

モバイルチップ競争との関係

Pipetteの公開は、チップメーカーが端末上で動くAIやエージェント型ワークロードの高速化を強調する流れとも重なります。Qualcommは、Snapdragon 8 Elite Gen 5について、第3世代Oryon CPUの最大クロックが4.74GHzに達し、CPU性能が20％、CPU電力効率が35％向上したと説明しています。14

またQualcommは、後続世代のフラッグシップ向けSnapdragonについて、最大5GHzを目標とするOryon CPUと、コア間でキャッシュを動的に共有するFlexCache設計を予告しています。913

ただし、クロック周波数だけで大規模言語モデルの推論性能を予測することはできません。ランタイム、メモリ帯域、キャッシュの挙動、量子化方式、GPU／NPUバックエンド、発熱、持続的な電力制限などが結果を左右します。

Liquid AIは今後、より多くの端末を対象にし、NPUアクセラレーションを使った測定へ広げる方向性を示しています。そこまで対応が進めば、CPUだけの性能向上なのか、GPUやNPUによる高速化なのかを、共通ワークロードで見分けやすくなるでしょう。64

現時点でのPipetteは、最終的なスマートフォン性能ランキングというより、モデルを実際の端末で動かしたときの構成全体を、透明性のある方法で比較するための基盤と位置づけるのが最も妥当です。