Pipette, l’outil de Liquid AI pour tester les modèles d’IA directement sur un appareil

Pipette est la suite de benchmarks gratuite et open source de Liquid AI destinée à mesurer les performances d’un modèle d’IA une fois installé sur un appareil. Son unité de comparaison n’est donc pas le modèle seul, mais l’ensemble formé par le modèle, sa quantification, le moteur d’inférence, l’appareil et la charge de travail. Lancée le 24 août 2026 en partenariat avec Artificial Analysis, la plateforme associe les mesures d’inférence de Liquid AI à l’évaluation de l’intelligence des modèles réalisée par Artificial Analysis. 119

Que mesure Pipette ?

La version publique comprend :

• une base de plus de 1 000 configurations vérifiées en laboratoire ;
• cinq métriques de performance sur l’appareil ;
• plus de 30 modèles ;
• sept options de quantification ;
• quatre appareils couverts dans les premiers résultats. 114

Pipette mesure notamment les performances de préremplissage — le traitement initial de la requête — et de génération, le délai avant le premier token, le temps de réponse total ainsi que la mémoire utilisée. Une vitesse élevée de génération ne suffit donc pas à obtenir un bon score : la latence de démarrage et l’empreinte mémoire comptent également. 411

Appareils, systèmes et modèles compatibles

Pipette propose des clients pour iOS et Android. Les modèles sont téléchargés puis exécutés localement sur le smartphone ou l’ordinateur testé, plutôt que traités sur un serveur distant. 108

Les premiers modèles évalués comprennent la famille LFM de Liquid AI, ainsi que des modèles tiers de petite taille comme Gemma et Nanbeige. Pour la comparaison d’intelligence mobile publiée au lancement, Artificial Analysis a retenu des modèles capables de tenir dans 8 Go de mémoire lorsqu’ils sont quantifiés en 4 bits. 108

La plateforme s’appuie notamment sur des moteurs et formats adaptés à l’exécution locale. La documentation de Liquid AI cite le format GGUF pour l’inférence CPU ou GPU avec des outils comme llama.cpp, ainsi que le format MLX pour les appareils équipés de puces Apple. 2 Sur iOS, Pipette permet notamment de choisir entre llama.cpp et MLX ; la version Android initiale utilise uniquement le CPU. 10

Les résultats publics reposent par ailleurs sur des versions précises de llama.cpp, notamment les builds b10216 et b10516. Cette contrainte évite qu’une mise à jour du runtime modifie discrètement les résultats. 6

Attention à la fenêtre de contexte

Les tests d’intelligence mobile publiés utilisent une limite de contexte de 16 000 tokens. Il ne faut pas la confondre avec la capacité maximale des modèles : plusieurs modèles LFM annoncent 32 000 tokens, tandis que le LFM2.5-8B-A1B peut aller jusqu’à 128 000 tokens. Ces valeurs décrivent les capacités des modèles, pas nécessairement la charge de travail standardisée du benchmark initial. 82

Pourquoi la méthode est intéressante

La principale force de Pipette est sa transparence méthodologique. Les résultats sont rattachés à une configuration complète, issus de tests vérifiés en laboratoire et accompagnés de protocoles de reproductibilité publiés. Le tableau de classement permet de comparer les configurations, tandis que les pages de résultats et de soumissions permettent de remonter aux mesures utilisées. 411

Cette approche est plus informative qu’un simple chiffre de « tokens par seconde » communiqué par un fabricant. Elle ne supprime toutefois pas toutes les sources de variation : température de l’appareil, état du système d’exploitation, quantité de mémoire, référence exacte du produit, moteur utilisé et limites de puissance peuvent encore modifier les performances. Deux résultats ne sont réellement comparables que si ces paramètres correspondent.

Les premiers résultats : des chiffres à interpréter avec prudence

• Un iPhone 17 Pro a atteint 48,37 tokens générés par seconde avec Gemma 4 E2B en 4 bits via Apple MLX. Il s’agit d’un résultat pour la configuration précise « Gemma 4 E2B + quantification 4 bits + MLX/Metal + iPhone 17 Pro », et non d’un score universel pour Gemma ou pour les smartphones. 45
• Dans l’évaluation d’intelligence mobile limitée à 16 000 tokens de contexte, Nanbeige4.2-3B et LFM2.5-2.6B sont arrivés ex æquo en tête avec une note moyenne de 63. 98
• Sur iOS, les calculs peuvent exploiter le GPU via Metal et MLX, alors que le client Android initial est limité au CPU. 10

Ce dernier point est essentiel. Les chiffres de débit d’un iPhone et d’un smartphone Android ne constituent pas encore une comparaison directe de leurs composants. Les résultats Apple peuvent bénéficier d’une accélération GPU, tandis que les résultats Android mesurent l’inférence CPU avec le backend actuellement disponible. Ils peuvent donc renseigner sur les performances et l’expérience d’usage dans cette configuration, mais ne permettent pas de conclure qu’un appareil possède, dans l’ensemble, un matériel d’IA local plus rapide qu’un autre. 104

Une prise en charge des NPU et de backends Android accélérés — notamment par GPU ou NPU — sera nécessaire pour établir des comparaisons réellement équilibrées entre plateformes.

Pipette dans la course aux puces mobiles

Le lancement intervient alors que les fabricants de puces mettent l’accent sur les usages d’IA locale et les tâches dites « agentiques », capables d’enchaîner plusieurs actions. Qualcomm affirme que le CPU Oryon de troisième génération de son Snapdragon 8 Elite Gen 5 atteint 4,74 GHz et annonce, pour cette plateforme, des gains de 20 % en performances CPU et de 35 % en efficacité énergétique du CPU. 14

Qualcomm a également présenté les grandes lignes d’un Snapdragon haut de gamme ultérieur doté d’un CPU Oryon visant 5 GHz et d’une architecture de cache FlexCache, qui répartit dynamiquement le cache entre les cœurs. Ces annonces illustrent la recherche d’une IA locale plus rapide et plus réactive, mais la fréquence d’horloge ne suffit pas à prédire les performances d’un grand modèle de langage. La bande passante mémoire, le comportement du cache, la quantification, le runtime, le backend GPU ou NPU, la température et la puissance soutenue jouent aussi un rôle. 913

Liquid AI indique vouloir élargir la couverture des appareils et ajouter des tests accélérés par NPU. Cette évolution rendrait Pipette encore plus utile : elle permettrait de distinguer les gains provenant du CPU de ceux apportés par le GPU ou le NPU, à charge de travail comparable. En l’état, Pipette doit surtout être considéré comme un benchmark transparent de déploiement local, et non comme un classement définitif de la puissance matérielle des smartphones. 64