Pipette mede o desempenho completo da IA no dispositivo

O Pipette é uma suíte de benchmark de código aberto criada pela Liquid AI para medir modelos de inteligência artificial onde eles realmente são executados: celulares, notebooks, PCs e outros dispositivos de borda. Lançada em parceria com a Artificial Analysis em 24 de agosto, a plataforma trata a implantação completa — e não apenas o modelo — como unidade de medição. Isso significa que cada resultado está ligado ao modelo, à quantização, ao runtime, ao dispositivo e à carga de trabalho usados no teste. 31

Por que o Pipette é diferente de um benchmark tradicional

Muitos rankings de IA se concentram em notas de capacidade ou divulgam um único número de velocidade de inferência. O Pipette tenta mostrar como todo o conjunto se comporta em uma implantação real. Uma mudança na quantização, no runtime, no backend, na pressão sobre a memória ou no hardware pode alterar o resultado mesmo quando os pesos do modelo permanecem iguais.

O lançamento incluiu um conjunto público de dados com resultados verificados em laboratório para mais de 1.000 combinações de modelo, quantização, runtime, dispositivo e contexto. A versão inicial abrange mais de 30 modelos, vários formatos de quantização e builds do llama.cpp para macOS, iOS, Windows e Android. Os dados padronizados incluem contextos de 256 a 8.192 tokens. 3

As medições de inferência do Pipette são apresentadas junto da avaliação de inteligência em dispositivos móveis feita pela Artificial Analysis. A parceria permite observar dois lados da mesma questão: quão bem o modelo responde e quão rápida e eficientemente aquela implantação funciona. 33

O que o Pipette suporta

Dispositivos e sistemas operacionais

O Pipette oferece clientes nativos para iOS e Android, permitindo executar modelos localmente em um smartphone. A cobertura mais ampla do benchmark também inclui macOS e Windows por meio de runtimes compatíveis. Entre os aparelhos de referência divulgados no lançamento estão o iPhone 17 Pro, o Galaxy S26 Ultra e um MacBook Pro equipado com chip M5 Max. 338

Antes do teste, os modelos precisam ser baixados para o próprio aparelho. Portanto, o Pipette mede inferência local — e não a latência de uma API na nuvem. 4150

Modelos e quantização

O ranking inclui a família LFM2.5, da Liquid AI, além de modelos de terceiros. Entre os exemplos estão Gemma, Nanbeige, Granite, Qwen e outras variantes pequenas ou compactadas. 941

A plataforma aceita diferentes formatos de quantização. Na comparação de inteligência móvel, foram priorizados modelos que cabem em até 8 GB quando quantizados para 4 bits, um recorte relevante para celulares com memória limitada. 341

Para execução local, a documentação da Liquid diferencia o GGUF, usado com frequência pelo llama.cpp em alvos de CPU e GPU, do formato MLX, voltado a implantações em dispositivos com Apple Silicon. 47 O tamanho do arquivo quantizado é apenas parte da história: o runtime e o backend de hardware determinam como o modelo será processado na prática.

Tamanho do contexto e cargas de trabalho

O conjunto de dados do lançamento reúne configurações padronizadas com contextos de 256 a 8.192 tokens. 3 Já a avaliação de inteligência móvel da Artificial Analysis usa um limite de contexto de 16 mil tokens. 33

Esses números não devem ser confundidos com a janela máxima de contexto anunciada para cada modelo. A documentação da Liquid lista contextos de 32 mil tokens para muitos modelos LFM e de 128 mil para o LFM2.5-8B-A1B. Porém, a capacidade máxima de um modelo não significa que todo teste em um celular será executado nesse comprimento. 47

Quais métricas o Pipette mede?

O Pipette combina várias dimensões do desempenho no dispositivo, em vez de reduzir o resultado à velocidade de geração. Suas cinco métricas abrangem o processamento do prompt ou prefill, a taxa de geração ou decode, o tempo até o primeiro token, o tempo total da resposta e o uso de memória. 1314

Essa combinação é importante porque uma implantação pode gerar tokens rapidamente e, ainda assim, demorar para começar, consumir memória demais ou perder velocidade à medida que o contexto aumenta. O tempo total de resposta é especialmente útil para avaliar a experiência real de quem usa um assistente local.

A Artificial Analysis fornece o componente de qualidade da comparação móvel por meio de testes que incluem seguimento de instruções, uso de ferramentas, raciocínio e outras avaliações de capacidade. 33

Como o Pipette busca garantir resultados reproduzíveis

Cada resultado do Pipette está associado a uma configuração explícita, e os protocolos usados para produzir os dados verificados são publicados. O painel separa o ranking de comparações, os resultados detalhados e os envios, permitindo consultar as linhas que deram origem ao benchmark em vez de depender apenas de uma classificação geral. 1

A metodologia também registra as dependências do runtime. A Liquid informa, por exemplo, que os resultados públicos atuais exigem builds específicos do llama.cpp, incluindo as versões b10216 e b10516. 2 Fixar o runtime ajuda a evitar que mudanças de software sejam interpretadas como melhorias no hardware ou no modelo.

Esses cuidados aumentam a comparabilidade, mas não eliminam todas as variações. Controle térmico, estado do sistema operacional, memória disponível, firmware, escolha do backend e limites de energia sustentada podem afetar o resultado de um celular. Uma pontuação só é realmente significativa quando essas variáveis também são compatíveis.

O que os primeiros resultados mostram

Os dados iniciais ajudam a entender por que o Pipette divulga configurações completas, e não um ranking universal de modelos.

• Um resultado de 48,37 tokens de decode por segundo para o Gemma 4 E2B em 4 bits, usando Apple MLX em um iPhone 17 Pro, descreve precisamente aquela combinação de modelo, quantização, MLX/Metal e aparelho. Não é uma pontuação válida para toda implantação do Gemma ou para qualquer celular. 45
• Na avaliação de inteligência móvel com contexto de 16 mil tokens, Nanbeige4.2-3B e LFM2.5-2.6B empataram na liderança, com pontuação média de 63. 33
• A Artificial Analysis também informou que o LFM2.5-2.6B respondeu a um prompt padrão de 1.024 tokens em um iPhone 17 Pro em 8,0 segundos, usando 2,3 GB de memória. Esse resultado corresponde a uma configuração específica e não deve ser generalizado para todos os aparelhos. 33

A principal lição é que qualidade, velocidade, latência e uso de memória podem apontar em direções diferentes. O modelo mais rápido não é automaticamente o mais capaz, e a maior pontuação de capacidade não transforma necessariamente um modelo na melhor opção para um celular.

Por que iOS e Android ainda não podem ser comparados diretamente

A principal limitação do lançamento móvel está na diferença entre os dois clientes. A versão para iOS pode usar processamento pela GPU no ecossistema Metal da Apple, incluindo o MLX. Já a versão inicial para Android estava limitada à inferência pela CPU. 4150

Por isso, um resultado de iPhone obtido com MLX/Metal e um resultado de Android produzido apenas pela CPU não são comparações equilibradas de todo o hardware de IA dos aparelhos. A medição no iOS pode se beneficiar da aceleração da GPU, enquanto a medição no Android reflete o desempenho do caminho de CPU disponível no cliente atual.

Os resultados do Android continuam úteis para entender a inferência local baseada em CPU e a experiência oferecida por essa implementação. Eles não devem, porém, ser usados para declarar que o silício completo de IA de um celular é mais rápido que o de outro antes que backends equivalentes de GPU ou NPU sejam testados sob a mesma carga de trabalho.

Como o Pipette se encaixa na disputa dos chips móveis

O Pipette chega em um momento em que fabricantes de chips promovem avanços no processamento local e em tarefas de IA agêntica. A plataforma Snapdragon 8 Elite Gen 5, da Qualcomm, usa uma CPU Oryon de terceira geração com clock de até 4,74 GHz e promete melhoria de 20% no desempenho da CPU, além de ganho de 35% na eficiência energética da CPU. 24

A Qualcomm também antecipou uma plataforma Snapdragon topo de linha posterior, com uma CPU Oryon projetada para atingir 5 GHz e uma arquitetura FlexCache que permite aos núcleos heterogêneos compartilhar um pool de cache alocado dinamicamente. 23

Essas especificações mostram por que a IA no dispositivo virou também uma disputa de hardware. Mas a frequência do clock, sozinha, não prevê o desempenho de um modelo de linguagem. Quantização, largura de banda da memória, comportamento do cache, implementação do runtime, uso de GPU ou NPU, temperatura e limites de energia sustentada podem ser igualmente importantes.

É nesse ponto que a abordagem baseada em configurações do Pipette se torna útil. Seu papel mais importante, a longo prazo, será mostrar se uma promessa de melhoria no chip se traduz em IA local mais rápida, responsiva e eficiente no uso de memória sob uma carga de trabalho reproduzível. Por enquanto, o Pipette deve ser entendido como um benchmark transparente de implantação — não como um ranking definitivo entre o hardware do iPhone e o do Android.