Pipette testar inte bara AI-modellen – utan hela körningen i din enhet

Pipette är Liquid AI:s kostnadsfria benchmarksvit med öppen källkod för att mäta hur en AI-modell fungerar i en verklig lokal installation – inte bara hur bra modellen är i teorin. Testet väger samman modellen, kvantiseringen, körtiden, enheten och arbetsbelastningen. Verktyget lanserades den 24 augusti i samarbete med Artificial Analysis, där Liquid AI står för inferensmätningarna och Artificial Analysis för utvärderingen av modellernas intelligens i mobilen. 119

Vad mäter Pipette?

Den offentliga lanseringen innehåller en laboratorieverifierad datamängd med över 1 000 konfigurationer och fem mått för prestanda på enheten. Topplistan omfattar fler än 30 modeller, sju kvantiseringsalternativ och fyra inledande enheter. 114

Pipette har klienter för både iOS och Android. I stället för att skicka frågor till en molntjänst laddar appen ner modellerna och kör dem lokalt på telefonen. De första modellerna omfattar Liquid AI:s LFM-familj och mindre modeller från andra utvecklare, bland annat Gemma och Nanbeige. I jämförelsen av mobil intelligens valdes modeller som ryms inom 8 GB efter 4-bitars kvantisering. 108

Liquid AI:s modellbibliotek innehåller flera modeller med 32 000 tokens i kontextfönster och LFM2.5-8B-A1B med upp till 128 000 tokens. Det är dock modellernas teoretiska kapacitet – inte nödvändigtvis den standardiserade arbetsbelastning som används i den första Pipette-jämförelsen. 82

I dokumentationen nämns bland annat GGUF för lokal CPU- och GPU-inferens samt MLX för Apple-enheter. 2 Den inledande Pipette-datamängden använder flera kvantiseringsformat och olika versioner av llama.cpp på macOS, iOS, Windows och Android. 11

Mätningarna omfattar bland annat:

• hastighet vid inläsning av prompten, så kallad prompt- eller prefyllnadsprestanda
• hastighet vid generering av svaret
• tid till första token
• total svarstid
• minnesanvändning 411

Det innebär att en hög siffra för genererade token per sekund inte automatiskt betyder att upplevelsen blir bäst. Även väntetiden innan svaret börjar och hur mycket minne modellen kräver spelar roll.

Varför är reproducerbarheten viktig?

Pipettes viktigaste bidrag är kanske inte en enskild topplistesiffra, utan metoden. Resultaten kopplas till en tydligt angiven helhetskonfiguration, bygger på verifierade laboratorietester och följer publicerade protokoll. Programvaruberoenden anges också uttryckligen. De nuvarande offentliga prestandatesterna kräver exempelvis särskilda versioner av llama.cpp, bland annat b10216 och b10516. 4116

Det är mer informativt än att jämföra en tillverkares fristående uppgift om ”token per sekund”. Samtidigt försvinner inte all variation. Temperatur, operativsystemets tillstånd, exakt modell av telefonen, mängden RAM och vilket backend-system som används kan påverka resultatet. För att två siffror ska vara rättvist jämförbara måste dessa förutsättningar stämma överens.

De första resultaten – och en viktig skillnad mellan iPhone och Android

Ett uppmärksammat resultat är 48,37 genererade token per sekund på en iPhone 17 Pro när Gemma 4 E2B körs med 4-bitars kvantisering genom Apple MLX. Det är ett starkt resultat för just den kombinationen: Gemma 4 E2B, 4 bitar, MLX/Metal och iPhone 17 Pro. Det ska inte tolkas som ett universellt betyg på Gemma eller på telefoner i allmänhet. 45

I Artificial Analysis jämförelse av mobil intelligens, där kontexten begränsades till 16 000 token, delade Nanbeige4.2-3B och LFM2.5-2.6B förstaplatsen med genomsnittliga poängen 63. 98

Här finns dock en tydlig begränsning: iOS-versionen kan använda GPU-beräkningar via Metal och MLX, medan den första Android-klienten endast använder processorn. 10

Därför är dagens genomströmningstal för iPhone och Android inte rena jämförelser mellan mobilchip. Apple-resultaten kan dra nytta av GPU-acceleration, medan Android-resultaten speglar CPU-inferens. Androids siffror kan fortfarande säga mycket om CPU-prestanda och användarupplevelse med den aktuella lösningen, men de visar inte att den ena telefonens lokala AI-hårdvara generellt är snabbare än den andras. 104

För en mer rättvis plattformsjämförelse behövs Android-backend med motsvarande GPU- eller NPU-acceleration.

Vad säger Pipette om kampen om mobilchip?

Lanseringen kommer samtidigt som chiptillverkare lyfter fram snabbare lokal och agentbaserad AI. Qualcomm uppger att tredje generationens Oryon-processor i Snapdragon 8 Elite Gen 5 når 4,74 GHz. Företaget hävdar också 20 procent högre CPU-prestanda och 35 procent bättre energieffektivitet för processorn. 14

Qualcomm har dessutom förhandsvisat en efterföljande flaggskeppsplattform med en Oryon-processor som siktar på 5 GHz och en FlexCache-arkitektur, där cachen dynamiskt kan delas mellan kärnorna. Sådana besked visar på en tydlig strävan efter snabbare och mer responsiva lokala arbetslaster – men klockfrekvensen ensam säger inte hur snabbt en språkmodell körs.

Körtidsmiljö, minnesbandbredd, cachebeteende, kvantisering, GPU- eller NPU-backend, temperatur och långvariga effektgränser spelar också in. 913

Liquid AI har sagt att framtida versioner ska få stöd för fler enheter och tester med NPU-acceleration. Det skulle göra Pipette mer användbart, eftersom verktyget då bättre kan skilja mellan vinster från CPU, GPU och NPU under samma arbetsbelastning. 64

Tills dess är den mest rimliga tolkningen att Pipette är ett transparent verktyg för att jämföra kompletta lokala AI-installationer – inte en slutgiltig ranking av vilket mobilchip som är snabbast.