Czym jest Pipette od Liquid AI i co właściwie mierzy?

Pipette to bezpłatny, otwartoźródłowy zestaw benchmarków Liquid AI służący do pomiaru rzeczywistego działania modeli AI na urządzeniach lokalnych. Nie ocenia wyłącznie samego modelu, lecz pełną konfigurację: model, sposób kwantyzacji, środowisko uruchomieniowe, konkretne urządzenie oraz rodzaj wykonywanego zadania. Platformę wydano 24 sierpnia we współpracy z Artificial Analysis. Liquid AI odpowiada za pomiary inferencji, a Artificial Analysis za ocenę inteligencji modeli mobilnych. 119

Co mierzy Pipette?

• Publiczna wersja zawiera zweryfikowany laboratoryjnie zbiór ponad 1000 konfiguracji oraz pięć wskaźników wydajności urządzeniowej. Tablica wyników obejmuje ponad 30 modeli, siedem wariantów kwantyzacji i cztery początkowe urządzenia. 114
• Pipette ma klientów na iOS i Androida. Modele są najpierw pobierane na telefon lub inne urządzenie, a następnie uruchamiane lokalnie — test nie polega na wysłaniu zapytania do zewnętrznego endpointu w chmurze. 108
• Wśród początkowo obsługiwanych modeli znajdują się rodziny LFM firmy Liquid AI oraz niewielkie modele innych twórców, między innymi Gemma i Nanbeige. W porównaniu jakości modeli mobilnych uwzględniano te, które po kwantyzacji do 4 bitów mieszczą się w limicie 8 GB. 108
• Opublikowane testy inteligencji mobilnej korzystają z kontekstu o długości 16 tys. tokenów. Katalog LFM obejmuje jednak modele z kontekstem 32 tys. tokenów, a LFM2.5-8B-A1B obsługuje 128 tys. tokenów. Są to możliwości samych modeli, a niekoniecznie parametry początkowego, ustandaryzowanego obciążenia benchmarku. 82
• Raportowane pomiary obejmują między innymi szybkość wstępnego przetwarzania promptu i generowania odpowiedzi, czas do pojawienia się pierwszego tokena, czas odpowiedzi od początku do końca oraz zużycie pamięci. Sam wysoki wynik generowania tokenów na sekundę nie wystarcza więc do uznania jednej konfiguracji za najlepszą. 411

W praktyce Pipette uwzględnia popularne lokalne środowiska uruchomieniowe, takie jak llama.cpp, a w ekosystemie Apple także MLX. Modele mogą występować w różnych formatach kwantyzacji; dokumentacja Liquid AI wskazuje między innymi format GGUF dla inferencji CPU/GPU oraz MLX dla urządzeń Apple z układami Apple Silicon. 2

Dlaczego ważna jest pełna konfiguracja?

Największą wartością Pipette jest metodologia. Wynik jest przypisany do jasno opisanej konfiguracji, pochodzi ze zweryfikowanego uruchomienia laboratoryjnego i jest uzupełniony opublikowanym protokołem powtarzalności. Platforma przypina również zależności programowe — aktualne publiczne wyniki wymagają na przykład określonych kompilacji llama.cpp — dzięki czemu różnice między wersjami środowiska nie pozostają ukryte. 4116

To wyraźnie lepsze podejście niż porównywanie pojedynczej liczby „tokenów na sekundę” podanej przez producenta. Nie usuwa jednak wszystkich źródeł rozbieżności. Na rezultat nadal mogą wpływać temperatura urządzenia, stan systemu operacyjnego, konkretny wariant telefonu i ilość pamięci RAM, a także wybrany backend. Aby dwa wyniki były rzeczywiście porównywalne, te parametry powinny się zgadzać.

Pierwsze wyniki i ważne zastrzeżenie dotyczące iOS oraz Androida

• Wynik 48,37 tokena generowanych na sekundę na iPhonie 17 Pro dla 4-bitowego modelu Gemma 4 E2B uruchomionego przez Apple MLX jest bardzo dobry dla tej konkretnej konfiguracji. Należy go czytać jako: „Gemma 4 E2B + kwantyzacja 4-bitowa + MLX/Metal + iPhone 17 Pro”, a nie jako uniwersalną ocenę Gemmy czy wszystkich smartfonów. 45
• W teście inteligencji modeli mobilnych przy kontekście ograniczonym do 16 tys. tokenów wspólnymi liderami średniej oceny zostały Nanbeige4.2-3B i LFM2.5-2.6B — oba modele uzyskały wynik 63. 98
• iOS może korzystać z obliczeń GPU za pośrednictwem Metal i MLX, natomiast początkowy klient Androida działa wyłącznie na CPU. 10
• Z tego powodu obecnych wyników przepustowości iPhone’ów oraz telefonów z Androidem nie należy traktować jako czystego porównania układów. Rezultat Apple może uwzględniać akcelerację GPU, podczas gdy wynik Androida odzwierciedla inferencję CPU. Dane z Androida są przydatne do oceny wydajności CPU i doświadczenia użytkownika w tym konkretnym środowisku, ale nie dowodzą, że cały układ AI jednego telefonu jest z natury szybszy od układu w drugim. 104
• Kolejnym potrzebnym krokiem będzie dodanie backendów Androida wykorzystujących NPU oraz porównywalną akcelerację GPU. Dopiero wtedy międzyplatformowe zestawienia będą bardziej miarodajne.

Pipette a wyścig o wydajność układów mobilnych

Pipette pojawia się w czasie, gdy producenci układów coraz mocniej promują lokalne i agentowe zastosowania AI. Qualcomm podaje, że procesor Oryon trzeciej generacji w platformie Snapdragon 8 Elite Gen 5 osiąga taktowanie 4,74 GHz. Firma deklaruje również dla tej platformy wzrost wydajności CPU o 20 proc. oraz poprawę energoefektywności CPU o 35 proc. 14

Qualcomm zapowiadał ponadto kolejną flagową platformę Snapdragon z procesorem Oryon celującym w 5 GHz i architekturą FlexCache, która dynamicznie współdzieli pamięć podręczną między rdzeniami. Takie zapowiedzi pokazują kierunek rozwoju szybszych i bardziej responsywnych obciążeń lokalnych, ale samo taktowanie nie pozwala przewidzieć wydajności inferencji LLM. Znaczenie mają także środowisko uruchomieniowe, przepustowość pamięci, działanie pamięci podręcznej, kwantyzacja, backend GPU lub NPU, temperatura oraz limity długotrwałego poboru mocy. 913

Deklarowany przez Liquid AI plan rozszerzenia listy urządzeń i dodania testów akcelerowanych przez NPU może sprawić, że Pipette stanie się jeszcze bardziej użyteczny. Pozwoliłby bowiem odróżnić zyski wynikające wyłącznie z szybszego CPU od tych pochodzących z GPU i NPU przy wspólnych obciążeniach. Na obecnym etapie najbezpieczniej traktować Pipette jako przejrzysty benchmark pełnego wdrożenia AI, a nie ostateczny ranking sprzętu między platformami. 64