Apa Itu Pipette, Benchmark AI On-Device Gratis dan Open Source dari Liquid AI?

Pipette adalah rangkaian benchmark gratis dan open source dari Liquid AI untuk mengukur performa AI yang benar-benar dijalankan di perangkat. Platform ini dirilis pada 24 Agustus melalui kerja sama dengan Artificial Analysis. Liquid AI menangani pengukuran inferensi, sedangkan Artificial Analysis menguji kecerdasan model untuk penggunaan di perangkat seluler. 119

Berbeda dari benchmark yang hanya menampilkan skor sebuah model atau angka “tokens per detik”, Pipette menilai konfigurasi deployment secara lengkap: model, format kuantisasi, runtime, perangkat, dan beban kerja. Dengan demikian, hasil pengujian lebih dekat dengan pengalaman penggunaan nyata di ponsel atau komputer.

Apa saja yang diukur Pipette?

Rilis publik Pipette mencakup dataset yang diverifikasi di laboratorium dengan lebih dari 1.000 konfigurasi. Leaderboard awalnya memuat lebih dari 30 model, tujuh opsi kuantisasi, dan empat perangkat. 114

Lima metrik performa on-device yang digunakan mencakup:

• performa prompt atau prefill;
• kecepatan pembuatan token atau decode;
• waktu hingga token pertama (time to first token atau TTFT);
• waktu respons dari awal hingga selesai; dan
• penggunaan memori. 411

Pendekatan ini penting karena kecepatan decode yang tinggi belum tentu menghasilkan pengalaman terbaik. Model bisa saja cepat menghasilkan token, tetapi membutuhkan waktu lama untuk mulai merespons atau menghabiskan terlalu banyak memori.

Perangkat dan sistem operasi yang didukung

Pipette menyediakan klien untuk iOS dan Android. Aplikasi ini menjalankan model yang diunduh secara lokal ke perangkat, sehingga pengukuran tidak bergantung pada layanan cloud. 108

Pada implementasi awal, iOS dapat menggunakan komputasi GPU melalui Metal dan MLX. Sementara itu, klien Android yang tersedia saat peluncuran masih menjalankan inferensi berbasis CPU. 10

Perbedaan backend tersebut harus diperhatikan ketika membaca leaderboard. Hasil iPhone yang memanfaatkan akselerasi GPU tidak dapat dianggap sebagai perbandingan langsung dengan hasil Android yang hanya menggunakan CPU.

Model AI dan format kuantisasi

Model yang tercakup dalam pengujian awal meliputi keluarga Liquid Foundation Models (LFM) milik Liquid AI serta model pihak ketiga berukuran kecil, seperti Gemma dan Nanbeige. Untuk perbandingan kecerdasan di perangkat seluler, Artificial Analysis berfokus pada model yang dapat dimuat dalam batas 8 GB ketika menggunakan kuantisasi 4-bit. 108

Kuantisasi adalah proses mengurangi presisi angka dalam model agar ukuran dan kebutuhan memorinya lebih kecil. Model 4-bit biasanya lebih mudah dijalankan secara lokal, tetapi hasil performa dan kualitasnya tetap bergantung pada runtime, perangkat, serta format yang digunakan.

Dokumentasi Liquid AI juga mencantumkan GGUF sebagai format yang sesuai untuk inferensi CPU/GPU lokal di berbagai platform, serta MLX untuk perangkat Mac dengan Apple Silicon. 2

Batas konteks dalam pengujian

Pengujian kecerdasan seluler yang dipublikasikan Artificial Analysis menggunakan batas konteks 16K token. Pada peluncuran awal, Nanbeige4.2-3B dan LFM2.5-2.6B meraih skor rata-rata tertinggi bersama-sama, yaitu 63. 98

Angka ini perlu dibedakan dari kemampuan konteks model secara umum. Katalog LFM mencantumkan konteks 32K token untuk banyak model dan 128K untuk LFM2.5-8B-A1B. Namun, kemampuan tersebut tidak berarti setiap model diuji dalam beban kerja standar Pipette dengan panjang konteks yang sama. 82

Dataset performa Pipette sendiri mencakup panjang konteks dari 256 hingga 8.192 token untuk konfigurasi yang dipublikasikan. 11

Mengapa hasilnya lebih mudah direproduksi?

Kontribusi utama Pipette bukan hanya aplikasinya, melainkan metodologinya. Setiap hasil dikaitkan dengan konfigurasi lengkap dan berasal dari pengujian laboratorium yang telah diverifikasi. Liquid AI juga menerbitkan protokol agar pengujian dapat ditelusuri dan diulang. 411

Platform ini turut mencatat dependensi perangkat lunak. Sebagai contoh, hasil performa publik saat ini mensyaratkan build llama.cpp tertentu, termasuk b10216 dan b10516. Langkah tersebut membantu mencegah perubahan versi runtime tersembunyi yang dapat membuat dua hasil tampak sebanding padahal sebenarnya tidak. 6

Meski demikian, Pipette tidak menghapus seluruh variasi pengujian. Suhu perangkat, kondisi sistem operasi, kapasitas RAM, varian perangkat, backend, dan batas daya berkelanjutan tetap dapat memengaruhi hasil. Karena itu, dua angka baru layak dibandingkan jika seluruh bidang penting dalam konfigurasinya sesuai.

Hasil awal dan catatan penting soal iPhone versus Android

Salah satu hasil yang disorot adalah 48,37 token decode per detik pada iPhone 17 Pro untuk Gemma 4 E2B dalam format 4-bit melalui Apple MLX. Angka tersebut sebaiknya dibaca sebagai hasil dari konfigurasi spesifik—Gemma 4 E2B, kuantisasi 4-bit, runtime MLX/Metal, dan iPhone 17 Pro—bukan sebagai skor universal untuk Gemma atau semua ponsel. 45

Perbandingan iPhone dan Android saat ini juga belum menjadi perbandingan murni antarsilikon. iPhone dapat memanfaatkan GPU melalui Metal/MLX, sedangkan pengujian Android awal merefleksikan inferensi CPU. Hasil Android tetap berguna untuk menilai performa CPU dan pengalaman penggunaan pada backend tersebut, tetapi belum dapat membuktikan bahwa perangkat tertentu memiliki hardware AI lokal yang secara keseluruhan lebih cepat. 104

Dukungan backend Android yang memanfaatkan NPU atau akselerator GPU secara setara akan menjadi langkah penting berikutnya untuk menghasilkan perbandingan lintas platform yang lebih adil.

Kaitannya dengan persaingan chip seluler

Pipette hadir ketika produsen chip semakin menekankan kemampuan AI lokal dan beban kerja agen. Qualcomm menyebut CPU Oryon generasi ketiga pada Snapdragon 8 Elite Gen 5 mampu mencapai 4,74 GHz, sekaligus mengklaim peningkatan performa CPU sebesar 20% dan efisiensi daya CPU sebesar 35% untuk platform tersebut. 7

Qualcomm juga telah mempratinjau platform Snapdragon flagship berikutnya dengan CPU Oryon yang menargetkan frekuensi 5 GHz dan rancangan FlexCache untuk membagi cache secara dinamis di antara inti. 127

Namun, frekuensi clock saja tidak dapat memprediksi performa inferensi LLM. Bandwidth memori, perilaku cache, kuantisasi, runtime, backend GPU/NPU, suhu, dan batas daya berkelanjutan sama-sama berpengaruh.

Arah pengembangan Liquid AI—menambah cakupan perangkat serta pengujian yang dipercepat NPU—dapat membuat Pipette semakin berguna. Platform ini nantinya berpotensi membedakan peningkatan yang berasal dari CPU, GPU, dan NPU dalam beban kerja yang sama. Sampai dukungan tersebut tersedia, Pipette paling tepat dipahami sebagai benchmark deployment yang transparan dan dapat ditelusuri, bukan sebagai peringkat final untuk menentukan hardware seluler tercepat. 64