Liquid AI Pipette बेंचमार्क: ऑन-डिवाइस AI की पूरी परफॉर्मेंस का परीक्षण

Liquid AI का Pipette एक ओपन-सोर्स बेंचमार्क सूट है, जिसे यह जांचने के लिए बनाया गया है कि AI मॉडल उन डिवाइसों पर वास्तव में कैसा प्रदर्शन करते हैं जहां उन्हें चलाया जाना है—जैसे स्मार्टफोन, लैपटॉप, PC और अन्य edge hardware। Artificial Analysis के साथ साझेदारी में 24 अगस्त को जारी यह प्लेटफॉर्म केवल मॉडल की क्षमता नहीं, बल्कि पूरे deployment को मापता है। इसमें मॉडल, क्वांटाइजेशन, रनटाइम, डिवाइस और वर्कलोड को एक ही इकाई माना जाता है। 31

सामान्य मॉडल बेंचमार्क से Pipette कैसे अलग है?

कई AI लीडरबोर्ड मुख्य रूप से capability score या inference speed का एक आंकड़ा दिखाते हैं। Pipette का उद्देश्य यह बताना है कि वास्तविक डिवाइस पर पूरा AI stack कैसा व्यवहार करता है। मॉडल के वेट्स समान रहने पर भी क्वांटाइजेशन, रनटाइम, backend, मेमोरी दबाव या हार्डवेयर बदलने से परिणाम बदल सकता है।

लॉन्च के साथ 1,000 से अधिक model, quantization, runtime, device और context configurations के लैब-वेरिफाइड परिणामों का सार्वजनिक dataset जारी किया गया। शुरुआती कवरेज में 30 से अधिक मॉडल, कई quantization formats और macOS, iOS, Windows तथा Android के लिए llama.cpp builds शामिल हैं। standardized performance data में 256 से 8,192 tokens तक की context lengths दी गई हैं। 3

Pipette के inference measurements को Artificial Analysis के mobile-model intelligence evaluation के साथ जोड़ा गया है। इसलिए यह साझेदारी दो सवालों को साथ रखती है: मॉडल कितना अच्छा काम करता है और किसी खास deployment पर वह कितनी तेजी तथा दक्षता से चलता है। 33

Pipette किन डिवाइस और सिस्टम को सपोर्ट करता है?

Pipette के native iOS और Android clients स्मार्टफोन पर मॉडल को स्थानीय रूप से चलाने की सुविधा देते हैं। इसके व्यापक benchmark coverage में समर्थित runtime builds के जरिए macOS और Windows भी शामिल हैं। सार्वजनिक launch materials में iPhone 17 Pro, Galaxy S26 Ultra और M5 Max chip वाले MacBook Pro को reference hardware के रूप में दिखाया गया है। 338

टेस्ट शुरू करने से पहले मॉडल को डिवाइस पर डाउनलोड करना पड़ता है। इसका मतलब है कि Pipette cloud API की network latency नहीं, बल्कि local inference को मापता है। 4150

मॉडल, quantization और file formats

लीडरबोर्ड में Liquid AI की LFM2.5 family के साथ third-party मॉडल भी शामिल हैं। उदाहरणों में Gemma, Nanbeige, Granite, Qwen और अन्य छोटे या compressed model variants आते हैं। 941

बेंचमार्क कई quantization formats को सपोर्ट करता है। Mobile-intelligence comparison में उन मॉडलों पर ध्यान दिया गया जो 4-bit quantization के बाद 8 GB के भीतर फिट हो जाते हैं। इससे यह परीक्षण सीमित मेमोरी वाले स्मार्टफोन के लिए अधिक प्रासंगिक बनता है। 341

Local deployment के संदर्भ में Liquid AI का documentation GGUF और MLX के बीच अंतर बताता है। GGUF का इस्तेमाल आम तौर पर llama.cpp के साथ CPU और GPU inference के लिए होता है, जबकि MLX Apple Silicon deployment के लिए बनाया गया है। 47 हालांकि quantized model का file size महत्वपूर्ण है, अंतिम प्रदर्शन केवल उसी से तय नहीं होता; runtime और hardware backend यह निर्धारित करते हैं कि मॉडल वास्तव में कैसे process होगा।

Context length और workload

लॉन्च dataset में 256 से 8,192 tokens तक की context lengths पर standardized inference configurations रिपोर्ट की गई हैं। 3 दूसरी ओर, Artificial Analysis के mobile-intelligence evaluation में 16K-token context limit इस्तेमाल की गई। 33

इन आंकड़ों को मॉडल की अधिकतम advertised context window से अलग समझना चाहिए। Liquid के documentation में कई LFM मॉडलों के लिए 32K-token context और LFM2.5-8B-A1B के लिए 128K-token context दिया गया है। लेकिन मॉडल की क्षमता का यह अर्थ नहीं है कि हर फोन benchmark उसी पूरी लंबाई पर चलता है। 47

Pipette कौन-कौन से metrics मापता है?

Pipette केवल decode speed पर निर्भर नहीं करता। इसके पांच प्रमुख performance metrics हैं:

• prompt या prefill processing
• generation या decode throughput
• time to first token
• पूरी response मिलने में लगा समय
• memory usage 1314

यह संयोजन इसलिए महत्वपूर्ण है क्योंकि कोई deployment tokens तेजी से generate कर सकता है, फिर भी शुरुआत में अधिक समय ले सकता है, बहुत ज्यादा मेमोरी खा सकता है या context बढ़ने पर धीमा हो सकता है। End-to-end response time उस अनुभव को बेहतर ढंग से दर्शाता है जो किसी व्यक्ति को local AI assistant इस्तेमाल करते समय मिलता है।

Artificial Analysis quality side पर instruction following, tool use, reasoning और संबंधित capability evaluations जैसे परीक्षण उपलब्ध कराता है। 33

परिणामों को reproducible बनाने की कोशिश

Pipette प्रत्येक परिणाम को एक स्पष्ट configuration से जोड़ता है और verified data तैयार करने के लिए इस्तेमाल किए गए protocols प्रकाशित करता है। इसके public dashboard में leaderboard, detailed results और submissions को अलग-अलग देखा जा सकता है। इससे केवल headline ranking पर निर्भर रहने के बजाय मूल benchmark rows की जांच की जा सकती है। 1

Methodology runtime dependencies को भी दर्ज करती है। उदाहरण के लिए, Liquid AI के अनुसार मौजूदा public performance results के लिए llama.cpp के कुछ निश्चित builds, जिनमें b10216 और b10516 शामिल हैं, जरूरी हैं। 2 Runtime version को इस तरह pin करने से software बदलावों को गलती से hardware या model improvement समझने का जोखिम घटता है।

फिर भी इससे हर तरह का अंतर खत्म नहीं होता। Thermal throttling, operating-system state, device memory, firmware, backend selection और sustained power limits फोन के परिणाम को प्रभावित कर सकते हैं। इसलिए किसी score की सही तुलना तभी होगी जब ये variables भी समान हों।

शुरुआती नतीजे क्या बताते हैं?

लॉन्च के परिणाम दिखाते हैं कि Pipette universal model ranking के बजाय पूरी configuration के आधार पर नतीजे क्यों प्रकाशित करता है।

• iPhone 17 Pro पर 4-bit Gemma 4 E2B और Apple MLX के साथ 48.37 decode tokens per second का परिणाम दर्ज किया गया। यह उसी Gemma model, quantization, MLX/Metal runtime और iPhone configuration का परिणाम है—इसे हर Gemma deployment या हर फोन का score नहीं माना जा सकता। 45
• 16K-context mobile-intelligence assessment में Nanbeige4.2-3B और LFM2.5-2.6B ने 63 के औसत स्कोर के साथ संयुक्त रूप से शीर्ष स्थान हासिल किया। 33
• Artificial Analysis के अनुसार LFM2.5-2.6B ने iPhone 17 Pro पर standard 1,024-token prompt का उत्तर 8.0 सेकंड में दिया और 2.3 GB memory का इस्तेमाल किया। यह भी एक विशिष्ट test configuration का परिणाम है, जिसे सभी डिवाइसों पर लागू नहीं किया जा सकता। 33

मुख्य बात यह है कि quality, speed, latency और memory अलग-अलग दिशाओं में जा सकते हैं। सबसे तेज मॉडल जरूरी नहीं कि सबसे सक्षम हो, और सबसे अधिक capability score वाला मॉडल जरूरी नहीं कि फोन पर सबसे अच्छा deployment दे।

iOS और Android की सीधी तुलना अभी क्यों मुश्किल है?

शुरुआती mobile release की सबसे बड़ी सीमा दोनों clients का अलग-अलग hardware path है। iOS version Apple के Metal ecosystem और MLX के जरिए GPU computation कर सकता है, जबकि Android version शुरुआत में CPU inference तक सीमित था। 4150

इसलिए MLX/Metal का इस्तेमाल करने वाले iPhone result और CPU-only Android result फोन के कुल AI hardware की साफ-सुथरी तुलना नहीं हैं। iOS measurement को GPU acceleration का लाभ मिल सकता है, जबकि Android measurement मौजूदा client के CPU path को दर्शाता है।

Android परिणाम CPU-based local inference और उस implementation के user experience को समझने के लिए उपयोगी हैं। लेकिन equivalent GPU या NPU backends को समान workload पर test किए बिना इनके आधार पर यह कहना सही नहीं होगा कि किसी एक फोन का पूरा AI silicon दूसरे से तेज है।

Mobile-chip race में Pipette की भूमिका

Pipette ऐसे समय आया है जब chipmakers local और agentic AI processing को तेज बनाने पर जोर दे रहे हैं। Qualcomm के Snapdragon 8 Elite Gen 5 platform में third-generation Oryon CPU की clock speed 4.74 GHz तक जाती है। कंपनी 20% CPU-performance improvement और 35% CPU power-efficiency improvement का दावा करती है। 24

Qualcomm ने इसके बाद आने वाले flagship Snapdragon platform का भी preview दिया है, जिसमें Oryon CPU 5 GHz तक पहुंचने का लक्ष्य रखता है। इसमें FlexCache architecture है, जो अलग-अलग CPU cores को workload के अनुसार dynamically allocated shared cache pool तक पहुंच देता है। 23

ये specifications बताते हैं कि on-device AI अब hardware competition का अहम हिस्सा बन रहा है। लेकिन केवल clock speed से language-model performance का अनुमान नहीं लगाया जा सकता। Quantization, memory bandwidth, cache behavior, runtime implementation, GPU या NPU का इस्तेमाल, thermal limits और sustained power भी उतने ही महत्वपूर्ण हो सकते हैं।

यहीं Pipette का configuration-based approach उपयोगी बनता है। इसका सबसे मजबूत दीर्घकालिक योगदान यह दिखाना होगा कि किसी chip improvement का असर reproducible workload पर तेज, अधिक responsive और कम memory-intensive local AI में वास्तव में दिखाई देता है या नहीं। फिलहाल Pipette को पारदर्शी deployment benchmark के रूप में समझना बेहतर है—इसे iPhone बनाम Android hardware की अंतिम ranking नहीं माना जाना चाहिए।