उत्तरप्रकाशित20 स्रोत
Liquid AI का Pipette: मोबाइल पर लोकल AI की परख का नया तरीका
Pipette Liquid AI का नि:शुल्क ओपन सोर्स बेंचमार्क सूट है, जो केवल AI मॉडल नहीं बल्कि मॉडल, क्वांटाइजेशन, रनटाइम, डिवाइस और वर्कलोड के पूरे संयोजन को मापता है। 24 अगस्त को Artificial Analysis के साथ जारी इस प्लेटफॉर्म में 1,000 से अधिक लैब सत्यापित कॉन्फिगरेशन और पांच ऑन डिवाइस प्रदर्शन मेट्रिक्स शामिल हैं। [11][9] य...
प्रकाशितकर्ताGPT Image 1.5 से चित्र बनाए गए
शोध उत्तर
मुख्य निष्कर्ष
- Pipette Liquid AI का नि:शुल्क ओपन सोर्स बेंचमार्क सूट है, जो केवल AI मॉडल नहीं बल्कि मॉडल, क्वांटाइजेशन, रनटाइम, डिवाइस और वर्कलोड के पूरे संयोजन को मापता है।
- 24 अगस्त को Artificial Analysis के साथ जारी इस प्लेटफॉर्म में 1,000 से अधिक लैब सत्यापित कॉन्फिगरेशन और पांच ऑन डिवाइस प्रदर्शन मेट्रिक्स शामिल हैं। [11][9]
- यह iOS और Android क्लाइंट के जरिए डाउनलोड किए गए मॉडल को डिवाइस पर ही चलाता है; शुरुआती कवरेज में 30 से अधिक मॉडल, सात क्वांटाइजेशन विकल्प और चार डिवाइस शामिल हैं। [11][4]
- शुरुआती iOS और Android नतीजों की सीधी तुलना सावधानी से करनी चाहिए, क्योंकि iOS पर GPU आधारित Metal/MLX उपलब्ध है, जबकि शुरुआती Android क्लाइंट CPU तक सीमित है। [10]
AI संकेत
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Liquid AI’s Pipette, the free open source on device AI benchmarking platform released on August 24 by the startup founded by former. Article summary: Pipette is Liquid AI’s free, open source benchmark suite for measuring an actual on device deployment—not merely a model—across the combination of model, quantization, runtime, device, and workload.. Topic tags: general web, llm, agents, ai, workflow. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait
Pipette Liquid AI का नि:शुल्क, ओपन-सोर्स बेंचमार्क सूट है। इसका लक्ष्य केवल यह बताना नहीं है कि कोई AI मॉडल कितना अच्छा है, बल्कि यह मापना है कि वही मॉडल किसी खास डिवाइस पर, किसी खास क्वांटाइजेशन फॉर्मेट और रनटाइम के साथ, वास्तविक वर्कलोड में कैसा प्रदर्शन करता है।
Artificial Analysis के साथ 24 अगस्त को जारी Pipette, Liquid AI के इन्फरेंस मापों को Artificial Analysis के मोबाइल-मॉडल इंटेलिजेंस मूल्यांकन के साथ जोड़ता है। 11
9
Pipette क्या-क्या मापता है?
Pipette की मूल इकाई कोई अकेला मॉडल नहीं, बल्कि पूरा डिप्लॉयमेंट कॉन्फिगरेशन है:
- मॉडल
- क्वांटाइजेशन
- रनटाइम
- डिवाइस
- वर्कलोड और संदर्भ लंबाई
सार्वजनिक रिलीज में 1,000 से अधिक मॉडल-क्वांटाइजेशन-रनटाइम-डिवाइस-कॉन्टेक्स्ट कॉन्फिगरेशन का लैब-सत्यापित डेटासेट है। शुरुआती लीडरबोर्ड में 30 से अधिक मॉडल, सात क्वांटाइजेशन विकल्प और चार डिवाइस शामिल हैं। 11
4
प्लेटफॉर्म पांच ऑन-डिवाइस प्रदर्शन मेट्रिक्स पर ध्यान देता है। इनमें प्रॉम्प्ट या प्रीफिल प्रदर्शन, टेक्स्ट जनरेशन या डिकोड गति, पहला टोकन मिलने में लगने वाला समय, पूरी प्रतिक्रिया का समय और मेमोरी उपयोग शामिल हैं। इसका मतलब है कि केवल तेज डिकोड रेट को देखकर किसी मॉडल या फोन को विजेता नहीं माना जाता। 4
11
कौन-से डिवाइस और ऑपरेटिंग सिस्टम समर्थित हैं?
Pipette के iOS और Android क्लाइंट उपलब्ध हैं। यह किसी क्लाउड API को कॉल करने के बजाय AI मॉडल को डिवाइस पर डाउनलोड करके स्थानीय रूप से चलाता है। 10
8
सार्वजनिक बेंचमार्क डेटा में macOS, iOS, Windows और Android के लिए llama.cpp बिल्ड शामिल हैं। शुरुआती मोबाइल मॉडल सेट में Liquid AI की LFM फैमिली के साथ Gemma और Nanbeige जैसे थर्ड-पार्टी छोटे मॉडल भी हैं। 11
2
हालांकि, अलग-अलग डिवाइसों पर मिले स्कोर तभी सार्थक रूप से तुलनीय माने जा सकते हैं, जब मॉडल, क्वांटाइजेशन, रनटाइम, डिवाइस वेरिएंट, RAM, ऑपरेटिंग सिस्टम और परीक्षण स्थितियां समान हों।
मॉडल, क्वांटाइजेशन और कॉन्टेक्स्ट लिमिट
मोबाइल-इंटेलिजेंस तुलना में ऐसे मॉडलों पर ध्यान दिया गया जो 4-बिट क्वांटाइजेशन के बाद 8 GB के भीतर फिट हो सकें। 10
8
Artificial Analysis के प्रकाशित मोबाइल परीक्षणों में 16K टोकन की संदर्भ सीमा इस्तेमाल की गई। दूसरी ओर, Liquid AI की LFM मॉडल लाइब्रेरी में कई मॉडलों के लिए 32K संदर्भ क्षमता और LFM2.5-8B-A1B के लिए 128K संदर्भ क्षमता दी गई है। ये मॉडल की अधिकतम क्षमताएं हैं; इन्हें Pipette के शुरुआती मानकीकृत वर्कलोड की सीमा नहीं समझना चाहिए। 8
2
Liquid AI के दस्तावेजों में स्थानीय CPU/GPU इन्फरेंस के लिए GGUF और Apple Silicon पर MLX जैसे फॉर्मेट या रनटाइम विकल्पों का उल्लेख है। Pipette का उद्देश्य इन्हीं अलग-अलग मॉडल और रनटाइम विकल्पों के असर को पूरे डिप्लॉयमेंट स्तर पर देखना है। 2
Pipette के नतीजे कितने भरोसेमंद हैं?
Pipette का सबसे महत्वपूर्ण योगदान उसकी पद्धति है। नतीजे स्पष्ट रूप से दर्ज किए गए पूरे कॉन्फिगरेशन से जुड़े हैं, सत्यापित लैब रन से आते हैं और प्रकाशित रिप्रोड्यूसिबिलिटी प्रोटोकॉल के साथ दिए जाते हैं। 4
11
यह सॉफ्टवेयर निर्भरताओं को भी पिन करता है। उदाहरण के लिए, मौजूदा सार्वजनिक प्रदर्शन नतीजों के लिए llama.cpp के खास बिल्ड—जैसे b10216 और b10516—की आवश्यकता है। इससे रनटाइम के अलग-अलग संस्करणों के कारण आने वाला छिपा अंतर कम होता है। 6
फिर भी यह तरीका हर तरह की भिन्नता खत्म नहीं करता। फोन का तापमान, ऑपरेटिंग सिस्टम की स्थिति, डिवाइस का SKU और RAM, बैकएंड, मेमोरी बैंडविड्थ तथा लंबे समय तक इस्तेमाल में पावर लिमिट नतीजों को बदल सकते हैं। इसलिए केवल किसी एक “टोकन प्रति सेकंड” संख्या से तुलना करना भ्रामक हो सकता है।
शुरुआती नतीजे: iPhone और Android की तुलना में सावधानी
iPhone 17 Pro पर 4-बिट Gemma 4 E2B को Apple MLX के जरिए चलाते हुए 48.37 डिकोड टोकन प्रति सेकंड का नतीजा दर्ज किया गया। यह उस खास कॉन्फिगरेशन के लिए प्रभावशाली है: Gemma 4 E2B, 4-बिट क्वांटाइजेशन, MLX/Metal रनटाइम और iPhone 17 Pro। इसे हर Gemma मॉडल या हर स्मार्टफोन का सार्वभौमिक स्कोर नहीं समझना चाहिए। 4
5
16K-कॉन्टेक्स्ट मोबाइल-इंटेलिजेंस मूल्यांकन में Nanbeige4.2-3B और LFM2.5-2.6B 63 के औसत स्कोर के साथ संयुक्त रूप से शीर्ष पर रहे। 9
8
यहां iOS और Android के बीच एक अहम तकनीकी अंतर है:
- iOS पर Metal/MLX के जरिए GPU कंप्यूटेशन का इस्तेमाल किया जा सकता है।
- शुरुआती Android क्लाइंट में गणना केवल CPU पर होती है।
10
इसलिए आज के iPhone बनाम Android थ्रूपुट आंकड़े सिलिकॉन-से-सिलिकॉन की निष्पक्ष तुलना नहीं हैं। iPhone के नतीजों में GPU एक्सेलरेशन शामिल हो सकता है, जबकि Android के आंकड़े CPU इन्फरेंस को दर्शाते हैं। Android के आंकड़े CPU प्रदर्शन और उस बैकएंड पर उपयोगकर्ता अनुभव समझने में उपयोगी हैं, लेकिन उनसे यह साबित नहीं होता कि किसी एक फोन का कुल लोकल-AI हार्डवेयर स्वाभाविक रूप से तेज है। 10
4
निष्पक्ष क्रॉस-प्लेटफॉर्म तुलना के लिए Android पर NPU-सक्षम या समान रूप से एक्सेलरेटेड GPU/NPU बैकएंड का समर्थन अगला जरूरी कदम होगा।
मोबाइल चिप की दौड़ से इसका क्या संबंध है?
Pipette ऐसे समय आया है जब चिप निर्माता लोकल और एजेंटिक AI वर्कलोड के लिए बेहतर प्रदर्शन पर जोर दे रहे हैं। Qualcomm का कहना है कि उसके Snapdragon 8 Elite Gen 5 का तीसरी पीढ़ी का Oryon CPU 4.74 GHz तक पहुंचता है। कंपनी इस प्लेटफॉर्म के लिए CPU प्रदर्शन में 20% और CPU पावर-एफिशिएंसी में 35% सुधार का भी दावा करती है। 14
अलग से, Qualcomm ने अगली पीढ़ी के फ्लैगशिप Snapdragon के लिए 5 GHz लक्ष्य वाले Oryon CPU और FlexCache डिजाइन का पूर्वावलोकन किया है। FlexCache अलग-अलग कोर के बीच कैश को गतिशील रूप से साझा करने का विचार पेश करता है। 9
13
लेकिन केवल क्लॉक स्पीड से LLM इन्फरेंस का अनुमान नहीं लगाया जा सकता। रनटाइम, मेमोरी बैंडविड्थ, कैश व्यवहार, क्वांटाइजेशन, GPU/NPU बैकएंड, तापमान और लंबे समय तक टिकने वाली पावर सीमा भी उतने ही महत्वपूर्ण हैं।
Liquid AI ने अधिक डिवाइस कवरेज और NPU-एक्सेलरेटेड परीक्षणों की दिशा बताई है। ऐसा होने पर Pipette यह अलग करने में अधिक उपयोगी होगा कि प्रदर्शन लाभ CPU से आया है या GPU और NPU से। 6
4
फिलहाल Pipette को पारदर्शी ऑन-डिवाइस डिप्लॉयमेंट बेंचमार्क के रूप में देखना सबसे उचित है—सभी प्लेटफॉर्म के हार्डवेयर की अंतिम रैंकिंग के रूप में नहीं।
Studio Global AI
अपना शोध जारी रखें
इस पृष्ठ में एक स्रोत-समर्थित उत्तर शामिल है जिसे आप Studio Global के अंदर जारी रख सकते हैं।
लोग पूछते भी हैं
"Liquid AI का Pipette: मोबाइल पर लोकल AI की परख का नया तरीका" का संक्षिप्त उत्तर क्या है?
Pipette Liquid AI का नि:शुल्क ओपन सोर्स बेंचमार्क सूट है, जो केवल AI मॉडल नहीं बल्कि मॉडल, क्वांटाइजेशन, रनटाइम, डिवाइस और वर्कलोड के पूरे संयोजन को मापता है।
सबसे पहले सत्यापित करने योग्य मुख्य बिंदु क्या हैं?
Pipette Liquid AI का नि:शुल्क ओपन सोर्स बेंचमार्क सूट है, जो केवल AI मॉडल नहीं बल्कि मॉडल, क्वांटाइजेशन, रनटाइम, डिवाइस और वर्कलोड के पूरे संयोजन को मापता है। 24 अगस्त को Artificial Analysis के साथ जारी इस प्लेटफॉर्म में 1,000 से अधिक लैब सत्यापित कॉन्फिगरेशन और पांच ऑन डिवाइस प्रदर्शन मेट्रिक्स शामिल हैं। [11][9]
मुझे अभ्यास में आगे क्या करना चाहिए?
यह iOS और Android क्लाइंट के जरिए डाउनलोड किए गए मॉडल को डिवाइस पर ही चलाता है; शुरुआती कवरेज में 30 से अधिक मॉडल, सात क्वांटाइजेशन विकल्प और चार डिवाइस शामिल हैं। [11][4]
सूत्र
liquid.aiIntroducing Pipette: A benchmarking suite for on-device ...
artificialanalysis.aiBenchmarking small models and mobile phones
pipette.liquid.aiPipette Overview | On-Device Model Benchmarks - Liquid AI