AnswersPublished24 sources
Pipette של Liquid AI לא בודק רק מודל — אלא את כל מערכת ה-AI במכשיר
Pipette, שהושק ב 24 באוגוסט 2026, מודד פריסות מלאות של AI על המכשיר ולא רק את ביצועי משקלי המודל. המערכת תומכת ב iOS ובאנדרואיד, בהרצה מקומית של מודלים שהורדו למכשיר, בפורמטי דחיסה שונים ובגרסאות llama.cpp ל macOS, ל iOS, ל Windows ולאנדרואיד.
פורסם על ידינערך באמצעות GPT-5.6 Lunaהתמונות נוצרו באמצעות GPT Image 1.5
Research answer
Key takeaways
- Pipette, שהושק ב 24 באוגוסט 2026, מודד פריסות מלאות של AI על המכשיר ולא רק את ביצועי משקלי המודל.
- המערכת תומכת ב iOS ובאנדרואיד, בהרצה מקומית של מודלים שהורדו למכשיר, בפורמטי דחיסה שונים ובגרסאות llama.cpp ל macOS, ל iOS, ל Windows ולאנדרואיד.
- המדדים כוללים מהירות עיבוד הקלט, קצב יצירת טוקנים, זמן עד לטוקן הראשון, זמן תגובה כולל וצריכת זיכרון.
- במבחן האינטליגנציה למובייל, Nanbeige4.2 3B ו LFM2.5 2.6B חלקו את המקום הראשון עם ציון ממוצע של 63 תחת מגבלת הקשר של 16K טוקנים.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Liquid AI’s Pipette, the free open-source on-device AI benchmarking platform released on August 24 by the startup founded by former. Article summary: Pipette is Liquid AI’s free, open-source benchmark suite for measuring an actual on-device deployment—not merely a model—across the combination of model, quantization, runtime, device, and workload. Released August 24 wi. Topic tags: general, general web, user generated, academic, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, wa
Pipette היא ערכת בנצ'מרק בקוד פתוח של Liquid AI, שנועדה לבדוק מודלי AI במקום שבו הם פועלים בפועל: בטלפונים, במחשבים ניידים, במחשבים אישיים ובחומרת קצה אחרת. היא הושקה ב-24 באוגוסט 2026 בשיתוף Artificial Analysis, ומודדת את הפריסה המלאה — ולא רק את המודל עצמו. כלומר, התוצאה תלויה במודל, בשיטת הדחיסה, בסביבת ההרצה, במכשיר ובעומס העבודה יחד. 3
1
למה Pipette שונה מבנצ'מרק רגיל של מודלים?
לוחות דירוג רבים מתמקדים ביכולות של מודל או מציגים נתון יחיד של מהירות הסיק. Pipette מנסה לענות על שאלה מעשית יותר: איך המערכת כולה מתפקדת כשהמודל רץ מקומית על חומרה אמיתית?
שינוי בשיטת הדחיסה, בגרסת סביבת ההרצה, במאיץ החומרה, בעומס הזיכרון או במכשיר עצמו עשוי לשנות את התוצאה — גם כאשר משקלי המודל לא השתנו.
ההשקה כללה מאגר ציבורי של תוצאות שנבדקו במעבדה, ובו יותר מ-1,000 שילובים של מודל, דחיסה, סביבת הרצה, מכשיר ואורך הקשר. הגרסה הראשונית כוללת יותר מ-30 מודלים, כמה פורמטי דחיסה וגרסאות של llama.cpp עבור macOS, iOS, Windows ואנדרואיד. נתוני הביצועים הסטנדרטיים מכסים אורכי הקשר של 256 עד 8,192 טוקנים. 3
במקביל למדידות ההסקה של Pipette, Artificial Analysis בוחנת את רמת האינטליגנציה של מודלים המתאימים לטלפונים. שיתוף הפעולה משלב אפוא בין איכות התשובות לבין המהירות, זמן התגובה ויעילות ההרצה של פריסה מסוימת. 33
אילו מכשירים ומערכות הפעלה נתמכים?
ל-Pipette יש אפליקציות מקוריות ל-iOS ולאנדרואיד, שמאפשרות להריץ מודלים מקומית על סמארטפון. כיסוי הבנצ'מרק הרחב יותר כולל גם macOS ו-Windows באמצעות גרסאות נתמכות של סביבת ההרצה. בין מכשירי הייחוס שצוינו בחומרי ההשקה נמצאים iPhone 17 Pro, Galaxy S26 Ultra ו-MacBook Pro עם שבב M5 Max. 3
38
לפני הבדיקה יש להוריד את המודל למכשיר. לכן Pipette מודדת הסקה מקומית — ולא את זמן ההשהיה של שירות ענן או API מרוחק. 41
50
אילו מודלים ופורמטי דחיסה נבדקים?
בלוח הדירוג מופיעים מודלים ממשפחת LFM2.5 של Liquid AI לצד מודלים של חברות וקהילות אחרות, בהם Gemma, Nanbeige, Granite, Qwen וגרסאות קטנות או דחוסות של מודלים נוספים. 9
41
המערכת תומכת במספר פורמטי דחיסה. בהשוואת האינטליגנציה למובייל התמקדו במודלים שנכנסים לנפח של עד 8 גיגה-בייט לאחר דחיסה ל-4 ביט — תנאי שרלוונטי במיוחד לטלפונים בעלי זיכרון מוגבל. 3
41
בפריסה מקומית Liquid AI מבחינה בין GGUF, פורמט נפוץ להרצה באמצעות llama.cpp על מעבדי CPU ו-GPU, לבין MLX, פורמט המיועד לפריסות על שבבי Apple Silicon. 47 גודל הקובץ של מודל דחוס הוא רק חלק מהתמונה: סביבת ההרצה והמאיץ החומרתי קובעים כיצד המודל יעובד בפועל.
אורכי הקשר ועומסי העבודה
מאגר ההשקה מציג תצורות סטנדרטיות עבור אורכי הקשר שבין 256 ל-8,192 טוקנים. 3 ההערכה הנפרדת של Artificial Analysis לאינטליגנציה במובייל משתמשת במגבלת הקשר של 16K טוקנים.
33
חשוב לא לבלבל בין הנתונים האלה לבין אורך ההקשר המרבי שמודל מסוגל לתמוך בו. בתיעוד של Liquid מצוינים 32K טוקנים עבור מודלים רבים ממשפחת LFM ו-128K עבור LFM2.5-8B-A1B, אך יכולת תאורטית של מודל אינה אומרת שכל בדיקה בטלפון תרוץ באורך המלא הזה. 47
אילו מדדים Pipette מודדת?
Pipette אינה מסתפקת בקצב יצירת הטוקנים. היא משלבת חמישה מדדי ביצועים:
- מהירות עיבוד הפרומפט, או prefill;
- קצב יצירת הטוקנים, או decode;
- הזמן עד לקבלת הטוקן הראשון;
- הזמן הכולל עד לקבלת התשובה המלאה;
- צריכת הזיכרון.
1
3
השילוב חשוב משום שפריסה יכולה לייצר טוקנים במהירות, אך להתחיל באיטיות, לצרוך יותר מדי זיכרון או להאט ככל שההקשר מתארך. זמן התגובה הכולל הוא מדד שימושי במיוחד למי שרוצה להבין כיצד עוזר מקומי ירגיש בשימוש יומיומי.
Artificial Analysis מוסיפה את צד האיכות באמצעות מבחנים של ביצוע הוראות, שימוש בכלים, יכולות reasoning והערכות יכולת נוספות. 33
כיצד Pipette מנסה לשמור על תוצאות שחוזרות על עצמן?
כל תוצאה ב-Pipette מקושרת לתצורה מפורשת, והפרוטוקולים ששימשו להפקת הנתונים המאומתים מפורסמים לציבור. לוח הבנצ'מרק מפריד בין השוואת הדירוגים לבין תוצאות מפורטות והגשות, כך שניתן לבחון את שורות הנתונים עצמן ולא להסתמך רק על דירוג כותרת. 1
המתודולוגיה מתעדת גם את התלויות התוכנתיות. Liquid AI מציינת, למשל, שתוצאות הביצועים הציבוריות הנוכחיות דורשות גרסאות מסוימות של llama.cpp, ובהן b10216 ו-b10516. 2 קיבוע גרסת סביבת ההרצה מסייע למנוע מצב שבו שינוי תוכנה מוצג בטעות כשיפור של החומרה או של המודל.
עם זאת, גם פרוטוקול מסודר אינו מעלים כל מקור לשונות. התחממות והאטה תרמית, מצב מערכת ההפעלה, כמות הזיכרון הזמינה, הקושחה, בחירת המאיץ ומגבלות צריכת החשמל לאורך זמן — כולם עשויים להשפיע על תוצאת הטלפון. ציון משמעותי באמת הוא ציון שנמדד תחת תנאים זהים ככל האפשר.
מה הראו התוצאות הראשונות?
התוצאות הראשונות ממחישות מדוע Pipette מציגה תצורות מלאות במקום לנסות ליצור דירוג אוניברסלי של מודלים.
- ב-iPhone 17 Pro נמדדה תוצאה של 48.37 טוקנים לשנייה בקצב decode עבור Gemma 4 E2B בדחיסת 4 ביט, באמצעות Apple MLX. זהו נתון עבור השילוב המדויק של Gemma, הדחיסה, MLX/Metal וה-iPhone — ולא ציון שחל על כל פריסת Gemma או על כל טלפון.
- בהערכת האינטליגנציה למובייל עם הקשר של 16K טוקנים, Nanbeige4.2-3B ו-LFM2.5-2.6B חלקו את המקום הראשון עם ציון ממוצע של 63.
33
- Artificial Analysis דיווחה גם כי LFM2.5-2.6B ענה על פרומפט סטנדרטי של 1,024 טוקנים ב-iPhone 17 Pro בתוך 8.0 שניות, תוך שימוש ב-2.3 גיגה-בייט זיכרון. גם זו תוצאה של תצורה מסוימת, ואין להכליל אותה לכל מכשיר.
המסקנה המרכזית היא שאיכות, מהירות, זמן תגובה וצריכת זיכרון לא תמיד הולכים באותו כיוון. המודל המהיר ביותר אינו בהכרח המודל החכם ביותר, והמודל שקיבל את ציון היכולת הגבוה ביותר אינו בהכרח הפריסה הטובה ביותר לטלפון.
למה אי אפשר להשוות כרגע ישירות בין iOS לאנדרואיד?
המגבלה החשובה ביותר בהשקה הסלולרית הראשונית היא ההבדל בין שתי האפליקציות. גרסת iOS יכולה להשתמש בחישובי GPU דרך סביבת Metal של Apple, כולל MLX. גרסת האנדרואיד הוגבלה בתחילה להרצה על CPU בלבד. 41
50
לכן תוצאה של iPhone באמצעות MLX/Metal ותוצאה של מכשיר אנדרואיד באמצעות CPU בלבד אינן השוואה נקייה של כלל חומרת ה-AI בטלפונים. המדידה ב-iOS עשויה ליהנות מהאצת GPU, בעוד שהמדידה באנדרואיד משקפת את ביצועי מסלול ה-CPU שהאפליקציה הנוכחית חושפת.
תוצאות אנדרואיד עדיין שימושיות להבנת הסקה מקומית על CPU ואת חוויית השימוש שמספקת אותה מימוש. עם זאת, אין להשתמש בהן כדי לקבוע שבב AI של טלפון אחד מהיר יותר באופן מוחלט מזה של טלפון אחר, עד שייבדקו מאיצי GPU או NPU מקבילים תחת אותו עומס עבודה.
הקשר למרוץ שבבי המובייל
Pipette מגיעה בתקופה שבה יצרניות שבבים מדגישות עיבוד מקומי מהיר יותר ויכולות AI המבצעות משימות מורכבות ישירות במכשיר. פלטפורמת Snapdragon 8 Elite Gen 5 של Qualcomm משתמשת במעבד Oryon מהדור השלישי, במהירות של עד 4.74 גיגה-הרץ, והחברה טוענת לשיפור של 20% בביצועי ה-CPU ולשיפור של 35% ביעילות האנרגטית של ה-CPU. 24
Qualcomm כבר הציגה גם פרטים ראשונים על פלטפורמת Snapdragon עתידית, עם מעבד Oryon שמכוון ל-5 גיגה-הרץ וארכיטקטורת FlexCache, המאפשרת לליבות CPU הטרוגניות לחלוק מאגר מטמון שמוקצה באופן דינמי. 23
הנתונים האלה מדגישים מדוע AI מקומי הופך לזירת תחרות חומרתית, אך מהירות שעון לבדה אינה מנבאת ביצועים של מודל שפה. דחיסה, רוחב פס הזיכרון, התנהגות המטמון, מימוש סביבת ההרצה, שימוש ב-GPU או ב-NPU, טמפרטורה ומגבלת צריכת החשמל לאורך זמן עשויים להיות חשובים לא פחות.
כאן טמון הערך של הגישה המבוססת על תצורות ב-Pipette: היא יכולה להראות אם שיפור שמבטיח יצרן שבבים מתורגם בפועל ל-AI מקומי מהיר יותר, מגיב יותר וחסכוני יותר בזיכרון, תחת עומס עבודה שניתן לשחזר.
בשלב הנוכחי, הדרך המדויקת ביותר להבין את Pipette היא כמדד שקוף לביצועי פריסת AI — לא כדירוג סופי של חומרת iPhone מול אנדרואיד.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Pipette של Liquid AI לא בודק רק מודל — אלא את כל מערכת ה-AI במכשיר"?
Pipette, שהושק ב 24 באוגוסט 2026, מודד פריסות מלאות של AI על המכשיר ולא רק את ביצועי משקלי המודל.
What are the key points to validate first?
Pipette, שהושק ב 24 באוגוסט 2026, מודד פריסות מלאות של AI על המכשיר ולא רק את ביצועי משקלי המודל. המערכת תומכת ב iOS ובאנדרואיד, בהרצה מקומית של מודלים שהורדו למכשיר, בפורמטי דחיסה שונים ובגרסאות llama.cpp ל macOS, ל iOS, ל Windows ולאנדרואיד.
What should I do next in practice?
המדדים כוללים מהירות עיבוד הקלט, קצב יצירת טוקנים, זמן עד לטוקן הראשון, זמן תגובה כולל וצריכת זיכרון.