מודל שפה שרץ ישירות בטלפון עשוי לחסוך תלות בחיבור לענן — אבל כדי להעריך אם הוא באמת מתאים לאפליקציה, צריך יותר מנתון מהירות אחד. MNN-Pocket-0.3B, מודל קומפקטי של צוות Taobao MNN מבית Alibaba, נועד להרצת משימות בסינית ובאנגלית בתוך אפליקציות מובייל. הצוות מדווח על גרסת MNN ב־INT4 בגודל 173 מגה־בייט ועל מהירות פענוח של 350 טוקנים לשנייה באייפון 18 פרו.
16
34
הנתונים נותנים מושג על הכיוון, אך אינם מעידים כשלעצמם כמה סוללה המודל צורך, כמה זמן לוקח לו לעבד את הקלט או כיצד הוא יתפקד במכשירים ובעומסי עבודה אחרים.
מודל שנבנה למגבלות של אפליקציות
למודל כ־300 מיליון פרמטרים. לפי צוות MNN, הארכיטקטורה, שיטות האימון ומנוע ההרצה תוכננו יחד, מתוך התחשבות במשימות ובתקציב המשאבים של אפליקציות לסמארטפונים. קובץ ה־README של MNN מציין תמיכה בהוראות בסינית ובאנגלית, חלון הקשר של עד 32 אלף טוקנים ורישיון Apache 2.0.
16
תאריך ההשקה שמופיע ב־README הוא 4 בנובמבר 2026. כתבה שדיווחה על ההשקה פורסמה ב־6 בנובמבר — כלומר, זהו תאריך הדיווח, ולא תאריך ההשקה המצוין במקור של MNN.
9
16
מה אומרים נתוני המהירות?
כדאי להבחין בין פענוח לבין כל מה שקורה באפליקציה. קצב של טוקנים לשנייה מתאר את קצב יצירת הטקסט לאחר תחילת התשובה; הוא אינו מדד מלא לזמן ההמתנה שהמשתמש יחווה, שכולל גם את עיבוד הקלט ואת יתר שלבי האפליקציה.
| מכשיר וסביבת הרצה |
קצב פענוח שדווח |
| iPhone 18 Pro, מנוע MNN |
350 טוקנים לשנייה 16 |
| iPad Pro עם שבב M5, Metal |
עד 466 טוקנים לשנייה 19 34 |
הנתון של 466 טוקנים לשנייה מופיע בכרטיס המודל ובתקציר הדוח הטכני. אלה נתונים שפורסמו מטעם הפרויקט, ולא השוואה בלתי תלויה שנערכה בשני המכשירים באותם תנאים. המקורות הזמינים גם אינם מספקים פרטי בדיקה מספיקים כדי להשוות ביניהם ישירות.
19
34
173 מגה־בייט — לא כל תמונת השימוש
גרסת MNN המתוארת היא מודל שעבר אימון מודע לכימות (QAT) ומשתמש ב־INT4 W4A16. גודל גרסת הפריסה המדווח הוא 173 מגה־בייט.
16
19 זהו נתון על גרסת הפריסה, אך המידע שסופק אינו מפרט את כל הקבצים הכלולים בה או מבהיר אם כל רכיבי סביבת ההרצה שאפליקציה תצטרך נכללים בחישוב.
גם אין להסיק מגודל הקובץ כמה זיכרון נדרש בזמן שימוש: גודל הפריסה ושימוש הזיכרון בפועל אינם אותו מדד. המקורות הזמינים אינם קובעים צריכת סוללה לכל הרצה, אינם מספקים מדידה סטנדרטית של שיא הזיכרון ואינם מפרטים את מלוא עלות השילוב באפליקציה.
גרסאות נוספות למפתחים
כרטיס המודל ב־Hugging Face מזהה את taobao-mnn/MNN-Pocket-0.3B כגרסה הכללית שעברה אימון להוראות, ומציין גם נקודות ביקורת מסוג Base ו־SFT במשפחה.
19
לצד זאת, מאגר GGUF נפרד מציע גרסאות לשימוש בסביבות תואמות llama.cpp, בגדלים שונים: F16 בגודל 726 מגה־בייט, Q8_0 בגודל 387 מגה־בייט ו־Q4_1 בגודל 192 מגה־בייט.
20 אלה קובצי ייצוא נפרדים, ולכן אין לבלבל ביניהם לבין גרסת MNN בגודל 173 מגה־בייט.
באוסף של Taobao MNN מופיע גם מאגר בשם MNN-Pocket-0.3B-DFlash2. עם זאת, הרישום הזמין אינו מפרט די הצורך את התצורה שלו ואינו מאמת טענה למכפיל מהירות מסוים.
21
השורה התחתונה
MNN-Pocket-0.3B בולט בשילוב של כ־300 מיליון פרמטרים, גרסת INT4 מדווחת בגודל 173 מגה־בייט וקצבי פענוח גבוהים שפורסמו עבור iPhone 18 Pro ו־iPad Pro עם שבב M5. זהו בסיס מעניין למפתחים שבוחנים הרצת AI על המכשיר עצמו. עם זאת, הנתונים הקיימים אינם מוכיחים יתרון מסוים בחיי הסוללה או מספקים חשבון מלא של צריכת הזיכרון ועלות השילוב באפליקציה.
16
19
34