答案已发布16 来源
MNN-Pocket-0.3B：小模型上手机，速度数字说明了什么
MNN Pocket 0.3B 是一款面向移动应用的约 3 亿参数模型，支持中英文指令跟随和最长 32K 上下文；其 INT4 MNN 版本为 173 MB。[16] 团队报告其在 iPhone 18 Pro 上解码速度为 350 tokens/s，在 M5 iPad Pro 使用 Metal 时最高可达 466 tokens/s；两组数据并非同设备、同设置的直接对比。[16][19][34] 现有资料没有给出单次推理耗电数据，也没有提供可直接比较的预填充速度或统一的峰值内存测试结果。
发布者使用 GPT-6 Luna 编辑图片由 GPT Image 2 生成
研究答案
要点
- MNN Pocket 0.3B 是一款面向移动应用的约 3 亿参数模型，支持中英文指令跟随和最长 32K 上下文；其 INT4 MNN 版本为 173 MB。[16]
- 团队报告其在 iPhone 18 Pro 上解码速度为 350 tokens/s，在 M5 iPad Pro 使用 Metal 时最高可达 466 tokens/s；两组数据并非同设备、同设置的直接对比。[16][19][34]
- 现有资料没有给出单次推理耗电数据，也没有提供可直接比较的预填充速度或统一的峰值内存测试结果。
AI 提示
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Alibaba’s Taobao MNN team’s MNN-Pocket-0.3B, reported open-sourced on November 6, 2026, and how does this roughly 300-million-parame. Article summary: MNN-Pocket-0.3B is Taobao’s approximately 300-million-parameter language-model family, co-designed with the MNN inference engine for on-device use; its main Hugging Face model is instruction-tuned, and its INT4 deploymen. Topic tags: general, general web, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
MNN-Pocket-0.3B 是淘宝 MNN 团队推出的一款轻量语言模型，约有 3 亿参数，面向手机应用中的中英文指令交互。团队称，INT4 MNN 部署版本大小为 173 MB，并报告它在 iPhone 18 Pro 上的解码速度达到每秒 350 个 token。数字很亮眼，但还不足以说明实际应用的耗电、首字响应或不同手机上的表现。16
34
这款模型是什么？
MNN-Pocket-0.3B 不只是把通用模型缩小后放进手机。团队表示，模型结构、训练方法与 MNN 推理引擎是围绕手机应用的任务和资源预算协同设计的。MNN README 列明，该模型支持中英文指令跟随、最长 32K token 的上下文，并采用 Apache 2.0 许可证开源。16
发布时间也要区分：MNN README 将开源日期标为 2026 年 11 月 4 日；相关新闻发布于 11 月 6 日。因此，后者是报道日期，不应直接当作 README 所列的开源日期。9
16
173 MB 和每秒数百个 token，分别代表什么？
团队列出的 173 MB，是经量化感知训练（QAT）的 INT4（W4A16）MNN 部署版本大小。现有信息没有逐项说明这个部署包包含哪些文件，也没有明确说明是否涵盖应用所需的全部运行时组件。16
19
模型卡称，在使用 Metal 的 M5 iPad Pro 上，解码速度最高可达每秒 466 个 token；技术报告摘要也列出这一数字。以下都是团队公布的解码数据，并非在统一设备与设置下进行的独立横向测试。19
34
| 设备与运行环境 | 报告的解码速度 |
|---|---|
| iPhone 18 Pro，MNN | 350 tokens/s |
| M5 iPad Pro，Metal | 最高 466 tokens/s |
“每秒 token 数”描述的是模型生成输出内容的速度，也就是解码阶段的速度；它不等于应用从收到请求到给出首个回应的完整响应时间。现有资料没有提供相应的预填充速度和足够的测试细节，因此不能直接比较两台设备的表现。
手机上能不能跑，成本还要看哪些数据？
小体积和公布的解码速度，说明这款模型的设计目标确实指向移动端。但它们还不是完整的部署成本账单。16
19
目前可用资料没有说明单次推理会消耗多少电量，也没有给出统一标准下的峰值内存测量或完整的应用集成开销。173 MB 是部署版本的体积，不应直接理解为模型运行时占用的全部内存；现有数据也没有展示不同任务负载和设备状态下的性能变化。
还有哪些模型格式？
Hugging Face 模型卡将 taobao-mnn/MNN-Pocket-0.3B 标为通用指令微调版本，并列出该系列的 Base 和 SFT 检查点。19 另有 GGUF 仓库提供适用于 llama.cpp 及兼容运行环境的 F16、Q8_0 和 Q4_1 导出版本，文件大小分别为 726 MB、387 MB 和 192 MB。
20
淘宝 MNN 的模型集合中还列有 MNN-Pocket-0.3B-DFlash2。不过，现有页面信息不足以确认其具体配置或某项吞吐量提升幅度，因此不能据此认定它能带来特定倍数的提速。21
结论
MNN-Pocket-0.3B 的看点，是约 3 亿参数的模型拥有 173 MB 的 INT4 MNN 部署版本，以及团队公布的手机和平板解码速度。它展示了模型面向端侧应用的定位，但仅凭这些数据，还无法确认具体的续航优势，也无法算出完整的内存与集成成本。16
19
34
Studio Global AI
继续你的研究
此页面包含一个有来源支持的答案，您可以在 Studio Global 内继续。
人们还问
“MNN-Pocket-0.3B：小模型上手机，速度数字说明了什么”的简短答案是什么？
MNN Pocket 0.3B 是一款面向移动应用的约 3 亿参数模型，支持中英文指令跟随和最长 32K 上下文；其 INT4 MNN 版本为 173 MB。[16]
首先要验证的关键点是什么？
MNN Pocket 0.3B 是一款面向移动应用的约 3 亿参数模型，支持中英文指令跟随和最长 32K 上下文；其 INT4 MNN 版本为 173 MB。[16] 团队报告其在 iPhone 18 Pro 上解码速度为 350 tokens/s，在 M5 iPad Pro 使用 Metal 时最高可达 466 tokens/s；两组数据并非同设备、同设置的直接对比。[16][19][34]
接下来在实践中我应该做什么？
现有资料没有给出单次推理耗电数据，也没有提供可直接比较的预填充速度或统一的峰值内存测试结果。