Câu trả lờiĐã xuất bản16 nguồn
MNN-Pocket-0.3B: Mô hình AI 173 MB của Alibaba chạy trên điện thoại nhanh đến đâu?
MNN Pocket 0.3B là mô hình khoảng 300 triệu tham số dành cho ứng dụng di động; bản MNN INT4 được công bố có dung lượng 173 MB. Nhóm phát triển báo cáo tốc độ giải mã 350 token/giây trên iPhone 18 Pro và tối đa 466 token/giây trên iPad Pro M5 chạy Metal.
Đăng bởiBiên tập bằng GPT-6 LunaHình ảnh được tạo bằng GPT Image 2
Câu trả lời nghiên cứu
Bài học chính
- MNN Pocket 0.3B là mô hình khoảng 300 triệu tham số dành cho ứng dụng di động; bản MNN INT4 được công bố có dung lượng 173 MB.
- Nhóm phát triển báo cáo tốc độ giải mã 350 token/giây trên iPhone 18 Pro và tối đa 466 token/giây trên iPad Pro M5 chạy Metal.
- Các nguồn hiện có chưa xác nhận mức tiêu thụ pin cho mỗi lần suy luận, cũng chưa cung cấp số liệu prefill và bộ nhớ đỉnh có thể so sánh trực tiếp.
Prompt AI
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Alibaba’s Taobao MNN team’s MNN-Pocket-0.3B, reported open-sourced on November 6, 2026, and how does this roughly 300-million-parame. Article summary: MNN-Pocket-0.3B is Taobao’s approximately 300-million-parameter language-model family, co-designed with the MNN inference engine for on-device use; its main Hugging Face model is instruction-tuned, and its INT4 deploymen. Topic tags: general, general web, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
MNN-Pocket-0.3B là mô hình ngôn ngữ gọn nhẹ do nhóm Taobao MNN của Alibaba phát triển, hướng đến các tác vụ chỉ dẫn bằng tiếng Trung và tiếng Anh trong ứng dụng di động. Nhóm cho biết bản triển khai MNN INT4 có dung lượng 173 MB và đạt tốc độ giải mã 350 token/giây trên iPhone 18 Pro. Đây là những con số đáng chú ý cho tham vọng chạy AI ngay trên thiết bị, nhưng chưa đủ để kết luận về mức hao pin, tốc độ xử lý đầu vào hay hiệu năng trên các điện thoại khác.16
34
MNN-Pocket-0.3B là gì?
Mô hình có khoảng 300 triệu tham số, được thiết kế xoay quanh các tác vụ và giới hạn tài nguyên của ứng dụng trên điện thoại. Theo README của MNN, nhóm phát triển đồng thiết kế kiến trúc mô hình, phương pháp huấn luyện và bộ máy suy luận MNN; mô hình hỗ trợ làm theo chỉ dẫn bằng tiếng Trung và tiếng Anh, ngữ cảnh tối đa 32K token và được phát hành theo giấy phép Apache 2.0.16
README ghi ngày phát hành là 4/11/2026. Một bài viết đưa tin về đợt phát hành được đăng ngày 6/11, vì vậy hai mốc này lần lượt là ngày phát hành theo README và ngày đăng bài, không nên nhầm lẫn.9
16
173 MB và tốc độ giải mã nói lên điều gì?
Bản MNN INT4 dùng lượng tử hóa-aware training W4A16 được công bố có dung lượng 173 MB. Đây là kích thước của bản triển khai được nêu trong tài liệu; thông tin hiện có không liệt kê chi tiết các thành phần bên trong hay xác nhận con số đó đã bao gồm mọi thành phần runtime mà ứng dụng cần.16
19
Thẻ mô hình ghi nhận tốc độ giải mã tối đa 466 token/giây trên iPad Pro M5 dùng Metal; bản tóm tắt báo cáo kỹ thuật cũng nêu mức này. Đây là các tốc độ do nhóm công bố, không phải kết quả so sánh độc lập trong cùng điều kiện thử nghiệm.19
34
| Thiết bị và môi trường chạy | Tốc độ giải mã được báo cáo |
|---|---|
| iPhone 18 Pro, MNN | 350 token/giây |
| iPad Pro M5, Metal | Tối đa 466 token/giây |
Token/giây ở đây đo tốc độ mô hình tạo ra các token đầu ra. Chỉ số này không phản ánh trọn vẹn độ phản hồi của một ứng dụng: các nguồn được cung cấp không nêu tốc độ prefill tương ứng, cũng không có đủ chi tiết thử nghiệm để đối chiếu trực tiếp hai kết quả trên.
Còn thiếu dữ liệu nào về trải nghiệm trên điện thoại?
Thiết kế của MNN-Pocket-0.3B nhắm đến giới hạn tài nguyên của ứng dụng di động. Dung lượng INT4 nhỏ và tốc độ giải mã được công bố là những dữ kiện liên quan đến mục tiêu đó, nhưng chưa phải bảng tính đầy đủ về chi phí triển khai.16
19
Cụ thể, các nguồn hiện có không xác nhận mức tiêu thụ pin cho mỗi lần suy luận, phép đo bộ nhớ đỉnh theo một chuẩn thống nhất hay toàn bộ phần tài nguyên phát sinh khi tích hợp vào ứng dụng. Vì vậy, không nên xem dung lượng gói 173 MB là mức bộ nhớ runtime tối đa. Các kết quả được dẫn cũng chưa cho biết hiệu năng thay đổi ra sao theo tác vụ hay điều kiện sử dụng thiết bị.
Những định dạng mô hình được liệt kê
Thẻ mô hình trên Hugging Face xác định taobao-mnn/MNN-Pocket-0.3B là phiên bản tinh chỉnh theo chỉ dẫn dùng cho mục đích tổng quát; dòng mô hình cũng có các checkpoint Base và SFT.19 Một kho GGUF riêng cung cấp các bản F16, Q8_0 và Q4_1 cho llama.cpp cùng các runtime tương thích, với dung lượng lần lượt là 726 MB, 387 MB và 192 MB.
20
Bộ sưu tập Taobao MNN còn liệt kê kho MNN-Pocket-0.3B-DFlash2. Tuy nhiên, danh sách hiện có không xác nhận cấu hình của phiên bản này hay mức tăng tốc được tuyên bố, nên chưa thể xem đó là bằng chứng cho một hệ số tăng tốc cụ thể.21
Kết luận
Điểm đáng chú ý của MNN-Pocket-0.3B là mô hình khoảng 300 triệu tham số có bản triển khai MNN INT4 được công bố ở mức 173 MB, cùng các kết quả giải mã do nhóm phát triển báo cáo trên iPhone 18 Pro và iPad Pro M5. Những dữ kiện này cho thấy định hướng chạy mô hình trực tiếp trên thiết bị; nhưng với thông tin hiện có, chưa thể kết luận về lợi ích pin cụ thể hay toàn bộ chi phí bộ nhớ và tích hợp vào ứng dụng.16
19
34
Studio Global AI
Tiếp tục nghiên cứu của bạn
Trang này bao gồm câu trả lời dựa trên nguồn mà bạn có thể tiếp tục bên trong Studio Global.
Người ta cũng hỏi
Câu trả lời ngắn gọn cho "MNN-Pocket-0.3B: Mô hình AI 173 MB của Alibaba chạy trên điện thoại nhanh đến đâu?" là gì?
MNN Pocket 0.3B là mô hình khoảng 300 triệu tham số dành cho ứng dụng di động; bản MNN INT4 được công bố có dung lượng 173 MB.
Những điểm chính cần xác nhận đầu tiên là gì?
MNN Pocket 0.3B là mô hình khoảng 300 triệu tham số dành cho ứng dụng di động; bản MNN INT4 được công bố có dung lượng 173 MB. Nhóm phát triển báo cáo tốc độ giải mã 350 token/giây trên iPhone 18 Pro và tối đa 466 token/giây trên iPad Pro M5 chạy Metal.
Tôi nên làm gì tiếp theo trong thực tế?
Các nguồn hiện có chưa xác nhận mức tiêu thụ pin cho mỗi lần suy luận, cũng chưa cung cấp số liệu prefill và bộ nhớ đỉnh có thể so sánh trực tiếp.