AnswersPublished16 sources
Mały model AI na smartfon: czym jest MNN-Pocket-0.3B i jak szybki ma być?
MNN Pocket 0.3B to model o około 300 mln parametrów, zaprojektowany z myślą o aplikacjach mobilnych. Zespół podaje szybkość dekodowania 350 tokenów/s na iPhonie 18 Pro; karta modelu wymienia do 466 tokenów/s na iPadzie Pro z układem M5.
Opublikowane przezEdytowane za pomocą GPT-6 LunaObrazy wygenerowane za pomocą GPT Image 2
Research answer
Key takeaways
- MNN Pocket 0.3B to model o około 300 mln parametrów, zaprojektowany z myślą o aplikacjach mobilnych.
- Zespół podaje szybkość dekodowania 350 tokenów/s na iPhonie 18 Pro; karta modelu wymienia do 466 tokenów/s na iPadzie Pro z układem M5.
- Dostępne źródła nie podają zużycia energii na pojedyncze zapytanie ani porównywalnych pomiarów czasu przetwarzania promptu i pamięci szczytowej.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Alibaba’s Taobao MNN team’s MNN-Pocket-0.3B, reported open-sourced on November 6, 2026, and how does this roughly 300-million-parame. Article summary: MNN-Pocket-0.3B is Taobao’s approximately 300-million-parameter language-model family, co-designed with the MNN inference engine for on-device use; its main Hugging Face model is instruction-tuned, and its INT4 deploymen. Topic tags: general, general web, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
MNN-Pocket-0.3B to kompaktowy model językowy zespołu Taobao MNN z grupy Alibaba. Został zaprojektowany do wykonywania zadań bezpośrednio w aplikacjach mobilnych i obsługuje instrukcje po chińsku oraz angielsku. Zespół podaje, że wersja MNN po kwantyzacji INT4 zajmuje 173 MB, a na iPhonie 18 Pro osiąga 350 tokenów na sekundę podczas dekodowania. To konkretne deklaracje dotyczące pracy na urządzeniu, ale same w sobie nie pokazują zużycia baterii, szybkości przetwarzania promptu ani wyników na innych telefonach.16
34
Model projektowany z myślą o aplikacjach
MNN-Pocket-0.3B ma około 300 mln parametrów. Zespół opracowywał jego architekturę, metody treningu i silnik wnioskowania MNN z uwzględnieniem zadań oraz ograniczeń zasobów aplikacji na smartfony. Model obsługuje kontekst do 32 tys. tokenów, a projekt udostępniono na licencji Apache 2.0.16
W README MNN datą udostępnienia modelu jest 4 listopada 2026 r. Artykuł informacyjny o premierze ukazał się 6 listopada — ta późniejsza data odnosi się więc do publikacji wiadomości, a nie do daty podanej w README.9
16
Co oznaczają deklaracje o rozmiarze i szybkości?
Wersja MNN z kwantyzacją INT4 W4A16, przygotowana z użyciem QAT, ma według zespołu 173 MB. Jest to rozmiar wersji wdrożeniowej. Dostępne materiały nie wyszczególniają jej plików ani nie wyjaśniają, czy podana wartość obejmuje wszystkie elementy środowiska uruchomieniowego potrzebne aplikacji.16
19
Karta modelu podaje do 466 tokenów na sekundę podczas dekodowania na iPadzie Pro z układem M5 i backendem Metal. Tę samą wartość przytacza streszczenie raportu technicznego. To wyniki raportowane przez twórców, a nie niezależne porównanie wykonane na urządzeniach w identycznych warunkach.19
34
| Urządzenie i środowisko | Podana szybkość dekodowania |
|---|---|
| iPhone 18 Pro, MNN | 350 tokenów/s |
| iPad Pro M5, Metal | do 466 tokenów/s |
Dekodowanie to etap, w którym model generuje kolejne tokeny odpowiedzi. Wynik w tokenach na sekundę nie jest pełną miarą szybkości aplikacji: w dostępnych źródłach brakuje odpowiadających mu pomiarów przetwarzania promptu oraz szczegółów testów, które pozwoliłyby bezpośrednio zestawić wyniki z obu urządzeń.
Czego nie wiemy o baterii i pamięci?
Niewielki rozmiar wersji INT4 i podane szybkości są istotne dla modelu przeznaczonego do pracy na telefonie. Nie tworzą jednak pełnego obrazu kosztów wdrożenia w aplikacji.16
19
Źródła nie podają zużycia baterii na pojedyncze zapytanie ani ustandaryzowanego pomiaru maksymalnego użycia pamięci. Nie określają też całkowitego narzutu związanego z integracją modelu z aplikacją. Rozmiaru pliku 173 MB nie należy utożsamiać z pełnym zapotrzebowaniem na pamięć podczas działania. Przytoczone wyniki nie pokazują również, jak szybkość zmienia się przy innych zadaniach i warunkach pracy urządzenia.
Dostępne formaty
Karta na Hugging Face opisuje taobao-mnn/MNN-Pocket-0.3B jako ogólny model dostrojony do wykonywania instrukcji. Wymienia również modele bazowe i checkpointy SFT, czyli pośrednie wersje po dostrajaniu nadzorowanym.19
Osobne repozytorium GGUF udostępnia eksporty do uruchamiania w llama.cpp i zgodnych środowiskach: F16 o rozmiarze 726 MB, Q8_0 — 387 MB oraz Q4_1 — 192 MB.20
W kolekcji Taobao MNN znajduje się także repozytorium MNN-Pocket-0.3B-DFlash2. Dostępny opis nie wyjaśnia jednak jego konfiguracji ani nie potwierdza deklarowanego mnożnika szybkości, więc sama obecność repozytorium nie dowodzi konkretnego przyspieszenia.21
Co warto zapamiętać
MNN-Pocket-0.3B wyróżnia się rozmiarem: model mający około 300 mln parametrów mieści się w raportowanej wersji MNN INT4 o wielkości 173 MB. Zespół podaje też wysoką szybkość dekodowania na iPhonie 18 Pro i iPadzie Pro M5. Te dane wspierają pozycjonowanie modelu jako rozwiązania do pracy bezpośrednio na urządzeniu, ale nie potwierdzają same w sobie przewagi pod względem baterii ani pełnego kosztu pamięci i integracji.16
19
34
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Mały model AI na smartfon: czym jest MNN-Pocket-0.3B i jak szybki ma być?"?
MNN Pocket 0.3B to model o około 300 mln parametrów, zaprojektowany z myślą o aplikacjach mobilnych.
What are the key points to validate first?
MNN Pocket 0.3B to model o około 300 mln parametrów, zaprojektowany z myślą o aplikacjach mobilnych. Zespół podaje szybkość dekodowania 350 tokenów/s na iPhonie 18 Pro; karta modelu wymienia do 466 tokenów/s na iPadzie Pro z układem M5.
What should I do next in practice?
Dostępne źródła nie podają zużycia energii na pojedyncze zapytanie ani porównywalnych pomiarów czasu przetwarzania promptu i pamięci szczytowej.