AnswersPublished16 sources
En liten AI-modell för mobilen – men vad visar hastighetssiffrorna?
MNN Pocket 0.3B är en språkmodell med omkring 300 miljoner parametrar för mobilappar. MNN teamet uppger 350 token per sekund vid avkodning på iPhone 18 Pro och upp till 466 token per sekund på M5 iPad Pro med Metal.
Publicerad avRedigerad med GPT-6 LunaBilder genererade med GPT Image 2
Research answer
Key takeaways
- MNN Pocket 0.3B är en språkmodell med omkring 300 miljoner parametrar för mobilappar.
- MNN teamet uppger 350 token per sekund vid avkodning på iPhone 18 Pro och upp till 466 token per sekund på M5 iPad Pro med Metal.
- De tillgängliga uppgifterna visar inte batteriförbrukning per körning eller jämförbara mätningar av förifyllnad och toppminne.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Alibaba’s Taobao MNN team’s MNN-Pocket-0.3B, reported open-sourced on November 6, 2026, and how does this roughly 300-million-parame. Article summary: MNN-Pocket-0.3B is Taobao’s approximately 300-million-parameter language-model family, co-designed with the MNN inference engine for on-device use; its main Hugging Face model is instruction-tuned, and its INT4 deploymen. Topic tags: general, general web, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
MNN-Pocket-0.3B är en kompakt språkmodell från Alibabas Taobao MNN-team, framtagen för instruktioner på kinesiska och engelska i mobilappar. Teamet uppger att en INT4-version för MNN tar 173 MB och kan avkoda 350 token per sekund på iPhone 18 Pro. Siffrorna konkretiserar ambitionen att köra AI direkt på enheten, men säger inte i sig hur mycket batteri modellen drar, hur snabbt den hanterar indata eller hur den presterar på andra telefoner.16
34
Vad är MNN-Pocket-0.3B?
Modellen har omkring 300 miljoner parametrar och har utformats med mobilapparnas uppgifter och resursramar i åtanke. MNN-teamet uppger att de utvecklat modellarkitektur, träningsmetoder och inferensmotor med gemensam inriktning på mobil användning. Enligt MNN:s README stöder modellen instruktioner på kinesiska och engelska, en kontext på upp till 32 000 token och släpps med Apache 2.0-licens.16
README-filen anger den 4 november 2026 som releasedatum. En nyhetsartikel om lanseringen publicerades den 6 november; det datumet är alltså rapportdatumet, inte releasedatumet som anges i README-filen.9
16
Vad betyder storleken och hastigheten?
Teamet anger att den INT4-kvantiseringstränade MNN-versionen, W4A16, är 173 MB. Det är storleken på en distributionsversion. De tillgängliga uppgifterna specificerar inte vilka filer som ingår eller om måttet omfattar alla komponenter en app behöver för att köra modellen.16
19
Modellkortet anger upp till 466 token per sekund vid avkodning på en M5 iPad Pro med Metal. Samma siffra återges i en sammanfattning av den tekniska rapporten. Det rör sig om rapporterade hastigheter, inte oberoende jämförelser där enheterna testats med identiska inställningar.19
34
| Enhet och körmiljö | Rapporterad avkodningshastighet |
|---|---|
| iPhone 18 Pro, MNN | 350 token/s |
| M5 iPad Pro, Metal | Upp till 466 token/s |
Token per sekund beskriver avkodningen – alltså hur snabbt modellen genererar text. Det är inte ett fullständigt mått på hur snabb en app känns. Källorna redovisar inte motsvarande siffror för förifyllnad, och testuppgifterna räcker inte för en direkt jämförelse mellan resultaten för de två enheterna.
Vad vet vi om mobilens resursbegränsningar?
Modellen är uttryckligen framtagen för att passa mobilapparnas resursramar. Den kompakta INT4-versionen och de rapporterade avkodningshastigheterna är relevanta för den ambitionen, men ger inte hela bilden av vad det kostar att använda modellen i en app.16
19
Källorna fastställer inte batteriförbrukning per körning, någon standardiserad mätning av toppminne eller den totala kostnaden för att integrera modellen i en app. Storleken på distributionsversionen ska inte förväxlas med modellens fullständiga minnesanvändning under körning. Uppgifterna visar inte heller hur prestandan påverkas av olika arbetslaster eller enhetsförhållanden.
Tillgängliga modellformat
På Hugging Face beskrivs taobao-mnn/MNN-Pocket-0.3B som familjens allmänna, instruktionsfinjusterade modell. Modellfamiljen innehåller även Base- och SFT-versioner.19 Ett separat GGUF-arkiv erbjuder versionerna F16, Q8_0 och Q4_1 för llama.cpp-kompatibla körmiljöer. De angivna filstorlekarna är 726 MB, 387 MB respektive 192 MB.
20
Taobao MNN-samlingen listar också ett arkiv med namnet MNN-Pocket-0.3B-DFlash2. Den tillgängliga informationen fastställer inte hur det är konfigurerat eller bekräftar något påstående om en viss hastighetsökning.21
Slutsatsen
MNN-Pocket-0.3B sticker ut genom att en modell med omkring 300 miljoner parametrar uppges finnas i en INT4-version för MNN på 173 MB. Teamet rapporterar också höga avkodningshastigheter på iPhone 18 Pro och M5 iPad Pro. Det stödjer positioneringen som en modell för utvecklare som vill köra AI direkt på enheten – men belägger inte någon särskild batterifördel eller en komplett bild av minnes- och integrationskostnaden.16
19
34
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "En liten AI-modell för mobilen – men vad visar hastighetssiffrorna?"?
MNN Pocket 0.3B är en språkmodell med omkring 300 miljoner parametrar för mobilappar.
What are the key points to validate first?
MNN Pocket 0.3B är en språkmodell med omkring 300 miljoner parametrar för mobilappar. MNN teamet uppger 350 token per sekund vid avkodning på iPhone 18 Pro och upp till 466 token per sekund på M5 iPad Pro med Metal.
What should I do next in practice?
De tillgängliga uppgifterna visar inte batteriförbrukning per körning eller jämförbara mätningar av förifyllnad och toppminne.