MNN-Pocket-0.3B er en kompakt sprogmodel fra Alibabas Taobao MNN-team, udviklet til at følge instruktioner på kinesisk og engelsk i mobilapps. Teamet oplyser, at en MNN-version i INT4 fylder 173 MB, og at modellen kan afkode 350 tokens i sekundet på en iPhone 18 Pro. Det gør ambitionen om at køre AI direkte på mobilen konkret, men tallene siger ikke i sig selv noget sikkert om batteriforbrug, opstartshastighed eller ydeevne på andre telefoner.
16
34
Hvad er MNN-Pocket-0.3B?
Modellen har omkring 300 millioner parametre og er udviklet med mobilapps’ opgaver og begrænsede ressourcer for øje. Ifølge Alibaba er modelarkitektur, træningsmetoder og MNN-inferensmotoren udviklet i sammenhæng. MNN’s README beskriver modellen som egnet til instruktioner på kinesisk og engelsk, med understøttelse af en kontekst på op til 32.000 tokens og en Apache 2.0-licens.
16
README’en angiver udgivelsesdatoen til 4. november 2026. En nyhedsartikel om udgivelsen blev publiceret 6. november, så den dato er artiklens publiceringsdato – ikke den udgivelsesdato, README’en oplyser.
9
16
Hvad betyder størrelsen og hastigheden?
Teamets MNN-version er trænet med kvantiseringsbevidst træning og bruger INT4 W4A16. Den angivne størrelse er 173 MB. Det er størrelsen på en distributionsversion; kilderne specificerer ikke, hvilke filer den omfatter, eller om alle de runtime-komponenter, en app skal bruge, er medregnet.
16
19
Modelkortet oplyser op til 466 tokens i sekundet ved afkodning på en M5 iPad Pro med Metal. Det tal fremgår også af et resumé af den tekniske rapport. Der er tale om rapporterede hastigheder, ikke uafhængige sammenligninger udført på samme enhed under ens forhold.
19
34
| Enhed og runtime |
Rapporteret afkodningshastighed |
| iPhone 18 Pro, MNN |
350 tokens/s 16 |
| M5 iPad Pro, Metal |
Op til 466 tokens/s 19 34 |
Tokens i sekundet beskriver afkodningen – altså hvor hurtigt modellen genererer tekst. Det er ikke et fuldstændigt mål for, hvor responsiv en app føles. Kilderne giver ikke tilsvarende tal for promptbehandling, og testoplysningerne er ikke tilstrækkelige til at sammenligne de to enhedsresultater direkte.
Hvad ved vi om begrænsningerne på mobilen?
Modellen er udtrykkeligt udviklet med mobilapps’ ressourcebudgetter for øje. Den lille INT4-version og de rapporterede afkodningshastigheder er relevante for den målsætning, men udgør ikke et samlet regnskab over, hvad det kræver at bruge modellen i en app.
16
19
Kilderne oplyser ikke strømforbrug pr. forespørgsel, en standardiseret måling af maksimalt hukommelsesforbrug eller de samlede omkostninger ved at integrere modellen i en app. Størrelsen på pakken skal heller ikke forveksles med modellens fulde hukommelsesforbrug under kørsel. De offentliggjorte resultater viser ikke, hvordan ydeevnen ændrer sig med andre opgaver eller under andre forhold på enheden.
Hvilke modelversioner findes der?
Modelkortet på Hugging Face beskriver taobao-mnn/MNN-Pocket-0.3B som familiens generelle, instruktionsjusterede model og nævner også Base- og SFT-versioner.
19 Et separat GGUF-repository tilbyder F16-, Q8_0- og Q4_1-udgaver til llama.cpp-kompatible runtime-miljøer. De angivne filstørrelser er henholdsvis 726 MB, 387 MB og 192 MB.
20
Taobao MNN-samlingen indeholder også et repository med navnet MNN-Pocket-0.3B-DFlash2. Den tilgængelige oversigt dokumenterer ikke konfigurationen eller bekræfter en påstået hastighedsforøgelse, så den kan ikke bruges som belæg for en bestemt forbedring.
21
Kort fortalt
MNN-Pocket-0.3B skiller sig ud ved at være en model med cirka 300 millioner parametre i en rapporteret MNN-version på 173 MB i INT4. Teamet oplyser høje afkodningshastigheder på iPhone 18 Pro og M5 iPad Pro. Det understøtter modellens positionering som et bud til appudviklere, der vil køre AI direkte på enheden. Men de tilgængelige oplysninger dokumenterer ikke en bestemt batterifordel eller et samlet overblik over hukommelsesforbrug og integrationsomkostninger.
16
19
34