AnswersPublished16 sources
MNN-Pocket-0.3B tähtää tekoälyyn suoraan puhelimessa
MNN Pocket 0.3B on mobiilisovelluksiin suunniteltu, noin 300 miljoonan parametrin kielimalli. Tiimi kertoo mallin tuottavan iPhone 18 Prolla 350 tokenia sekunnissa.
JulkaisijaMuokattu mallilla GPT-6 LunaKuvat luotu mallilla GPT Image 2
Research answer
Key takeaways
- MNN Pocket 0.3B on mobiilisovelluksiin suunniteltu, noin 300 miljoonan parametrin kielimalli.
- Tiimi kertoo mallin tuottavan iPhone 18 Prolla 350 tokenia sekunnissa. M5 iPad Prolla ilmoitettu huippunopeus on jopa 466 tokenia sekunnissa.
- Lähteet eivät anna kattavia vertailukelpoisia tietoja esimerkiksi akunkulutuksesta, syötteen käsittelynopeudesta tai huippumuistinkulutuksesta.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Alibaba’s Taobao MNN team’s MNN-Pocket-0.3B, reported open-sourced on November 6, 2026, and how does this roughly 300-million-parame. Article summary: MNN-Pocket-0.3B is Taobao’s approximately 300-million-parameter language-model family, co-designed with the MNN inference engine for on-device use; its main Hugging Face model is instruction-tuned, and its INT4 deploymen. Topic tags: general, general web, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
MNN-Pocket-0.3B on Alibaban Taobao MNN -tiimin kehittämä kompakti kielimalli. Se on suunniteltu kiinankielisten ja englanninkielisten ohjeiden noudattamiseen mobiilisovelluksissa. Tiimi ilmoittaa INT4-käyttöversion kooksi 173 megatavua ja iPhone 18 Prolla saavutetuksi dekoodausnopeudeksi 350 tokenia sekunnissa. Luvut havainnollistavat mallin tavoitetta toimia suoraan laitteessa, mutta ne eivät yksin kerro esimerkiksi akunkulutuksesta, syötteen käsittelynopeudesta tai suorituskyvystä muissa puhelimissa.16
34
Mobiilikäyttöön suunniteltu malli
Mallissa on noin 300 miljoonaa parametria. Taobao MNN -tiimi kertoo suunnitelleensa mallin rakenteen, koulutusmenetelmät ja MNN-päättelymoottorin yhdessä puhelinsovellusten tehtävien ja resurssirajoitusten ehdoilla. MNN:n GitHub-sivun mukaan malli tukee kiinan- ja englanninkielisten ohjeiden noudattamista sekä enintään 32 000 tokenin kontekstia. Se on julkaistu Apache 2.0 -lisenssillä.16
MNN:n README ilmoittaa julkaisupäiväksi 4. marraskuuta 2026. Julkaisua käsittelevä uutisartikkeli ilmestyi 6. marraskuuta, joten kyse on uutisen julkaisupäivästä, ei READMEssä mainitusta julkaisupäivästä.9
16
Mitä koko- ja nopeusluvut tarkoittavat?
Tiimin ilmoittama INT4 W4A16 -kvantisointitietoisesti koulutettu MNN-versio on kooltaan 173 megatavua. Kyse on käyttöönottoon tarkoitetun malliversion koosta. Saatavilla olevat tiedot eivät erittele, mitä tiedostoja luku sisältää tai kattaako se kaikki sovelluksen tarvitsemat ajoaikaiset osat.16
19
Mallikortissa ilmoitetaan dekoodausnopeudeksi jopa 466 tokenia sekunnissa M5-sirulla varustetulla iPad Prolla Metal-rajapintaa käytettäessä. Myös teknisen raportin yhteenveto mainitsee tämän nopeuden. Kyse on raportoituista tuloksista, ei riippumattomasta vertailusta samoilla laitteilla ja asetuksilla.19
34
| Laite ja suoritusympäristö | Ilmoitettu dekoodausnopeus |
|---|---|
| iPhone 18 Pro, MNN | 350 tokenia/s |
| M5 iPad Pro, Metal | Enintään 466 tokenia/s |
Tokenia sekunnissa -luku kuvaa dekoodausta eli sitä, kuinka nopeasti malli tuottaa tekstiä. Se ei ole kattava mittari sovelluksen vasteajalle. Saatavilla olevissa lähteissä ei anneta vastaavia syötteen käsittelynopeuden eli prefillingin lukuja eikä tarpeeksi testitietoja laitteiden suorien vertailujen tekemiseen.
Mitä mobiilikäytön rajoituksista tiedetään?
Mallin suunnittelussa on lähdetty nimenomaan mobiilisovellusten resurssirajoista. Pieni INT4-versio ja ilmoitetut dekoodausnopeudet ovat tämän tavoitteen kannalta olennaisia, mutta ne eivät vielä muodosta kattavaa kuvaa sovellukseen integroinnin kustannuksista.16
19
Lähteet eivät ilmoita energiankulutusta yksittäistä käyttökertaa kohden eivätkä anna yhdenmukaisesti mitattua huippumuistinkulutusta tai sovellukseen integroinnin kokonaiskuormaa. Myöskään 173 megatavun pakettikokoa ei pidä tulkita mallin koko muistitarpeeksi sen ollessa käynnissä. Tuloksista ei lisäksi käy ilmi, miten nopeus muuttuu erilaisissa tehtävissä tai laiteolosuhteissa.
Saatavilla olevat malliversiot
Hugging Face -mallikortin mukaan taobao-mnn/MNN-Pocket-0.3B on yleiskäyttöön tarkoitettu ohjeita noudattava malli. Malliperheeseen kuuluvat myös Base- ja SFT-tarkistuspisteet.19 Erillinen GGUF-julkaisu tarjoaa llama.cpp:n ja sen kanssa yhteensopivien suoritusympäristöjen versiot F16-, Q8_0- ja Q4_1-muodoissa. Niiden ilmoitetut tiedostokoot ovat vastaavasti 726, 387 ja 192 megatavua.
20
Taobao MNN:n mallikokoelmassa on myös MNN-Pocket-0.3B-DFlash2-julkaisu. Saatavilla oleva listaus ei kuitenkaan vahvista sen asetuksia eikä väitettyä nopeuskerrointa, joten siitä ei voi päätellä tiettyä suorituskyvyn parannusta.21
Yhteenveto
MNN-Pocket-0.3B:n kiinnostavin lupaus on yhdistelmä: noin 300 miljoonan parametrin malli, ilmoituksen mukaan 173 megatavun INT4 MNN -versio ja korkeat dekoodausnopeudet iPhone 18 Prolla sekä M5 iPad Prolla. Tulokset tukevat mallin asemointia suoraan laitteessa käytettävänä sovellusmallina. Ne eivät kuitenkaan vielä osoita tiettyä akkuetua tai anna kattavaa kuvaa muistista ja sovellukseen integroinnin vaatimuksista.16
19
34
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "MNN-Pocket-0.3B tähtää tekoälyyn suoraan puhelimessa"?
MNN Pocket 0.3B on mobiilisovelluksiin suunniteltu, noin 300 miljoonan parametrin kielimalli.
What are the key points to validate first?
MNN Pocket 0.3B on mobiilisovelluksiin suunniteltu, noin 300 miljoonan parametrin kielimalli. Tiimi kertoo mallin tuottavan iPhone 18 Prolla 350 tokenia sekunnissa. M5 iPad Prolla ilmoitettu huippunopeus on jopa 466 tokenia sekunnissa.
What should I do next in practice?
Lähteet eivät anna kattavia vertailukelpoisia tietoja esimerkiksi akunkulutuksesta, syötteen käsittelynopeudesta tai huippumuistinkulutuksesta.