AnswersPublished16 sources
Co umí MNN-Pocket-0.3B a co skutečně dokazují jeho rychlostní testy
MNN Pocket 0.3B má zhruba 300 milionů parametrů a jeho INT4 sestavení pro MNN zabírá podle týmu 173 MB. README projektu uvádí datum vydání 4.
PublikovalUpraveno pomocí GPT-6 LunaObrázky vytvořeny pomocí GPT Image 2
Research answer
Key takeaways
- MNN Pocket 0.3B má zhruba 300 milionů parametrů a jeho INT4 sestavení pro MNN zabírá podle týmu 173 MB.
- README projektu uvádí datum vydání 4. listopadu 2026; zpráva o modelu vyšla 6.
- Dostupné zdroje neuvádějí spotřebu baterie při jednom běhu ani srovnatelná měření rychlosti předzpracování vstupu a maximální paměťové náročnosti.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Alibaba’s Taobao MNN team’s MNN-Pocket-0.3B, reported open-sourced on November 6, 2026, and how does this roughly 300-million-parame. Article summary: MNN-Pocket-0.3B is Taobao’s approximately 300-million-parameter language-model family, co-designed with the MNN inference engine for on-device use; its main Hugging Face model is instruction-tuned, and its INT4 deploymen. Topic tags: general, general web, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
MNN-Pocket-0.3B je kompaktní jazykový model týmu Taobao MNN ze skupiny Alibaba, navržený pro práci s čínskými a anglickými instrukcemi přímo v mobilních aplikacích. Tým uvádí nasazovací sestavení INT4 o velikosti 173 MB a rychlost dekódování 350 tokenů za sekundu na iPhonu 18 Pro. Tato čísla ukazují, kam model míří, sama o sobě ale neříkají, kolik energie spotřebuje, jak rychle zpracuje vstup ani jak poběží na jiných telefonech.16
34
Co je MNN-Pocket-0.3B
Model má přibližně 300 milionů parametrů a vznikal s ohledem na úlohy a výpočetní i paměťové limity mobilních aplikací. Tým společně navrhoval architekturu, trénovací postupy i inferenční engine MNN – tedy software, který model při používání spouští. Model podporuje práci s kontextem o délce až 32 tisíc tokenů a je vydán pod licencí Apache 2.0.16
README MNN datuje vydání na 4. listopadu 2026. Zpráva o modelu vyšla 6. listopadu, takže jde o datum publikace zprávy, nikoli o datum vydání uvedené v README.9
16
Co znamenají uváděné rozměry a rychlost
Tým uvádí, že jeho sestavení MNN s kvantizací INT4 W4A16, trénovanou metodou QAT, zabírá 173 MB. Jde o velikost nasazovacího sestavení. Dostupné podklady nerozepisují jeho jednotlivé součásti ani nepotvrzují, zda číslo zahrnuje všechny komponenty potřebné pro běh v aplikaci.16
19
Karta modelu uvádí rychlost dekódování až 466 tokenů za sekundu na iPadu Pro s čipem M5 a grafickým rozhraním Metal. Stejné číslo přináší i shrnutí technické zprávy. Jde o hodnoty zveřejněné týmem, nikoli o nezávislé srovnání zařízení testovaných za totožných podmínek.19
34
| Zařízení a prostředí | Uváděná rychlost dekódování |
|---|---|
| iPhone 18 Pro, MNN | 350 tokenů/s |
| iPad Pro M5, Metal | až 466 tokenů/s |
Počet tokenů za sekundu popisuje dekódování, tedy rychlost, s jakou model vytváří výstup. Není to úplné měřítko odezvy aplikace. Dostupné zdroje neuvádějí odpovídající rychlost předzpracování vstupu (prefill) ani tolik podrobností, aby bylo možné oba výsledky přímo porovnat.
Co víme o nárocích na telefon – a co ne
Model je výslovně navržen tak, aby odpovídal rozpočtu mobilních aplikací. Malé sestavení INT4 a uváděné rychlosti dekódování jsou pro tento záměr relevantní, nepředstavují ale úplný účet za jeho nasazení.16
19
Dostupné zdroje například neuvádějí spotřebu baterie na jedno spuštění, standardizované měření maximální využité paměti ani celkovou režii začlenění do aplikace. Velikost sestavení proto nelze zaměňovat za celkovou spotřebu operační paměti při běhu. Zveřejněné výsledky také neukazují, jak se výkon mění podle typu úlohy nebo podmínek na zařízení.
Dostupné formáty modelu
Na Hugging Face je taobao-mnn/MNN-Pocket-0.3B označen jako univerzální model doladěný podle instrukcí. Rodina zahrnuje také základní model Base a kontrolní bod SFT, tedy model po supervizovaném dolaďování.19 Samostatné úložiště GGUF nabízí verze F16, Q8_0 a Q4_1 pro llama.cpp a kompatibilní nástroje; jejich uváděné velikosti jsou 726 MB, 387 MB a 192 MB.
20
Kolekce Taobao MNN obsahuje také úložiště MNN-Pocket-0.3B-DFlash2. Samotný dostupný záznam však nepotvrzuje jeho konfiguraci ani tvrzení o konkrétním násobném zrychlení, takže jej nelze považovat za důkaz určitého nárůstu výkonu.21
Stručně řečeno
MNN-Pocket-0.3B zaujme tím, že model s přibližně 300 miliony parametrů má podle týmu nasazovací sestavení INT4 o velikosti 173 MB. Taobao MNN zároveň uvádí vysoké rychlosti dekódování na iPhonu 18 Pro a iPadu Pro M5. Výsledky podporují zaměření modelu na lokální běh v aplikacích, samy však nedokládají konkrétní úsporu baterie ani úplné nároky na paměť a integraci.16
19
34
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Co umí MNN-Pocket-0.3B a co skutečně dokazují jeho rychlostní testy"?
MNN Pocket 0.3B má zhruba 300 milionů parametrů a jeho INT4 sestavení pro MNN zabírá podle týmu 173 MB.
What are the key points to validate first?
MNN Pocket 0.3B má zhruba 300 milionů parametrů a jeho INT4 sestavení pro MNN zabírá podle týmu 173 MB. README projektu uvádí datum vydání 4. listopadu 2026; zpráva o modelu vyšla 6.
What should I do next in practice?
Dostupné zdroje neuvádějí spotřebu baterie při jednom běhu ani srovnatelná měření rychlosti předzpracování vstupu a maximální paměťové náročnosti.