AntwortenVeröffentlicht16 Quellen
Was MNN-Pocket-0.3B kann – und was die Tempoangaben nicht verraten
MNN Pocket 0.3B ist ein rund 300 Millionen Parameter starkes Sprachmodell für mobile Apps. Das MNN README nennt den 4. November 2026 als Veröffentlichungsdatum.
Veröffentlicht vonBearbeitet mit GPT-6 LunaBilder erstellt mit GPT Image 2
Forschungsantwort
Wichtige Erkenntnisse
- MNN Pocket 0.3B ist ein rund 300 Millionen Parameter starkes Sprachmodell für mobile Apps.
- Das MNN README nennt den 4. November 2026 als Veröffentlichungsdatum.
- Die verfügbaren Quellen belegen weder den Akkuverbrauch pro Anfrage noch liefern sie vergleichbare Messwerte für Prefill und Spitzenbedarf an Arbeitsspeicher.
KI-Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Alibaba’s Taobao MNN team’s MNN-Pocket-0.3B, reported open-sourced on November 6, 2026, and how does this roughly 300-million-parame. Article summary: MNN-Pocket-0.3B is Taobao’s approximately 300-million-parameter language-model family, co-designed with the MNN inference engine for on-device use; its main Hugging Face model is instruction-tuned, and its INT4 deploymen. Topic tags: general, general web, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
MNN-Pocket-0.3B ist ein kompaktes Sprachmodell des Taobao-MNN-Teams von Alibaba. Es soll chinesische und englische Anweisungen verstehen und für den Einsatz in mobilen Apps ausgelegt sein. Das Team gibt für eine INT4-Version 173 MB Speicherplatz und auf dem iPhone 18 Pro eine Decodiergeschwindigkeit von 350 Tokens pro Sekunde an. Diese Werte machen die Ambitionen für den Einsatz direkt auf dem Gerät greifbar – sie sagen aber allein noch nichts darüber aus, wie viel Akku das Modell verbraucht oder wie schnell eine App insgesamt reagiert.16
34
Ein Sprachmodell, zugeschnitten auf mobile Apps
MNN-Pocket-0.3B umfasst rund 300 Millionen Parameter. Laut MNN-README wurden Modellarchitektur, Trainingsmethoden und die MNN-Inferenz-Engine gemeinsam mit Blick auf typische Aufgaben und begrenzte Ressourcen in Smartphone-Apps entwickelt. Das Modell unterstützt chinesische und englische Anweisungen sowie einen Kontext von bis zu 32.000 Tokens. Veröffentlicht wurde es unter der Apache-2.0-Lizenz.16
Beim Veröffentlichungsdatum gibt es zwei Angaben, die sich durch ihre Rolle unterscheiden: Das MNN-README nennt den 4. November 2026. Ein Nachrichtenbericht über die Veröffentlichung erschien am 6. November – dieses spätere Datum ist also das Berichtsdatum, nicht das im README angegebene Veröffentlichungsdatum.9
16
173 MB und hohe Decodiergeschwindigkeit – richtig eingeordnet
Die INT4-Version mit W4A16-Quantisierung und quantisierungsbewusstem Training (QAT) wird als 173 MB großer MNN-Build angegeben. Das ist die Größe des bereitgestellten Builds. Die vorliegenden Informationen schlüsseln nicht auf, welche Dateien darin enthalten sind oder ob alle Laufzeitkomponenten, die eine App benötigt, mitgerechnet werden.16
19
Für ein iPad Pro mit M5-Chip und Metal nennt die Modellkarte eine Decodiergeschwindigkeit von bis zu 466 Tokens pro Sekunde. Auch die Zusammenfassung des technischen Berichts führt diesen Wert an. Es handelt sich um vom Team veröffentlichte Ergebnisse, nicht um einen unabhängigen Vergleich unter identischen Testbedingungen.19
34
| Gerät und Laufzeitumgebung | Angegebene Decodiergeschwindigkeit |
|---|---|
| iPhone 18 Pro, MNN | 350 Tokens/s |
| iPad Pro mit M5, Metal | Bis zu 466 Tokens/s |
„Tokens pro Sekunde“ bezeichnet hier die Geschwindigkeit, mit der das Modell bei der Ausgabe Text erzeugt. Das ist nur ein Teil der wahrgenommenen Reaktionszeit: Für einen direkten Vergleich fehlen unter anderem Angaben zur Prefill-Geschwindigkeit – also dazu, wie schnell das Modell eine Eingabe verarbeitet – sowie ausreichend Details zu den Testbedingungen.
Was zu Akku und Speicherbedarf offenbleibt
Die Ausrichtung auf knappe Ressourcen in mobilen Apps ist ausdrücklich Teil des Konzepts. Ein kompakter INT4-Build und hohe gemeldete Decodierraten passen zu diesem Ziel, ergeben aber noch keine vollständige Bilanz der Kosten im App-Betrieb.16
19
Die verfügbaren Quellen nennen keinen Akkuverbrauch pro Anfrage und keine standardisierte Messung des maximalen Arbeitsspeicherbedarfs. Auch der zusätzliche Aufwand für die Integration in eine App ist nicht beziffert. Die Build-Größe von 173 MB sollte daher nicht mit dem gesamten Speicherbedarf während der Laufzeit gleichgesetzt werden. Ebenso zeigen die genannten Geschwindigkeiten nicht, wie sich die Leistung bei anderen Aufgaben oder Gerätebedingungen verändert.
Weitere verfügbare Modellversionen
Auf Hugging Face wird taobao-mnn/MNN-Pocket-0.3B als allgemein einsetzbare, instruction-tuned Version geführt. Zur Modellfamilie gehören außerdem Base- und SFT-Checkpoints.19 Ein separates GGUF-Repository bietet Exporte in F16, Q8_0 und Q4_1 für llama.cpp-kompatible Laufzeitumgebungen. Die angegebenen Dateigrößen betragen 726 MB, 387 MB und 192 MB.
20
In der Sammlung des Taobao-MNN-Teams ist außerdem ein Repository namens MNN-Pocket-0.3B-DFlash2 aufgeführt. Aus dem verfügbaren Eintrag gehen jedoch weder die genaue Konfiguration noch ein belegter Durchsatzfaktor hervor. Daraus lässt sich deshalb kein bestimmter Geschwindigkeitsgewinn ableiten.21
Das Fazit
MNN-Pocket-0.3B verbindet rund 300 Millionen Parameter mit einem angegebenen 173-MB-INT4-Build für MNN. Dazu kommen die vom Team gemeldeten Decodierraten von 350 Tokens pro Sekunde auf dem iPhone 18 Pro und bis zu 466 Tokens pro Sekunde auf dem iPad Pro mit M5. Das stützt die Positionierung als Modell für den Einsatz direkt auf Mobilgeräten. Einen konkreten Akkuvorteil oder den vollständigen Speicher- und Integrationsbedarf belegen die verfügbaren Angaben jedoch nicht.16
19
34
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Die Leute fragen auch
Wie lautet die kurze Antwort auf „Was MNN-Pocket-0.3B kann – und was die Tempoangaben nicht verraten“?
MNN Pocket 0.3B ist ein rund 300 Millionen Parameter starkes Sprachmodell für mobile Apps.
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
MNN Pocket 0.3B ist ein rund 300 Millionen Parameter starkes Sprachmodell für mobile Apps. Das MNN README nennt den 4. November 2026 als Veröffentlichungsdatum.
Was soll ich als nächstes in der Praxis tun?
Die verfügbaren Quellen belegen weder den Akkuverbrauch pro Anfrage noch liefern sie vergleichbare Messwerte für Prefill und Spitzenbedarf an Arbeitsspeicher.