MNN-Pocket-0.3B est un modèle de langage compact développé par l’équipe Taobao MNN d’Alibaba. Il vise les applications mobiles et le suivi d’instructions en chinois et en anglais. L’équipe indique que son build MNN en INT4 pèse 173 Mo et atteint 350 tokens par seconde en décodage sur iPhone 18 Pro. Ces résultats donnent une idée concrète de l’ambition du projet, mais ne renseignent pas à eux seuls sur l’autonomie, la vitesse de préremplissage ou les performances sur d’autres téléphones.
16
34
Un modèle pensé pour les applications mobiles
MNN-Pocket-0.3B compte environ 300 millions de paramètres. Son architecture, ses méthodes d’entraînement et le moteur d’inférence MNN ont été conçus ensemble, en tenant compte des tâches et des ressources propres aux applications sur smartphone. Le README de MNN mentionne le suivi d’instructions en chinois et en anglais ainsi qu’un contexte pouvant atteindre 32 000 tokens.
16
Le README date la sortie du modèle du 4 novembre 2026. L’article publié le 6 novembre est donc un compte rendu ultérieur, et non la date de sortie indiquée par le projet lui-même.
9
16
173 Mo et plusieurs centaines de tokens par seconde : que mesure-t-on ?
Le build MNN en INT4, obtenu par quantification-aware training en W4A16, est annoncé à 173 Mo. Il s’agit de la taille du build de déploiement. Les informations disponibles ne détaillent pas son contenu et ne précisent pas si ce chiffre comprend tous les composants nécessaires à l’intégration dans une application.
16
19
La fiche du modèle annonce jusqu’à 466 tokens par seconde en décodage sur un iPad Pro équipé de la puce M5, avec Metal. Le résumé du rapport technique reprend ce chiffre. Il s’agit de performances rapportées, et non d’une comparaison indépendante réalisée sur plusieurs appareils avec des conditions identiques.
19
34
| Appareil et environnement |
Vitesse de décodage annoncée |
| iPhone 18 Pro, MNN |
350 tokens/s 16 |
| iPad Pro M5, Metal |
Jusqu’à 466 tokens/s 19 34 |
Le débit en tokens par seconde mesure la génération de la réponse, une fois le modèle en phase de décodage. Ce n’est pas une mesure complète de la réactivité d’une application : les sources ne donnent pas les vitesses de préremplissage correspondantes ni assez de détails sur les tests pour comparer directement les deux appareils.
Ce que les chiffres ne disent pas
Le projet vise explicitement les contraintes de ressources des applications mobiles. La taille annoncée du build INT4 et les débits de décodage rapportés vont dans ce sens, mais ne constituent pas un bilan complet des coûts de déploiement.
16
19
Les sources disponibles ne donnent notamment pas de consommation de batterie par inférence, de mesure standardisée de la mémoire maximale ni de coût total d’intégration dans une application. La taille du package ne doit pas être confondue avec la mémoire utilisée pendant l’exécution. Les résultats cités ne montrent pas non plus comment les performances varient selon les tâches ou les conditions d’utilisation de l’appareil.
Plusieurs formats disponibles
La fiche Hugging Face présente taobao-mnn/MNN-Pocket-0.3B comme le modèle généraliste adapté au suivi d’instructions. La famille comprend aussi des versions Base et SFT, cette dernière correspondant à un checkpoint d’affinage supervisé.
19
Un dépôt GGUF distinct propose des exports F16, Q8_0 et Q4_1 destinés à llama.cpp et aux environnements compatibles. Leurs tailles annoncées sont respectivement de 726 Mo, 387 Mo et 192 Mo.
20
La collection Taobao MNN répertorie également un dépôt MNN-Pocket-0.3B-DFlash2. La liste disponible ne permet toutefois pas de vérifier sa configuration ni un éventuel multiplicateur de débit : elle ne suffit donc pas à établir un gain de vitesse précis.
21
À retenir
MNN-Pocket-0.3B se distingue par son format compact — environ 300 millions de paramètres pour un build MNN INT4 annoncé à 173 Mo — et par les débits de décodage communiqués sur iPhone 18 Pro et iPad Pro M5. Ces éléments étayent son positionnement comme modèle à exécuter sur l’appareil, mais ne démontrent ni un avantage précis en matière de batterie ni le coût complet en mémoire et en intégration.
16
19
34