MNN-Pocket-0.3B — компактная языковая модель команды Taobao MNN, рассчитанная на работу в мобильных приложениях и выполнение инструкций на китайском и английском языках. Команда указывает размер INT4-сборки для MNN — 173 МБ — и скорость декодирования 350 токенов в секунду на iPhone 18 Pro. Это конкретные показатели для оценки модели на устройстве, но они не показывают сами по себе, сколько энергии она потребляет, как быстро обрабатывает входной текст и как поведёт себя на других телефонах.
16
34
Что такое MNN-Pocket-0.3B
У модели около 300 млн параметров. Её архитектуру, методы обучения и движок инференса MNN разрабатывали с учётом задач мобильных приложений и ограниченных ресурсов смартфонов. В README MNN указана поддержка инструкций на китайском и английском языках, контекста до 32 тысяч токенов и открытой публикации модели.
16
В README релиз датирован 4 ноября 2026 года. Новость о модели появилась 6 ноября: эта дата относится к публикации материала, а не к дате релиза, указанной в README.
9
16
Что означают показатели размера и скорости
INT4-сборка MNN с квантованием W4A16 и обучением с учётом квантования (QAT) занимает, по данным команды, 173 МБ. Это размер сборки для развёртывания. Доступные сведения не раскрывают её состав по файлам и не уточняют, включены ли в этот показатель все компоненты, необходимые приложению для работы.
16
19
В карточке модели указана скорость декодирования до 466 токенов в секунду на iPad Pro с чипом M5 при использовании Metal. Технический отчёт также приводит это значение. Это опубликованные разработчиками результаты, а не независимое сравнение устройств в одинаковых условиях.
19
34
| Устройство и среда |
Заявленная скорость декодирования |
| iPhone 18 Pro, MNN |
350 токенов/с 16 |
| iPad Pro с M5, Metal |
До 466 токенов/с 19 34 |
Токены в секунду показывают, с какой скоростью модель генерирует ответ. Это не исчерпывающая мера отзывчивости приложения: в доступных источниках нет соответствующих показателей обработки входного текста и подробностей тестирования, позволяющих напрямую сопоставить результаты на двух устройствах.
Что известно об ограничениях смартфона
Разработчики прямо позиционируют модель как решение, рассчитанное на ресурсные ограничения мобильных приложений. Компактная INT4-сборка и опубликованные скорости генерации относятся к этой задаче, но не дают полной картины затрат на запуск модели в приложении.
16
19
В частности, источники не приводят расход энергии на один запрос, стандартизированное измерение пиковой памяти или общий объём дополнительных ресурсов, нужных для интеграции. Размер сборки в 173 МБ не следует путать с полным объёмом оперативной памяти, который может потребоваться во время работы. Также опубликованные результаты не показывают, как производительность меняется при других сценариях нагрузки и условиях использования устройства.
Доступные форматы модели
В карточке Hugging Face taobao-mnn/MNN-Pocket-0.3B описана как универсальная модель семейства, дообученная следовать инструкциям. Там же перечислены базовая версия Base и контрольная точка SFT — модели, предназначенные соответственно для дальнейшей настройки и исследовательских экспериментов.
19
Отдельный репозиторий GGUF предлагает сборки F16, Q8_0 и Q4_1 для llama.cpp и совместимых сред. Их указанный размер — 726, 387 и 192 МБ соответственно.
20
В коллекции Taobao MNN также есть репозиторий MNN-Pocket-0.3B-DFlash2. Однако доступное описание не раскрывает его конфигурацию и не подтверждает заявленное увеличение скорости, поэтому делать вывод о конкретном ускорении по одной лишь записи в коллекции нельзя.
21
Главное
MNN-Pocket-0.3B примечательна сочетанием примерно 300 млн параметров, заявленного размера INT4-сборки MNN в 173 МБ и высоких показателей декодирования на iPhone 18 Pro и iPad Pro с M5. Эти данные поддерживают позиционирование модели как решения для ИИ-функций на устройстве, но пока не доказывают конкретную экономию батареи и не дают полного расчёта памяти и затрат на интеграцию.
16
19
34