RespostasPublicado16 fontes
MNN-Pocket-0.3B: o que os números de velocidade mostram sobre a IA no celular
O MNN Pocket 0.3B tem cerca de 300 milhões de parâmetros e foi desenvolvido para aplicativos móveis; a versão MNN em INT4 ocupa 173 MB. A equipe relata 350 tokens por segundo de decodificação no iPhone 18 Pro e até 466 tokens por segundo no iPad Pro M5 com Metal.
Publicado porEditado com GPT-6 LunaImagens geradas com GPT Image 2
Resposta de pesquisa
Principais conclusões
- O MNN Pocket 0.3B tem cerca de 300 milhões de parâmetros e foi desenvolvido para aplicativos móveis; a versão MNN em INT4 ocupa 173 MB.
- A equipe relata 350 tokens por segundo de decodificação no iPhone 18 Pro e até 466 tokens por segundo no iPad Pro M5 com Metal.
- As fontes disponíveis não informam consumo de bateria por inferência nem oferecem medidas comparáveis de pré preenchimento e memória máxima.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Alibaba’s Taobao MNN team’s MNN-Pocket-0.3B, reported open-sourced on November 6, 2026, and how does this roughly 300-million-parame. Article summary: MNN-Pocket-0.3B is Taobao’s approximately 300-million-parameter language-model family, co-designed with the MNN inference engine for on-device use; its main Hugging Face model is instruction-tuned, and its INT4 deploymen. Topic tags: general, general web, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
O MNN-Pocket-0.3B é um modelo de linguagem compacto da equipe Taobao MNN, da Alibaba, criado para seguir instruções em chinês e inglês dentro de aplicativos móveis. A equipe informa que a versão de implantação MNN em INT4 ocupa 173 MB e chega a 350 tokens por segundo de decodificação no iPhone 18 Pro. Os números dão uma dimensão da proposta de rodar IA diretamente no aparelho, mas não esclarecem, por si só, o gasto de bateria, a velocidade de pré-preenchimento ou o desempenho em outros celulares.16
34
O que é o MNN-Pocket-0.3B
O modelo tem aproximadamente 300 milhões de parâmetros e foi pensado para tarefas e limites de recursos de aplicativos móveis. Segundo o README do MNN, arquitetura, métodos de treinamento e mecanismo de inferência foram desenvolvidos em conjunto. O modelo oferece suporte a instruções em chinês e inglês, contexto de até 32 mil tokens e licença Apache 2.0.16
O README registra o lançamento em 4 de novembro de 2026. Uma notícia sobre a novidade saiu em 6 de novembro; essa segunda data é a da reportagem, não a data de lançamento indicada no README.9
16
O que significam os números de tamanho e velocidade
A versão MNN em INT4, com quantização W4A16 treinada com consciência da quantização (QAT), é listada com 173 MB. Esse número se refere ao tamanho da versão de implantação. As informações disponíveis não detalham os arquivos incluídos nem esclarecem se o valor contempla todos os componentes necessários para integrar o modelo a um aplicativo.16
19
O cartão do modelo informa até 466 tokens por segundo de decodificação em um iPad Pro M5 usando Metal. Um resumo do relatório técnico também apresenta esse resultado. São taxas divulgadas para a geração de tokens, não uma comparação independente feita com aparelhos e configurações idênticos.19
34
| Aparelho e execução | Velocidade de decodificação informada |
|---|---|
| iPhone 18 Pro, MNN | 350 tokens/s |
| iPad Pro M5, Metal | Até 466 tokens/s |
Tokens por segundo mede a velocidade com que o modelo gera a resposta. Não é, sozinho, uma medida completa da rapidez percebida em um aplicativo: as fontes disponíveis não trazem valores correspondentes de pré-preenchimento nem detalhes suficientes para comparar diretamente os resultados dos dois aparelhos.
O que se sabe — e o que falta — sobre os limites dos celulares
O projeto foi explicitamente orientado a caber nos recursos de aplicativos móveis. O tamanho reduzido da versão INT4 e as taxas de decodificação divulgadas são relevantes para essa proposta, mas não representam um balanço completo dos custos de execução no aparelho.16
19
Em particular, as fontes não estabelecem o consumo de bateria por inferência, uma medição padronizada de memória máxima ou o custo total de integração no aplicativo. O tamanho do pacote não deve ser confundido com a memória total usada durante a execução. Os resultados citados também não mostram como a velocidade muda de acordo com a tarefa ou as condições do aparelho.
Formatos disponíveis
O cartão do modelo no Hugging Face identifica taobao-mnn/MNN-Pocket-0.3B como a versão de uso geral ajustada para seguir instruções e lista checkpoints Base e SFT na família.19 Há ainda um repositório GGUF separado, com exportações F16, Q8_0 e Q4_1 para o llama.cpp e outros mecanismos compatíveis. Os arquivos listados têm 726 MB, 387 MB e 192 MB, respectivamente.
20
A coleção Taobao MNN também lista o repositório MNN-Pocket-0.3B-DFlash2. A página disponível não confirma sua configuração nem comprova uma alegação de aumento de velocidade; portanto, ela não deve ser tomada como evidência de um ganho específico.21
Em resumo
O MNN-Pocket-0.3B chama atenção por reunir cerca de 300 milhões de parâmetros em uma versão MNN INT4 informada como tendo 173 MB e pelos resultados de decodificação divulgados para o iPhone 18 Pro e o iPad Pro M5. Isso sustenta sua proposta de uso em aplicativos no próprio aparelho. Com as evidências disponíveis, porém, não é possível concluir que ele ofereça uma vantagem específica de bateria ou conhecer o custo total de memória e integração.16
19
34
Studio Global AI
Continue sua pesquisa
Esta página inclui uma resposta baseada na fonte que você pode continuar em Studio Global.
As pessoas também perguntam
Qual é a resposta curta para "MNN-Pocket-0.3B: o que os números de velocidade mostram sobre a IA no celular"?
O MNN Pocket 0.3B tem cerca de 300 milhões de parâmetros e foi desenvolvido para aplicativos móveis; a versão MNN em INT4 ocupa 173 MB.
Quais são os pontos-chave para validar primeiro?
O MNN Pocket 0.3B tem cerca de 300 milhões de parâmetros e foi desenvolvido para aplicativos móveis; a versão MNN em INT4 ocupa 173 MB. A equipe relata 350 tokens por segundo de decodificação no iPhone 18 Pro e até 466 tokens por segundo no iPad Pro M5 com Metal.
O que devo fazer a seguir na prática?
As fontes disponíveis não informam consumo de bateria por inferência nem oferecem medidas comparáveis de pré preenchimento e memória máxima.