답변게시됨16 소스
알리바바 MNN-Pocket-0.3B, 스마트폰에서 초당 350토큰을 내세운 소형 모델
MNN Pocket 0.3B는 모바일 앱용으로 설계된 약 3억 파라미터 언어 모델이다. INT4 MNN 빌드는 173MB이며, 팀은 아이폰 18 프로에서 초당 350토큰 디코딩을 보고했다. MNN 저장소 README에 적힌 공개일은 2026년 11월 4일이다.
게시자GPT-6 Luna로 편집GPT Image 2로 이미지 생성
연구 답변
주요 시사점
- MNN Pocket 0.3B는 모바일 앱용으로 설계된 약 3억 파라미터 언어 모델이다. INT4 MNN 빌드는 173MB이며, 팀은 아이폰 18 프로에서 초당 350토큰 디코딩을 보고했다.
- MNN 저장소 README에 적힌 공개일은 2026년 11월 4일이다. 관련 보도는 이틀 뒤인 11월 6일 나왔다.
- 현재 공개 자료만으로는 추론 한 번에 드는 배터리 소모량을 확인하기 어렵고, 기기별 사전 처리 속도나 최대 메모리 사용량도 같은 조건에서 비교할 수 없다.
AI 프롬프트
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Alibaba’s Taobao MNN team’s MNN-Pocket-0.3B, reported open-sourced on November 6, 2026, and how does this roughly 300-million-parame. Article summary: MNN-Pocket-0.3B is Taobao’s approximately 300-million-parameter language-model family, co-designed with the MNN inference engine for on-device use; its main Hugging Face model is instruction-tuned, and its INT4 deploymen. Topic tags: general, general web, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake num
약 3억 개 파라미터의 언어 모델이 스마트폰 앱 안에서 작동하고, 압축된 배포 빌드 크기가 173MB라면 눈길이 갈 만하다. 알리바바 타오바오의 MNN팀이 공개한 MNN-Pocket-0.3B는 중국어와 영어 지시를 따르도록 설계된 모바일용 모델이다. 팀은 아이폰 18 프로에서 초당 350토큰의 디코딩 속도를 보고했다.16
34
다만 이 수치가 곧바로 배터리 효율이나 앱 응답성을 모두 설명해 주는 것은 아니다. 공개된 자료에는 배터리 소모량, 입력을 처리하는 사전 처리(prefill) 속도, 기기별 성능을 직접 비교할 수 있는 세부 시험 조건이 충분히 담겨 있지 않다.
스마트폰 앱을 겨냥해 설계된 모델
MNN-Pocket-0.3B는 약 3억 파라미터 규모의 언어 모델이다. MNN팀은 모델 구조와 학습 방법, 추론 엔진을 스마트폰 앱의 작업과 자원 제약에 맞춰 함께 설계했다고 설명한다. 중국어·영어 지시 수행을 지원하고, 최대 32K 토큰 문맥 길이를 제공하며, 아파치 2.0 라이선스로 공개됐다.16
공개 시점은 날짜를 구분해 볼 필요가 있다. MNN 저장소 README에는 2026년 11월 4일 공개됐다고 적혀 있다. 출시 소식을 다룬 기사는 11월 6일에 게시됐다. 따라서 11월 6일은 보도일이며, README에 기재된 공개일은 11월 4일이다.9
16
173MB와 초당 350토큰, 무엇을 뜻하나
MNN팀이 공개한 INT4 W4A16 양자화 인식 학습(QAT) 버전의 배포 빌드 크기는 173MB다.16
19 다만 제공된 자료는 이 용량에 어떤 파일이 포함됐는지 항목별로 설명하지 않는다. 앱에서 구동하는 데 필요한 런타임 구성 요소가 모두 들어간 크기인지도 확인할 수 없다.
속도 수치는 기기와 실행 환경에 따라 다르게 보고됐다. 모델 카드에는 M5 아이패드 프로에서 Metal을 사용했을 때 디코딩 속도가 최대 초당 466토큰이라고 적혀 있다. 기술 보고서 요약에도 같은 수치가 나온다.19
34
| 기기·실행 환경 | 보고된 디코딩 속도 |
|---|---|
| 아이폰 18 프로, MNN | 초당 350토큰 |
| M5 아이패드 프로, Metal | 최대 초당 466토큰 |
토큰/초는 모델이 답변을 생성하는 단계, 즉 디코딩 속도를 가리킨다. 입력 내용을 처음 처리하는 속도나 사용자가 느끼는 전체 응답 지연 시간과는 다르다. 공개 자료에 각 기기의 사전 처리 속도와 상세한 시험 조건이 제시되지 않아 두 수치를 같은 기준에서 직접 비교하기도 어렵다.
모바일 성능의 핵심, 아직 확인되지 않은 부분
작은 배포 빌드와 높은 디코딩 속도는 모바일 환경을 겨냥한 설계 목표와 관련 있는 지표다. 그러나 이것만으로 앱 구동에 필요한 자원 전체를 파악할 수는 없다.16
19
현재 제공된 자료에서는 추론 한 번당 배터리 사용량이나 표준화된 최대 메모리 측정치를 확인하기 어렵다. 모델 파일의 배포 크기 173MB를 실행 중 필요한 전체 메모리와 동일시해서도 안 된다. 작업 종류나 기기 상태에 따라 성능이 어떻게 달라지는지도 제시된 결과만으로는 알 수 없다.
공개된 모델 형식
허깅페이스 모델 카드에서 taobao-mnn/MNN-Pocket-0.3B는 범용 지시 튜닝 모델로 소개된다. 같은 계열에는 파인튜닝용 Base 체크포인트와 연구·절제 실험 중간 단계인 SFT 체크포인트도 기재돼 있다.19
별도의 GGUF 저장소는 llama.cpp 호환 런타임용으로 F16(726MB), Q8_0(387MB), Q4_1(192MB) 형식을 제공한다.20 타오바오 MNN 컬렉션에는
MNN-Pocket-0.3B-DFlash2 저장소도 올라와 있다. 다만 현재 확인 가능한 목록만으로는 구체적인 설정이나 처리량 향상 폭을 검증할 수 없으므로, 특정 배속 향상을 입증하는 자료로 보기는 어렵다.21
결론: 빠른 디코딩은 확인됐지만, 전체 비용은 별개
MNN-Pocket-0.3B의 특징은 약 3억 파라미터 모델을 173MB INT4 MNN 빌드로 제시하고, 아이폰 18 프로와 M5 아이패드 프로에서 높은 디코딩 속도를 보고했다는 점이다. 모바일 앱에 넣을 수 있는 모델을 지향한다는 설명을 뒷받침하는 수치다.16
19
34
하지만 현재 공개된 근거만으로는 배터리를 얼마나 아끼는지, 실행 중 메모리가 얼마나 필요한지, 앱에 통합할 때 추가 비용이 어느 정도인지 단정하기 어렵다. 속도와 파일 크기는 주목할 만하지만, 실제 앱에서의 효율을 판단하려면 더 폭넓은 측정 결과가 필요하다.
Studio Global AI
연구를 계속하세요
이 페이지에는 Studio Global 내에서 계속할 수 있는 소스 기반 답변이 포함되어 있습니다.
사람들은 또한 묻습니다.
"알리바바 MNN-Pocket-0.3B, 스마트폰에서 초당 350토큰을 내세운 소형 모델"에 대한 짧은 대답은 무엇입니까?
MNN Pocket 0.3B는 모바일 앱용으로 설계된 약 3억 파라미터 언어 모델이다. INT4 MNN 빌드는 173MB이며, 팀은 아이폰 18 프로에서 초당 350토큰 디코딩을 보고했다.
먼저 검증할 핵심 포인트는 무엇인가요?
MNN Pocket 0.3B는 모바일 앱용으로 설계된 약 3억 파라미터 언어 모델이다. INT4 MNN 빌드는 173MB이며, 팀은 아이폰 18 프로에서 초당 350토큰 디코딩을 보고했다. MNN 저장소 README에 적힌 공개일은 2026년 11월 4일이다. 관련 보도는 이틀 뒤인 11월 6일 나왔다.
실무에서는 다음으로 무엇을 해야 합니까?
현재 공개 자료만으로는 추론 한 번에 드는 배터리 소모량을 확인하기 어렵고, 기기별 사전 처리 속도나 최대 메모리 사용량도 같은 조건에서 비교할 수 없다.