MNN-Pocket-0.3B, Alibaba’nın Taobao MNN ekibinin mobil uygulamalarda kullanılmak üzere geliştirdiği, Çince ve İngilizce talimatları izleyebilen kompakt bir dil modeli. Ekip, INT4 biçimindeki MNN dağıtım sürümünün 173 MB olduğunu ve modelin iPhone 18 Pro’da saniyede 350 token çözümlediğini bildiriyor. Bu veriler modelin cihaz üzerinde çalıştırılma hedefini somutlaştırıyor; ancak tek başına pil tüketimini, ön doldurma hızını veya farklı telefonlardaki performansı kanıtlamıyor.
16
34
MNN-Pocket-0.3B nedir?
Yaklaşık 300 milyon parametreli model, mobil uygulamaların görev ve kaynak gereksinimleri gözetilerek tasarlandı. Ekip; model mimarisini, eğitim yöntemlerini ve MNN çıkarım motorunu birlikte geliştirdi. Alibaba’nın MNN deposunda modelin Çince ve İngilizce talimat takibi, 32 bin tokenlık bağlam desteği ve Apache 2.0 lisansıyla yayımlandığı belirtiliyor.
16
MNN deposundaki duyuruda çıkış tarihi 4 Kasım 2026 olarak veriliyor. Modeli konu alan haber 6 Kasım’da yayımlandığından, bu ikinci tarih haberin yayımlandığı günü gösteriyor; depodaki duyuruda belirtilen çıkış tarihini değil.
9
16
Boyut ve hız rakamları ne anlatıyor?
Ekibin verdiği bilgiye göre, INT4 W4A16 ve nicemleme farkındalıklı eğitim (QAT) kullanan MNN sürümünün boyutu 173 MB. Bu, dağıtım sürümünün bildirilen boyutu. Mevcut bilgiler dosyaların içeriğini tek tek açıklamıyor ve bu ölçüme uygulamanın ihtiyaç duyacağı tüm çalışma zamanı bileşenlerinin dahil olup olmadığını netleştirmiyor.
16
19
Model kartında M5 iPad Pro’da Metal kullanılarak saniyede 466 tokene kadar çözümleme hızı bildiriliyor. Teknik rapor özeti de bu değeri veriyor. Bunlar modelin çıktı üretme hızına ilişkin ekip tarafından bildirilen sonuçlar; aynı cihaz ve ayarlarda yapılmış bağımsız karşılaştırmalar değiller.
19
34
| Cihaz ve çalışma ortamı |
Bildirilen çözümleme hızı |
| iPhone 18 Pro, MNN |
350 token/sn 16 |
| M5 iPad Pro, Metal |
466 token/sn’ye kadar 19 34 |
Token/sn, modelin çıktı üretirken saniyede kaç token oluşturduğunu, yani çözümleme hızını ifade eder. Bir uygulamanın ne kadar çabuk yanıt verdiğini tek başına göstermez. Kaynaklarda buna karşılık gelen ön doldurma hızları veya iki cihazın sonuçlarını doğrudan karşılaştırmaya yetecek test ayrıntıları bulunmuyor.
Mobil cihazların kaynak kısıtları hakkında ne biliyoruz?
Model, mobil uygulamaların kaynak bütçeleri dikkate alınarak tasarlanmış. Küçük INT4 sürümü ve bildirilen çözümleme hızları bu hedef açısından anlamlı; ancak uygulamadaki toplam maliyetin eksiksiz dökümünü sunmuyor.
16
19
Özellikle, her çıkarım işlemi başına pil tüketimi, standart bir tepe bellek ölçümü veya uygulamaya entegrasyonun toplam ek yükü mevcut kaynaklarda ortaya konmuyor. 173 MB’lık paket boyutunu modelin çalışma sırasında kullanacağı belleğin tamamı gibi değerlendirmemek gerekiyor. Sonuçlar, farklı iş yüklerinde veya cihaz koşullarında performansın nasıl değiştiğini de göstermiyor.
Kullanılabilen model biçimleri
Hugging Face model kartı, taobao-mnn/MNN-Pocket-0.3B modelini genel amaçlı, talimatlarla ince ayar yapılmış sürüm olarak tanımlıyor; ailede Base ve SFT kontrol noktalarını da listeliyor.
19 Ayrı bir GGUF deposunda ise llama.cpp ile uyumlu çalışma ortamları için F16, Q8_0 ve Q4_1 dışa aktarımları sırasıyla 726 MB, 387 MB ve 192 MB boyutlarında sunuluyor.
20
Taobao MNN koleksiyonunda MNN-Pocket-0.3B-DFlash2 adlı bir depo da listelenmiş. Ancak mevcut liste, bunun yapılandırmasını açıklamıyor veya iddia edilen hız çarpanını doğrulamıyor; dolayısıyla bu kaydı belirli bir hız artışının kanıtı saymamak gerekir.
21
Kısa sonuç
MNN-Pocket-0.3B, yaklaşık 300 milyon parametreli bir modeli bildirilen 173 MB’lık INT4 MNN sürümüne sığdırması ve iPhone 18 Pro ile M5 iPad Pro için açıklanan yüksek çözümleme hızlarıyla dikkat çekiyor. Bu veriler, modelin uygulama geliştiricilerine yönelik cihaz üstü kullanım iddiasını destekliyor. Ancak mevcut kanıtlar, belirli bir pil tasarrufunu ya da bellek ve entegrasyon maliyetlerinin tamamını ortaya koymuyor.
16
19
34