Google AI Edge Gallery: Kurátorské hřiště pro lokální AI

AI Edge Gallery je open-source interaktivní aplikace, která uživatelům Maců umožňuje spouštět modely Gemma od Googlu výhradně na jejich vlastním hardwaru, přičemž využívá výkon Apple Silicon . Je navržena jako přehlídka možností AI na zařízení a vývojářům nabízí připravené příklady, přehledné metriky výkonu a přímé odkazy na dokumentaci – zkrátka odrazový můstek . Jednou z výjimečných funkcí je schopnost generovat a spouštět skripty za běhu, například pro analýzu dat, a to přímo v aplikaci .

Aplikace je nyní dostupná pro macOS, iOS i Android, ale právě verze pro macOS odhaluje promyšlenou strategii kurátorství modelů . Na rozdíl od otevřených knihoven Ollama a LM Studio, kde si uživatelé mohou stáhnout téměř jakýkoli kompatibilní model, macOS verze AI Edge Gallery v současnosti nabízí pět modelů Gemma, pečlivě vybraných Googlem . Jak uvádí server 9to5Mac, mezi dostupnými modely najdete Gemma-4-12B-it, Gemma-4-E2B-it, Gemma-4-E4B-it, variantu Gemma-4 26B a FunctionGemma-270M . Tento ručně vybraný výběr je jádrem strategie Googlu: kontrolované prostředí s garantovanou kvalitou .

Motor pod kapotou: Výkon LiteRT-LM

Celý ekosystém pohání inferenční engine LiteRT-LM od Googlu. Ten podporuje procesory (CPU, GPU a NPU) na platformách Linux, macOS i Windows . Hlavním modelem pro výkonnostní benchmarky zůstává Gemma-4-E2B (2,58 GB) a oficiální dokumentace nabízí jasný pohled na jeho schopnosti na MacBooku Pro M4 :

• CPU: 901 tokenů za sekundu, 42 MB paměti, latence prvního tokenu 1,1 s, špičková paměť 736 MB .
• GPU (Metal): 7 835 tokenů za sekundu, 160 MB paměti, latence prvního tokenu 0,1 s, špičková paměť 1 623 MB .

Obrovský skok v rychlosti s GPU akcelerací ukazuje, jak dobře je stack Googlu vyladěný pro API Metal od Apple Silicon, a přináší téměř okamžitou a plynulou uživatelskou zkušenost.

Gemma 4 12B: Multimodální tahoun bez enkodérů

Hvězdou celého uvedení je model Gemma 4 12B, vydaný pod licencí Apache 2.0 . Jeho největším odlišovacím prvkem je architektura. Jedná se o hustý, pouze dekodérový transformer, který využívá stejnou pokročilou strukturu dekodéru jako mnohem větší model Gemma 4 31B Dense .

Klíčovou inovací je jeho multimodální design bez enkodérů. Většina multimodálních modelů používá samostatné, objemné enkodéry pro vidění (jako ViT) a zvuk (jako vrstvy konformeru), aby přeložily data pro jazykový model . Gemma 4 12B je zcela eliminuje . Místo nich používá:

• Vidění: Lehký 35M parametrový embedder nahrazuje 27vrstvý vision transformer. Surové obrazové záplaty 48x48 pixelů se promítají přímo do prostoru vložených slov LLM pomocí jediného násobení matic, přičemž informace o prostoru je připojena pomocí faktorizovaného souřadnicového vyhledávání .
• Zvuk: Surové zvukové signály se promítají přímo do stejného prostoru vložených slov jako textové tokeny, bez samostatného zvukového enkodéru .

To modelu umožňuje nativně zpracovávat text, obrázky, zvuk a video v jednom jednotném toku . Google tvrdí, že tato architektura přináší „výkon blížící se našemu 26B MoE modelu s méně než polovinou paměti

Google AI Edge Gallery: Kurátorské hřiště pro lokální AI

AI Edge Gallery je open-source interaktivní aplikace, která uživatelům Maců umožňuje spouštět modely Gemma od Googlu výhradně na jejich vlastním hardwaru, přičemž využívá výkon Apple Silicon . Je navržena jako přehlídka možností AI na zařízení a vývojářům nabízí připravené příklady, přehledné metriky výkonu a přímé odkazy na dokumentaci – zkrátka odrazový můstek . Jednou z výjimečných funkcí je schopnost generovat a spouštět skripty za běhu, například pro analýzu dat, a to přímo v aplikaci .

Aplikace je nyní dostupná pro macOS, iOS i Android, ale právě verze pro macOS odhaluje promyšlenou strategii kurátorství modelů . Na rozdíl od otevřených knihoven Ollama a LM Studio, kde si uživatelé mohou stáhnout téměř jakýkoli kompatibilní model, macOS verze AI Edge Gallery v současnosti nabízí pět modelů Gemma, pečlivě vybraných Googlem . Jak uvádí server 9to5Mac, mezi dostupnými modely najdete Gemma-4-12B-it, Gemma-4-E2B-it, Gemma-4-E4B-it, variantu Gemma-4 26B a FunctionGemma-270M . Tento ručně vybraný výběr je jádrem strategie Googlu: kontrolované prostředí s garantovanou kvalitou .

Motor pod kapotou: Výkon LiteRT-LM

Celý ekosystém pohání inferenční engine LiteRT-LM od Googlu. Ten podporuje procesory (CPU, GPU a NPU) na platformách Linux, macOS i Windows . Hlavním modelem pro výkonnostní benchmarky zůstává Gemma-4-E2B (2,58 GB) a oficiální dokumentace nabízí jasný pohled na jeho schopnosti na MacBooku Pro M4 :

• CPU: 901 tokenů za sekundu, 42 MB paměti, latence prvního tokenu 1,1 s, špičková paměť 736 MB .
• GPU (Metal): 7 835 tokenů za sekundu, 160 MB paměti, latence prvního tokenu 0,1 s, špičková paměť 1 623 MB .

Obrovský skok v rychlosti s GPU akcelerací ukazuje, jak dobře je stack Googlu vyladěný pro API Metal od Apple Silicon, a přináší téměř okamžitou a plynulou uživatelskou zkušenost.

Gemma 4 12B: Multimodální tahoun bez enkodérů

Hvězdou celého uvedení je model Gemma 4 12B, vydaný pod licencí Apache 2.0 . Jeho největším odlišovacím prvkem je architektura. Jedná se o hustý, pouze dekodérový transformer, který využívá stejnou pokročilou strukturu dekodéru jako mnohem větší model Gemma 4 31B Dense .

Klíčovou inovací je jeho multimodální design bez enkodérů. Většina multimodálních modelů používá samostatné, objemné enkodéry pro vidění (jako ViT) a zvuk (jako vrstvy konformeru), aby přeložily data pro jazykový model . Gemma 4 12B je zcela eliminuje . Místo nich používá:

• Vidění: Lehký 35M parametrový embedder nahrazuje 27vrstvý vision transformer. Surové obrazové záplaty 48x48 pixelů se promítají přímo do prostoru vložených slov LLM pomocí jediného násobení matic, přičemž informace o prostoru je připojena pomocí faktorizovaného souřadnicového vyhledávání .
• Zvuk: Surové zvukové signály se promítají přímo do stejného prostoru vložených slov jako textové tokeny, bez samostatného zvukového enkodéru .

To modelu umožňuje nativně zpracovávat text, obrázky, zvuk a video v jednom jednotném toku . Google tvrdí, že tato architektura přináší „výkon blížící se našemu 26B MoE modelu s méně než polovinou paměti