AI без інтернету: Google запускає на Mac закриту екосистему з диктовкою та мультимодальною моделлю

Застосунок уже доступний на macOS, iOS та Android, однак саме версія для macOS розкриває особливу стратегію підбору моделей . На відміну від відкритих бібліотек Ollama та LM Studio, які дозволяють завантажувати майже будь-яку сумісну модель, AI Edge Gallery для macOS наразі надає доступ лише до пʼяти кураторських моделей Gemma від Google . Як повідомляє 9to5Mac, до переліку входять Gemma-4-12B-it, Gemma-4-E2B-it, Gemma-4-E4B-it, варіант Gemma-4 26B та FunctionGemma-270M . Цей ретельно дібраний набір і є серцем стратегії Google: контрольоване середовище з гарантованою якістю .

Двигун у дії: Продуктивність LiteRT-LM

Під капотом екосистеми працює механізм інференсу LiteRT-LM від Google. Він підтримує обчислення на центральному (CPU), графічному (GPU) та нейронному (NPU) процесорах у Linux, macOS та Windows . Еталонною моделлю для бенчмарків залишається Gemma-4-E2B (2,58 ГБ), а офіційна документація наочно демонструє її можливості на MacBook Pro M4 :

• CPU: 901 токен/с, 42 МБ памʼяті, затримка до першого токена 1,1 с, пікове споживання памʼяті 736 МБ .
• GPU (Metal): 7 835 токенів/с, 160 МБ памʼяті, затримка до першого токена 0,1 с, пікове споживання памʼяті 1 623 МБ .

Величезний стрибок швидкості з прискоренням GPU показує, наскільки добре стек Google оптимізований для графічного API Metal від Apple Silicon, забезпечуючи майже миттєвий і плавний користувацький досвід.

Gemma 4 12B: Мультимодальний потужний інструмент без енкодерів

Випущена під ліцензією Apache 2.0, модель Gemma 4 12B є зіркою цього запуску . Її архітектура — це найбільша відмінність від конкурентів. Це щільний, суто декодерний трансформер, який використовує ту саму передову структуру декодера, що й набагато більша модель Gemma 4 31B Dense .

Ключовою інновацією є мультимодальний дизайн без окремих енкодерів. Більшість мультимодальних моделей використовують окремі, громіздкі енкодери для зору (наприклад, ViT) і звуку (наприклад, шари конформера), щоб перетворити дані для мовної моделі . Gemma 4 12B повністю їх позбувається . Замість цього вона застосовує:

• Для зору: Легкий 35-мільйонний енкодер замінює 27-шаровий візуальний трансформер. Необроблені фрагменти зображень 48x48 пікселів проєктуються безпосередньо в простір вкладень великої мовної моделі (LLM) за допомогою одного матричного множення, а просторова інформація додається через факторизований пошук координат .
• Для аудіо: Необроблені аудіосигнали проєктуються прямо в той самий простір вкладень, що й текстові токени, без окремого аудіоенкодера .

Це дозволяє моделі природно обробляти текст, зображення, аудіо та відео в єдиному уніфікованому потоці . Google стверджує, що така архітектура забезпечує «продуктивність, близьку до нашої 26B моделі MoE, використовуючи менше ніж половину памʼяті», і все це працює на споживчих ноутбуках із лише 16 ГБ уніфікованої памʼяті .

Бенчмарки підтверджують цю впевненість, показуючи, що 12B-модель значно перевершує очікування від свого класу. На тесті GPQA Diamond (логічне мислення рівня аспірантури) вона набирає вражаючі 78,8 бала, наближаючись до 26B варіанту. На академічних тестах із вибором відповідей, як-от MMLU Pro, вона досягає 77,2%, а на конкурсному математичному бенчмарку AIME 2026 — 77,5% . У тесті LiveCodeBench на генерацію коду модель отримує 72,5%, демонструючи надійні практичні здібності в агентних робочих процесах і багатокрокових міркуваннях .

AI Edge Eloquent: Безплатна, офлайн, відшліфована диктовка

Завершує тріо продуктів Google AI Edge Eloquent — додаток для диктовки, який позиціонує себе як пряму безплатну альтернативу платним сервісам транскрибування . Додаток працює на моделях Gemma і розроблений як повністю офлайн-перший продукт .

Він виходить за рамки простого транскрибування, виступаючи в ролі автоматичного редактора мовлення. Він «агресивно вирізає» слова-паразити на кшталт «ну», «типу», «е-е-е», виправляє граматику на льоту та перетворює хаотичне усне мовлення на звʼязний, професійний текст . Це робить його радше комунікаційним інструментом, аніж додатком для нотаток. Ключова відмінність — ціна: жодної підписки та жодних обмежень на використання . Для версії macOS потрібна система macOS 13.0 або новіша та чип Apple M1 або пізніший, хоча сторінка в App Store зазначає, що деякі розширені опціональні функції можуть вимагати хмарної обробки .

Стратегія: «Огороджений сад» проти відкритої бібліотеки

Цей запуск утверджує дві протилежні філософії локального ШІ. Стратегія Google — це підхід «огородженого саду»: кураторський, схвалений Google набір моделей, тісно інтегрований із брендованими додатками (Gallery для досліджень, Eloquent для диктовки) та уніфікованим рушієм інференсу (LiteRT-LM) з CLI та Python API . Мета — надати бездоганний досвід споживчого рівня, який «просто працює» одразу після встановлення.

Це різко контрастує з Ollama та LM Studio, які ставлять на перше місце максимальну гнучкість і вибір, будучи відкритими бібліотеками, де користувачі можуть завантажити будь-яку сумісну модель . Примітно, що і Ollama, і LM Studio вже підтримують відкриту модель Gemma 4 12B, тож модель Google не є ексклюзивною для його власного стеку .

Перевага Google полягає в першокласній оптимізації, коли власні моделі спеціально налаштовані під свій рушій інференсу на Apple Silicon для кращої продуктивності та меншого споживання памʼяті. Вибір для користувача очевидний: ви отримуєте більш відшліфований та інтегрований досвід, але не можете запускати моделі за межами кураторської родини Gemma. Це позиціонує Google на захоплення тих користувачів, які цінують надійність і простоту використання понад експериментальну свободу, створюючи чітке роздоріжжя у світі локального ШІ на Mac.