Ling-3.0-flash-VL: відкрита мультимодальна модель Ant Group для візуальних агентів

Ling-3.0-flash-VL — це відкрита мультимодальна модель від inclusionAI, пов’язаної з Ant Group. Вона побудована на сімействі Ling-3.0-flash і використовує розріджену архітектуру mixture-of-experts (MoE): загалом модель має 124 млрд параметрів, але під час обробки одного токена активує приблизно 5,5 млрд. Ідея полягає в тому, щоб поєднати велику загальну місткість моделі з меншими обчисленнями на токен, ніж у щільної моделі на 124 млрд параметрів. 312

Головне позиціонування Ling-3.0-flash-VL — візуальний агент, а не просто система для опису картинки. За задумом розробників, модель має використовувати зоровий контекст упродовж усієї задачі: оглянути екран або документ, виконати дію через зовнішній інструмент, побачити оновлений стан і перевірити або виправити результат. Ant Group називає це замкненим циклом візуального зворотного зв’язку. 12

Які дані вона обробляє

Модель приймає текст, зображення й відео, а відповідь генерує у текстовому вигляді. Заявлене контекстне вікно — до 256K токенів. Це робить її придатною для довгих документів, тривалих мультимодальних діалогів і агентних сценаріїв, де важливо зберігати значну історію виконання завдання. 34

У доступних описах згадується гібридна архітектура, що поєднує Kimi Delta Attention і шари gated multi-head latent attention. Для відео застосовується позиційне кодування VideoRoPE, покликане зберігати часові зв’язки між кадрами. 16

Важливо, що автори подають візуальну інформацію не як додатковий модуль, під’єднаний наприкінці до текстової моделі, а як частину самого процесу міркування. На цьому й ґрунтується визначення «нативно мультимодальна» модель. 112

Чому 124 млрд параметрів не означають 124 млрд обчислень на кожному токені

У MoE-моделях є багато спеціалізованих блоків параметрів — так званих експертів. Механізм маршрутизації обирає лише частину з них для конкретного токена. Для Ling-3.0-flash-VL повідомляють про 124 млрд параметрів загалом і близько 5,5 млрд активних параметрів на токен. 312

Практично це означає таке:

• Загальна кількість параметрів показує весь обсяг знань і спеціалізованої місткості, закладений у модель.
• Активні параметри ближчі до реального обсягу обчислень під час прямого проходу для одного токена.

Це не робить розгортання моделі простим: зберігання великих відкритих ваг усе одно потребує значного обсягу пам’яті та ретельної інженерії інфраструктури. Проте саме така розріджена схема пояснює, чому модель відносять до швидкого класу flash попри її загальний розмір. 35

Ключова відмінність: візуальний зворотний зв’язок

Звичайна vision-language модель може добре виконати одноразове завдання: описати фото, зчитати текст із чека або відповісти на запитання щодо графіка. Ling-3.0-flash-VL орієнтована на довший цикл:

1. Спостерігати за екраном, зображенням, відрендереною вебсторінкою чи документом.
2. Діяти через під’єднаний інструмент або інтерфейс.
3. Перевіряти візуальний результат відносно поставленої мети.
4. Виправляти наступну дію, якщо результат помилковий або неповний. 12

Такий підхід особливо актуальний для автоматизації графічних інтерфейсів. Наприклад, модель може оцінити поточний стан програми, обрати дію, переглянути змінений екран і визначити, чи досягнуто потрібного результату. Водночас сама модель не замінює браузер, дозволи на виконання дій чи захисні обмеження робочого процесу: саме ці зовнішні системи визначають, що агент реально може зробити.

Ant Group і профільні публікації називають серед можливих сценаріїв генерацію фронтенду, автоматизацію GUI та інтерпретацію медичних звітів. 12 Останнє варто розглядати лише як допоміжний сценарій: це не є доказом автономної клінічної надійності чи безпечності моделі.

Ваги та варіанти запуску

Ваги моделі випущені за ліцензією MIT. Повідомлялося про доступність версій BF16 і FP8, а варіанти FP4 та INT4 на ранньому етапі називали запланованими або такими, що мають з’явитися пізніше. 34

Для сервінгу згадуються SGLang і адаптований для Ling шлях vLLM. 34 Для промислового використання це радше стартова точка, а не гарантія сумісності: перед розгортанням слід перевірити конкретну ревізію моделі, квантизацію, обробку мультимодальних даних, довжину контексту, обладнання та версію фреймворку.

Як правильно читати бенчмарки

У публікаціях фігурують два результати Artificial Analysis Intelligence Index:

• 42 у версії v4.1.1 — раннє повідомлення подавало це як приріст на чотири пункти проти текстової Ling-3.0-flash, яка мала 38. 4
• 25 у версії v4.3 — пізніше значення, яке описували як місце моделі на межі ефективності за співвідношенням інтелектуальних показників і кількості активних параметрів. 35

Ці цифри не суперечать одна одній, якщо змінилася версія індексу. Однак їх не можна порівнювати напряму, наче це результати за однаковою шкалою. Обережний висновок такий: у моделі заявлено конкурентну ефективність відносно її активних параметрів. Але це саме по собі не доводить її надійності в усіх агентних, виробничих чи медичних сценаріях. 34

Чим Ling-3.0-flash-VL вирізняється

Новинка не лише в тому, що Ling навчилася працювати із зображеннями та відео. Ling-3.0-flash-VL позиціонують як першу відкриту модель лінійки, де зір інтегровано в ітеративне планування, дію, візуальну перевірку та корекцію. А розріджена MoE-архітектура має зробити цей мультимодальний агентний підхід економнішим за обчисленнями, ніж у зіставної щільної моделі. 312

Для розробників найпереконливіший сценарій — контрольований процес, у якому візуальні докази справді важливі, а кожну дію інструменту можна перевірити: звірити відрендерену сторінку з макетом, пройти визначений інтерфейс або витягти й перехресно перевірити дані з кількох документів. Демо та оцінки, про які повідомляє постачальник, є корисними сигналами, але надійне впровадження все одно потребує тестування на конкретних задачах, контролю дозволів, обробки помилок і нагляду людини.