Чому нативна мультимодальність важлива для агентів, що пишуть код

Розкол між передовими ШІ-моделями дедалі менше зводиться до простого питання, чи здатна система прийняти зображення на вхід. Важливіше інше: чи є візуальна інформація повноцінною частиною циклу міркування та дій агента.

Moonshot AI позиціонує Kimi K3 як нативну мультимодальну агентну модель для довготривалого програмування, роботи зі знаннями, візуального розуміння й міркувань. Alibaba зі свого боку зазначає, що в Qwen3.8-Max візуальне розуміння проходить через планування, виконання та перевірку. 1735 Практична мета проста: агент має зібрати продукт, побачити відрендерений результат, визначити, що не так, і поліпшити його — без обов’язкового перетворення кожного візуального спостереження на проміжний текстовий звіт.

Стратегічний вибір: візуальний цикл чи ефективність текстових моделей

Текстові моделі залишаються дуже корисними для генерування коду, аналізу великих контекстів, викликів інструментів і задач, де вхідні дані та критерії успіху вже описані текстом. У типовій архітектурі з інструментами агент може викликати OCR для розпізнавання тексту, проаналізувати DOM або дерево доступності, отримати координати елементів чи передати скриншот окремій візуально-мовній моделі.

Такий підхід може бути цілком доречним для вилучення даних із документів, структурованої перевірки інтерфейсу або одноразового візуального запиту. Нативне мультимодальне навчання робить іншу ставку: спільно опрацьовувати текст, зображення, відео, код і стан агента, щоб візуальні дані безпосередньо впливали на планування та виправлення. В огляді китайського ринку моделей Moonshot, Alibaba та ByteDance описано як компанії, що рухаються в цьому напрямі, тоді як загальні релізи DeepSeek, Zhipu та Hunyuan на той момент були порівняно текстоцентричними. 15

Водночас це не варто сприймати як незмінний поділ між компаніями. Початкові DeepSeek V4 Flash і V4 Pro підтримували лише текст, але згодом DeepSeek представила експериментальну DeepSeek-V4-Flash-Vision-Exp. 134 Лінійки моделей швидко змінюються, а наявні джерела не дають підстав остаточно пояснити внутрішні мотиви кожної лабораторії — особливо ByteDance, Zhipu та Tencent.

Що змінює «зір у циклі»

Вебсторінка — це не лише слова та DOM-структура. Вона має ієрархію, відступи, вирівнювання, контраст, типографіку, обрізання елементів, зображення й візуальні зв’язки між блоками. Якщо агенту треба відтворити референсний дизайн, саме ці деталі часто й визначають, чи виконано завдання.

Робочий цикл із візуальним зворотним зв’язком може виглядати так:

1. Планування: інтерпретувати запит, референсне зображення, кодову базу та попередній стан задачі.
2. Дія: написати або змінити код, керувати браузером чи застосунком, відредагувати візуальний матеріал.
3. Спостереження: відрендерити результат і проаналізувати скриншот, кадр відео або інший візуальний вихід.
4. Перевірка та доопрацювання: зіставити результат із вимогою, знайти ймовірні дефекти, виправити базовий артефакт і повторити цикл.

Qwen3.8-Max прямо описує таку замкнену схему: нативне візуальне розуміння застосовується в плануванні, виконанні та перевірці довготривалих задач. Хостингова версія моделі приймає зображення, текст і відео, а повертає текст. 35 Kimi K3 також розуміє текст, зображення та відео в межах однієї моделі й має контекстне вікно на 1 мільйон токенів. 25

Перевага не просто в тому, що «модель бачить». Один і той самий агент може утримувати в контексті вимогу, код, візуальний результат і поточний план, поки ітеративно доопрацьовує роботу.

Чому передавання даних через OCR і зовнішні VLM може обмежувати агента

Зовнішні інструменти сприйняття часто ефективні, але вони створюють інтерфейсний прошарок між тим, що агент бачить, і тим, що він робить.

OCR вибірковий. Він витягує видимі слова, але сам текст не завжди передає, чи обрізано кнопку, чи збалансоване компонування, чи модальне вікно перекриває контент або чи відрізняється візуальна ієрархія від референсу.

Координати структуровані, але вузькі за змістом. Повідомлення на кшталт «елемент у точці x/y» корисне для автоматизації, однак не обов’язково передає візуальну вагу, стилі, перекриття чи навіть те, чи є цей об’єкт потрібним елементом на екрані.

Повторні перетворення ускладнюють довгі ланцюжки дій. У багатоетапному процесі кожне передавання «скриншот → опис» або «скриншот → координати» може втратити контекст чи змусити агента відновлювати його заново. Виправлення на основі неповного опису здатне породити нову візуальну проблему — і вимагати ще одного циклу спостереження.

Нативно мультимодальна модель не застрахована від помилок. Проте вона може міркувати про скриншот разом із контекстом реалізації, а не покладатися лише на текстовий переказ зображення. Саме тому цей підхід привабливий для фронтенд-розробки, автоматизації графічних інтерфейсів, налагодження візуальних регресій, редагування зображень і відеопроцесів.

Kimi K3 демонструє сценарій використання, але не доводить причинність

Публічні результати Kimi K3 показують, чому розробники придивляються до таких систем. Arena повідомила, що Kimi K3 очолила її Frontend Code Arena з 1 679 пунктами — це підйом на 17 позицій порівняно з Kimi K2.6. Модель посіла перше місце у шести із семи перелічених фронтенд-напрямів. 32 Окремо повідомлялося про тест платформи Puter: Kimi K3 виявила п’ять навмисно внесених візуальних розбіжностей між цільовою вебсторінкою та її відрендереною версією, не давши хибнопозитивних спрацьовувань. 28

Це змістовні демонстрації візуальної перевірки. Але жодна з них не доводить, що результат забезпечив саме нативний зір. На продуктивність також можуть впливати масштаб моделі, навчальні дані, донавчання, дизайн промптів, браузерні інструменти, агентна обв’язка та сам бенчмарк. Обережніший висновок такий: візуальний зворотний зв’язок закриває реальний клас помилок, які текстові тести можуть не помітити.

Коли нативній мультимодальності варто віддати пріоритет

Обирайте нативно мультимодального агента, коли завдання потребує неодноразового спостереження та доопрацювання, а візуальна точність входить у визначення готового результату:

• відтворити вебсторінку або застосунок за референсним дизайном;
• виправити некоректний стан графічного інтерфейсу;
• перевірити адаптивне компонування та візуальні регресії;
• відредагувати зображення, зберігши об’єкт, композицію або стилістичні обмеження;
• проаналізувати довге відео, де важлива послідовність сцен.

Модульний конвеєр із OCR або зовнішньою VLM усе ще може бути кращим вибором для недорогого вилучення даних, пакетної обробки чи процесів, яким достатньо структурованого тексту та стану інтерфейсу. Вирішальне питання не в тому, чи є зір модною функцією. Потрібно з’ясувати, чи мусить агент раз за разом відповідати на візуальне запитання: «Чи справді цей результат виглядає правильно?»

Для цього класу задач нативна мультимодальність перетворює сприйняття з епізодичного виклику інструмента на частину операційного циклу агента — напрям, який прямо розвивають Kimi K3 і Qwen3.8-Max. 1735