Tencent OpenSearch-VL: открытый рецепт мультимодальных поисковых ИИ-агентов

OpenSearch-VL — новая разработка Tencent, но это не «ещё один чат-бот» для массового пользователя. Проект описан как открытый рецепт обучения мультимодальных поисковых агентов: систем, которые работают не только с текстом, но и с изображениями, инструментами поиска и несколькими шагами рассуждения .

Цель OpenSearch-VL — сдвинуть vision-language модели от ответа по одной картинке к более активному сценарию: модель должна понять, каких данных не хватает, вызвать нужный инструмент, собрать доказательства и использовать их в последующих шагах . В arXiv, открытом архиве научных препринтов, работа указана как поданная 6 мая 2026 года, а в материалах о запуске говорится, что Tencent Hunyuan сотрудничала с UCLA и Китайским университетом Гонконга .

Какую проблему пытается решить OpenSearch-VL

Ключевая тема релиза — воспроизводимость. В ранних публикациях о запуске следующий рубеж для мультимодальных больших языковых моделей описывался как переход от «пассивного понимания изображений» к активному поиску доказательств и рассуждению. Там же отмечалось, что развитию мешают нехватка качественных данных о траекториях действий, автоматизированных способов их синтеза и подробных рецептов обучения .

OpenSearch-VL отвечает на этот разрыв более явной схемой построения агента: в статье описаны данные, оркестрация инструментов, supervised fine-tuning — дообучение на размеченных примерах, reinforcement learning — обучение с подкреплением, а также оценка на задачах мультимодального глубокого поиска .

Как агент ищет по изображению

Обычная vision-language модель может описать фото или ответить на вопрос по видимым пикселям. OpenSearch-VL рассчитан на другой режим — цикл работы с инструментами. В статье говорится, что агент может вызывать веб-поиск, обратный поиск по изображению, OCR — оптическое распознавание текста, кадрирование, повышение резкости, суперразрешение и коррекцию перспективы .

Это важно именно для поисковых задач. На изображении часто есть только часть подсказки: мелкая надпись, размытый объект, фрагмент здания, знак под неудобным углом или визуальная деталь, которую нужно подтвердить внешними источниками. В схеме OpenSearch-VL модель может решить, каких доказательств не хватает, применить поиск или обработку изображения и затем встроить результат в дальнейшее рассуждение .

Что именно обучают: траектории, SFT, RL и ошибки инструментов

В статье OpenSearch-VL представлены два набора траекторий: SearchVL-SFT с 36 000 траекторий для supervised fine-tuning и SearchVL-RL с 8 000 траекторий для reinforcement learning . Также вводится метод Multi-round Fault-Aware GRPO — подход для многошаговых траекторий с инструментами, где промежуточные действия могут не сработать, помочь лишь частично или потребовать исправления .

Акцент на траекториях здесь принципиален. Мультимодальному поисковому агенту мало распознать, что находится на картинке. Ему нужно научиться, когда искать в интернете, когда преобразовать изображение, когда запустить OCR и когда остановить сбор данных. OpenSearch-VL оформляет такие решения как обучающие примеры, а не оставляет использование инструментов «магией» внутри модели .

Производительность: сильная заявка, но не окончательный вердикт

Главное численное заявление выглядит заметно: авторы сообщают о среднем приросте более чем на 10 процентных пунктов на семи бенчмарках мультимодального глубокого поиска и пишут, что OpenSearch-VL сопоставим с ведущими закрытыми коммерческими моделями на некоторых задачах .

Но это не означает, что уже доказан полный паритет с продуктами OpenAI или Google. Доступные свидетельства — это статья авторов и материалы о запуске, а не независимое воспроизведение результатов и не публичный аудит production-систем в одинаковых условиях . Поэтому сейчас OpenSearch-VL разумнее рассматривать как перспективный и технически полезный открытый рецепт, но не как окончательное доказательство превосходства в реальной эксплуатации — с её требованиями к надёжности, задержкам, безопасности и восстановлению после длинных цепочек ошибок.

Чем OpenSearch-VL отличается от систем OpenAI и Google

Если сравнивать OpenSearch-VL с проприетарными системами OpenAI и Google, самое надёжно подтверждённое отличие — степень открытости. OpenSearch-VL представлен как открытый рецепт и open-source схема обучения, тогда как в приведённых материалах нет сопоставимо раскрытых обучающих стеков для закрытых коммерческих продуктов .

Именно поэтому проект интересен исследователям и разработчикам: можно смотреть, как строятся траектории использования инструментов, как обучается многошаговое визуальное рассуждение и где такие агенты ломаются. Заявления о бенчмарках делают OpenSearch-VL серьёзным открытым претендентом, но опубликованные данные пока не закрывают вопрос о том, насколько он равен закрытым системам в production-сценариях .

За чем следить дальше

Следующие важные проверки будут практическими: смогут ли внешние исследователи воспроизвести заявленные результаты, насколько хорошо рецепт переносится на области за пределами оценочных наборов из статьи и как агенты, обученные таким способом, справляются с ошибками инструментов в более длинных реальных поисках.

Пока главный вклад OpenSearch-VL — прозрачность. Он даёт AI-сообществу конкретный открытый рецепт для построения мультимодальных поисковых агентов и более понятную основу для проверки того, могут ли открытые системы сокращать разрыв с закрытыми продуктами ИИ-поиска .